Компания Google представила восьмое поколение своих специализированных процессоров для задач искусственного интеллекта — Tensor Processor Unit (TPU). Эти решения легли в основу инфраструктуры, которую разработчики называют гиперкомпьютером.
Новая линейка включает две специализированные модели: TPU 8t и TPU 8i. Они созданы в сотрудничестве с командой Google DeepMind для эффективной работы с современными сложными архитектурами нейросетей в промышленных масштабах.
Чипы разделены по функциональному назначению. TPU 8t позиционируется как мощный инструмент для обучения нейросетей, призванный сократить цикл разработки передовых моделей с месяцев до нескольких недель.
- Колоссальная масштабируемость: отдельный кластер TPU 8t объединяет до 9600 чипов и два петабайта общей высокоскоростной памяти. Это обеспечивает двукратное увеличение межчиповой пропускной способности по сравнению с предыдущим поколением, создавая единый пул вычислительной мощности в 121 эксафлопс.
- Эффективность работы: интеграция технологии TPUDirect ускорила доступ к хранилищу в 10 раз, позволяя загружать данные непосредственно в TPU для максимальной загрузки системы.
- Линейное масштабирование: сеть Virgo Network в связке с фреймворком JAX и ПО Pathways позволяет TPU 8t достигать практически линейной масштабируемости, объединяя до миллиона чипов в одном логическом кластере.
В свою очередь, TPU 8i предназначен для задач логического вывода (инференса). Этот процессор спроектирован для итеративной работы множества специализированных ИИ-агентов, которые объединяются в сложные цепочки для решения аналитических задач.
- Преодоление «барьера памяти»: для исключения простоев процессора TPU 8i оснащен 288 ГБ высокоскоростной памяти и 384 МБ встроенной SRAM (в три раза больше, чем ранее), что позволяет удерживать активный набор данных модели непосредственно на кристалле.
- Процессоры Axion: компания удвоила количество вычислительных ядер на каждом сервере за счет перехода на собственные Arm-процессоры Axion, используя архитектуру с неоднородной памятью (NUMA) для оптимизации производительности.
- Масштабирование MoE: для работы с моделями архитектуры «смесь экспертов» (MoE) пропускная способность межсетевого взаимодействия (ICI) была удвоена до 19,2 Тбит/с. Новая архитектура Boardfly уменьшила диаметр сети более чем на 50%, превращая систему в единый блок с низкими задержками.
- Минимизация задержек: встроенный механизм ускорения коллективных вычислений (CAE) разгружает глобальные операции, снижая задержку на кристалле в 5 раз.
