Больше мощности не сделает ИИ быстрее. Google показала почему
Список агрегаторов нейросетей: qiper.ru - все нейросети в одном месте Google сделала новый ИИ-процессор TPU 8i почти на 20% слабее по вычислениям, чем TPU 8t, и это не ошибка. Разбираем, почему для нейросетей важнее быстрая память, чем лишние петафлопсы, и что ещё изменилось в четырёх системах TPU восьмого поколения: 8t, 8i, 8i Max и 8tx. • считаем, сколько времени уходит на чтение весов Gemma 4 ради одного токена: около 3,6 мс при идеальных условиях; • зачем TPU 8i нужны 288 ГБ HBM и 384 МБ SRAM; • что такое TPU 8i Max (два кристалла в одном корпусе) и почему сообщённые 384 ГБ HBM вместо ожидаемых 576 вызывают вопросы; • как сеть Boardfly сокращает самый длинный кратчайший маршрут между чипами с 16 до 7 переходов и что делает блок CAE (Collective Acceleration Engine); • что нового в TPU 8tx: серверы на AMD EPYC, сеть Boardfly и конфиденциальные вычисления, по которым Google пока не раскрыла подробности защиты; • чего пока нет: независимых результатов тестов, а для TPU 8i Max и 8tx ещё и точных цен и дат доступности. Главное в цифрах (данные Google и изданий, на которые ссылается видео): TPU 8t: 12,6 ПФлопс (FP4), HBM 216 ГБ, 6 528 ГБ/с, SRAM 128 МБ TPU 8i: 10,1 ПФлопс (FP4), HBM 288 ГБ, 8 601 ГБ/с, SRAM 384 МБ TPU 8i Max: 17,2 ТБ/с HBM и 768 МБ SRAM суммарно; 384 ГБ HBM по данным Network World Boardfly: 7 переходов вместо 16 в худшем случае (1 024 чипа) CAE: задержка коллективных операций внутри чипа ниже в 5 раз (по заявлению Google) Время чтения весов 3,6 и 7,1 мс посчитано как теоретический минимум, а не измерено. Уточнение: на 0:44 в озвучке оговорка, у TPU 8t пропускная способность памяти 6 528 ГБ/с, в кадре верное значение. 0:00 Парадокс вычислительной мощности 1:56 Один токен за 3,6 миллисекунды 7:08 384 мегабайта, ради которых изменили процессор 10:45 Два чипа под одной крышкой 13:40 Семь переходов вместо шестнадцати 17:35 TPU 8tx: безопасность тоже имеет свою цену 21:48 Итог: четыре чипа и три ограничения
Название:
Больше мощности не сделает ИИ быстрее. Google показала почему
Категория:
Технологии и интернет