IF4: Адаптивное 4-битное квантование для LLM

В этом выпуске обзора исследований в области ИИ Алекс обсуждает статью «Адаптивные блочно-масштабируемые типы данных». В этой работе представлен IF4, новый адаптивный блочно-масштабируемый тип данных, разработанный для улучшения 4-битного квантования для больших языковых моделей. Предложенный формат устраняет ограничения NVFP4 за счет динамического переключения между представлениями INT4 и FP4 для каждой группы значений. Используя неиспользуемый знаковый бит в масштабирующем коэффициенте, IF4 обеспечивает меньшие потери при обучении и более высокую точность при постобучении квантования по сравнению с существующими форматами. В статье также демонстрируется эффективная аппаратная реализация с помощью пользовательского блока умножения-накопления для ускорителей следующего поколения. Это нововведение обеспечивает более гибкий и точный подход к сжатию моделей. Ссылка на статью: https://arxiv.org/pdf/2603.28765 #AI #МашинноеОбучение #ГлубокоеОбучение #LLM #Квантование #СжатиеМоделей #АппаратноеУскорение #IF4 Ресурсы: GitHub: https://github.com/mit-han-lab/fouroversix