Квантование EXL3: как треллис-кодирование сжимает локальные LLM без потери качества
EXL3 — это формат квантования, лежащий в основе ExLlamaV3, созданный на основе исследований QTIP Корнельского университета. Он использует решетчатое кодирование, вращение Адамара и калибровку на основе матрицы Гессе для уменьшения больших языковых моделей практически до любого битрейта, сохраняя при этом выходные данные близкими к оригиналу. 🔗 Мои ссылки: 🤝 Спонсорство, партнерство и демонстрация продуктов: amish.sohaill@gmail.com Ресурсы: ExLlamaV3: https://github.com/turboderp-org/exllamav3 Статья QTIP: https://arxiv.org/abs/2406.11235 TabbyAPI: https://github.com/theroyallab/tabbyAPI Модели EXL3: https://huggingface.co/collections/turboderp/exl3-models-67f2dfe530f05cb9f596d21a #EXL3 #ExLlamaV3 #LocalLLM #Quantization #ЛокальныйИИ Разделы: 00:00 Введение 01:08 Зачем нужна квантизация 02:53 Происхождение EXL3 и QTIP 04:00 Округление весов в группах 04:49 Трюк с решеткой 05:52 Перетасовка Адамара и калибровка 06:49 Особенности ExLlamaV3 08:16 Реальный размер и числа KL 09:39 EXL3 против GGUF, AWQ и NVFP4 11:06 Установка 12:01 Загрузка и запуск моделей 12:59 Преобразование и выбор размера 14:01 Недостатки и окончательный вывод
Название:
Квантование EXL3: как треллис-кодирование сжимает локальные LLM без потери качества
Категория:
Разное