1-бит 177B против 4-бит 27B | Какая нейросеть на самом деле лучше?
При запуске локального ИИ на ограниченной видеопамяти, какая стратегия лучше: пожертвовать размером параметров ради лучшего квантования или пожертвовать квантованием ради подгонки массивной модели? В этом эпизоде мы проверим это на практике. Я сравниваю 4-битный Qwen 3.8 (27 байт) с 1-битным Qwen 3.8 Flash Next (177 байт). Кто победит? Узнайте в этом видео! ** Моя портативная ПК-система для ИИ ** Процессор: https://amzn.to/3Lx52Vv Видеокарта: https://amzn.to/3YWMPDS Оперативная память: https://amzn.to/49l7vdD Материнская плата: https://amzn.to/4poMEfp Блок питания: https://amzn.to/4po6xU0 ⏳ Таймкоды 0:00 - Вступление 0:39 - 1-бит 27B (для развлечения) 1:11 - Тестирование 1-бит 177B (Unsloth IQ1_S) 2:16 - Пределы деградации 3:15 - Действительно ли можно использовать 1-битное квантование? #localai #ai #localllm
Название:
1-бит 177B против 4-бит 27B | Какая нейросеть на самом деле лучше?
Категория:
Разное