Qwen3.8-27B локально на RTX 5070 Ti 16 ГБ: 10 квантизаций для программирования
Ищем лучшую модель для программирования локально: RTX 5070 Ti 16 ГБ, 64 ГБ оперативки, Windows. Итерация 1: 10 квантизаций Qwen3.8-27B подряд на одном задании. Агент pi пишет страницу Hello World и открывает её в Chrome. Модели - GGUF, бэкенд llama-server (llama.cpp). На экране сразу работа агента, браузер и живые метрики: скорость, видеопамять, оперативка. Лидер - UD-Q2_K_XL с контекстом 96k: 86,27 токена в секунду, задание за 9 с. MTP почти удваивает скорость UD-Q3_K_XL: 44 токена в секунду без него, 77-80 с ним. Не вытянули две: UD-Q3_K_XL на 96k и UD-IQ4_XS с MTP на 64k. Видеопамять под 15 ГБ, скорость 5,66 и 0,39 токена в секунду, остановлены. 0:00 Заставка 0:26 qwen3.8-27b-ud-q3_k_xl-96k - слишком медленно, 5,66 tok/s 1:34 qwen3.8-27b-ud-q3_k_xl-64k - 44,01 tok/s 2:48 qwen3.8-27b-ud-q3_k_xl-32k - 43,64 tok/s 4:03 qwen3.8-27b-ud-q3_k_xl-mtp-64k - 77,04 tok/s 5:05 qwen3.8-27b-ud-q3_k_xl-mtp-32k - 79,77 tok/s 6:04 qwen3.8-27b-ud-q2_k_xl - 86,27 tok/s 7:03 qwen3.8-27b-ud-q2_k_xl-64k - 83,77 tok/s 8:06 qwen3.8-27b-ud-q2_k_xl-32k - 80,18 tok/s 9:49 qwen3.8-27b-ud-iq4_xs-mtp-64k - слишком медленно, 0,39 tok/s 12:29 qwen3.8-27b-ud-iq4_xs-mtp-32k - 74,32 tok/s 13:13 Таблица результатов Какую модель прогнать следующей? #нейросети #локальныеLLM #Qwen #llamacpp #видеокарта #замеры
Название:
Qwen3.8-27B локально на RTX 5070 Ti 16 ГБ: 10 квантизаций для программирования
Категория:
Разное