Bonsai 2 сжимает Qwen3.8-27B до 6 ГБ — вот что нужно для запуска

Bonsai 2 сжимает Qwen3.8-27B в файл размером 5,95 ГБ. Вот что на самом деле открывает этот файл, сколько памяти ему действительно требуется и что измерено в заявленных 98%. Репозиторий имеет более 1,9 миллиона загрузок, и это была самая популярная модель на Hugging Face на момент проверки 20.09.2026. Bonsai 2 — это тройное квантование существующей 27B модели с помощью PrismML — каждый вес по всей основной части модели хранится как одно из всего лишь трех значений. В этом видео рассматриваются три вещи, о которых не говорит размер файла: стандартный llama.cpp отказывается принимать эти файлы и требует модифицированной сборки PrismML, объем используемой памяти не равен размеру загружаемого файла — один из тестировщиков измерил чуть более 12 ГБ памяти видеокарты при настройках llama.cpp по умолчанию и около 8 ГБ после изменения настроек — а широко распространенная цифра 98,2% — это среднее значение PrismML по четырнадцати тестам при максимальной настройке логики, измеренное на другой среде выполнения, отличной от той, которую вы будете загружать. Независимый тест качества этой модели еще не опубликован, поэтому видео заканчивается тремя проверками, которые вы можете провести на любой небольшой модели, прежде чем потратить на нее вечер. ВРЕМЕННЫЕ МЕТКИ 0:00 - Модель размером 27 байт в файле 6 ГБ 1:13 - Тройные веса и от чего страдает сжатие 2:32 - Почему llama.cpp отклоняет его, и файл, который молча завершается с ошибкой 4:07 - Что на самом деле измеряется "98% полной точности" 6:02 - Как выглядит этот класс размеров, когда что-то идет не так 7:23 - Три проверки перед следующей загрузкой ССЫЛКИ И РЕСУРСЫ Список карточек моделей и файлов: https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf Размеры файлов и количество загрузок (API): https://huggingface.co/api/models/prism-ml/Ternary-Bonsai-2-27B-gguf?blobs=true Документация по запуску PrismML llama.cpp: https://docs.prismml.com/run/llamacpp Белая книга PrismML Bonsai 2: https://github.com/PrismML-Eng/Bonsai-demo/blob/main/bonsai-2-27b-whitepaper.pdf Объявление о выпуске PrismML: https://prismml.com/news/bonsai-2-27b Сообщение о скрытом сбое от инженера PrismML: https://github.com/ggml-org/llama.cpp/issues/29058 Запрос на слияние для поддержки в upstream (открыт): https://github.com/ggml-org/llama.cpp/pull/29077 Определения типов llama.cpp: https://raw.githubusercontent.com/ggml-org/llama.cpp/master/ggml/include/ggml.h Репозиторий для разработчиков (дополнительные сборки): https://huggingface.co/prism-ml/Ternary-Bonsai-2-27B-gguf-dev Практический отчет, данные о памяти и описание задачи (один тестировщик, без оценки): https://www.mindstudio.ai/blog/bonsai-2-27b-real-world-test Пётр Мигдал, квантизация той же базовой модели, протестированная в ходе сравнительного анализа: https://quesma.com/blog/qwen38-27b-quantizations-benchmarked/ ModemGuides, руководство по локальному запуску: https://www.modemguides.com/blogs/modemguides-blog/run-bonsai-2-27b-locally ТЕГИ #Bonsai2 #LocalLLM #Quantization #LlamaCpp #PrismML