Jamba-2 3B: архитектура, установка, бенчмарки

https://www.youtube.com/watch?v=NorMEvPHz2M&list=TLGGdbdb1H3o2dExNzAxMjAyNg&index=1 Этот материал посвящен выходу семейства моделей Jamba 2 от AI21, в частности версии на 3 миллиарда параметров, предназначенной для корпоративного использования. Благодаря гибридной архитектуре, сочетающей блоки Transformer и слои Mamba, нейросеть эффективно обрабатывает огромные объемы данных объемом до 256 тысяч токенов даже на потребительских устройствах. Автор демонстрирует процесс локальной установки через VLLM и проводит ряд испытаний на строгое соблюдение сложных инструкций и точность работы с документами. Результаты тестов подтверждают высокую способность модели к извлечению данных и выполнению математических задач, хотя в некоторых случаях наблюдались незначительные ошибки в обосновании фактов. В целом, Jamba 2 представляется как мощный и экономически выгодный инструмент для создания интеллектуальных агентов и анализа технической документации.