Локальный AI делает умный поиск для #1С-Битрикс на #EmbeddingGemma 2

Скачать Android Harness: https://bazarow.ru/tools/meha/ Группа в ТГ: На мотивацию: https://www.donationalerts.com/r/bazarow_ru 00:00 — Вступление: идея перехода на модель EmbeddingGemma 2 06:13 — Как устроен семантический поиск и сравнение с моделью E5-base 07:37 — Локальный сервер, запуск модели и инференс Strata 08:40 — Клонирование репозитория модуля умного поиска и подключение по SSH 12:50 — Передача контекста и задач локальной нейросети 16:17 — Установка модуля в 1С-Битрикс и решение проблем с cookie 18:04 — Анализ моделей: контекст, потребление RAM и точность 20:18 — Параллельный обзор: Meha Harness и локальные модели на Android 21:38 — Настройка и оптимизация конфигурации MySQL под BitrixVM 28:05 — Проверка выполнения агентов на Cron 30:08 — Размещение компонента умного поиска на тестовой странице 33:39 — Выбор свойств инфоблока каталога для индексации 36:08 — Запуск тестовой индексации на 500 товаров 37:28 — Доработка приложения Meha: голосовой ввод и копирование ответов 43:48 — Проверка нагрузки на процессор и особенности первой индексации 46:15 — Индексация сложных PDF: нюансы OCR и текстового слоя 57:58 — Автоматизация распознавания сканов и извлечения схем 01:04:08 — Переход на ONNX Runtime для ускорения индексации 01:07:05 — Тестовая индексация 10 товаров и проверка семантического поиска 01:12:48 — Проверка сохранения прогресса при прерывании индексации 01:21:03 — Запуск фонового процесса индексации через nohup 01:22:31 — Актуализация документации и README под EmbeddingGemma 2 01:25:40 — Настройка порога релевантности и разбор шаблонов вывода 01:30:12 — Выбор всех свойств каталога и увеличение контекста до 2048 токенов 01:36:17 — Синхронизация и отправка обновлений модуля в Git-репозиторий 01:42:12 — Параметры EmbeddingGemma: длина контекста, квантование и Title Prefix 01:49:35 — Разбор падения индексации из-за OOM-Killer и исправление утечек памяти 02:00:15 — Оптимизация размера батча и буфера InnoDB для предотвращения OOM 02:13:56 — Обсуждение архитектуры MoE, разрезания Dense-моделей и требований к VRAM 02:19:46 — Финальный запуск стабильной индексации каталога в фоне 02:26:00 — Планы на следующий стрим: тестирование поиска и разработка Bitrix Harness