Как улучшить RAG? Пишем бенчмарк для Obsidian и исправляем ошибки поиска

Автоматическое саммари по записи стрима: - Для объективной оценки качества RAG-системы необходимо создать бенчмарк с датасетом, где для каждого вопроса указан обязательный контекст. - Основная проблема RAG часто заключается в неверном поиске и извлечении релевантных документов (чанков), а не в генерации ответа. - Кэширование эмбеддингов значительно ускоряет тестирование. Ключ кэша должен зависеть от контента, модели эмбеддингов и стратегии нарезки текста. - Качество поиска в RAG напрямую зависит от способа нарезки текста на чанки. Стоит экспериментировать с разными стратегиями (например, фиксированный размер или умное разделение). - При выборе AI-ассистента для кодинга важна не только модель (GPT-4o, Claude), но и ценовая политика (лимиты запросов, стоимость API), которая определяет реальную выгоду инструмента. Плейлист: https://www.youtube.com/playlist?list=PLPWIEpU1jfB4Tj3qZy7mIblYkkjyq8As8 Twitch: https://www.twitch.tv/pfrankov VK Видео: https://vkvideo.ru/@5pfrankov/lives Донаты: https://www.donationalerts.com/r/pfrankov О стримере: https://github.com/pfrankov Музыка на фоне: https://www.youtube.com/watch?v=kn95mnqdv_M 00:00 — Вступление и итоги предыдущей работы 01:24 — Полная переделка кода и потраченное время 03:55 — Обсуждение: выбор видеокарт для нейросетей 06:05 — Что было сделано: кэширование эмбеддингов 08:34 — Демонстрация главной проблемы: RAG находит неверный контекст 10:00 — Дебаг: исправляем конфигурацию для запуска бенчмарка 12:23 — Анализ отчета: почему результаты бенчмарка некорректны 14:49 — Локальные LLM против облачных: главный аргумент — приватность 18:47 — Поиск решения: возможно, проблема в нарезке на чанки 30:42 — Что такое эмбеддинги? Объяснение на пальцах 35:58 — Рефакторинг с помощью AI: создаем переключаемые стратегии нарезки 49:09 — Проблема с кэшем: эмбеддинги нужно пересчитывать для каждой стратегии 53:40 — Оптимизация теста: добавляем флаг для проверки только поиска (Hit/Miss) 01:00:30 — Исправление кэширования эмбеддингов для разных моделей 01:08:50 — Сравнение AI-ассистентов: Cursor, Copilot, Kiro, Trae, Claude 01:19:12 — Планы на следующий стрим и запуск полного бенчмарка