Наш опыт внедрения RAG-ассистента в закрытом контуре | R77 AI

https://r77.ai — наш сайт На вебинаре наш LLM-инженер Павел Филиппенко рассказал про наш кейс внедрения агентского RAG для архитекторов ИТ-систем: как там всё устроено, что крутится под капотом и какие трудности возникли при реализации проекта. Как собирали и довели до пилота RAG-ассистента с пятью источниками знаний и реестрами на десятки тысяч записей. Как настроили систему в закрытом контуре. Показали, что из этого опыта можно перенести на любой похожий проект. Основные тезисы: — Архитектура решения. Роутер и субагенты, гибридный поиск в Qdrant, три уровня поиска. Что из этого себя оправдало. — Деплой без выхода в сеть. Поговорим о неочевидных препятствиях и проблемах. — У кого работает json_schema, у кого только function_calling, почему reasoning-модели непригодны для служебных узлов. — Наблюдаемость как инструмент разработки. Трассировка с первых недель показала, что 79% времени уходит на LLM-вызовы, а не на поиск, — и подсказала неочевидную находку о том, что интерфейс шлёт агенту куда больше, чем видит пользователь. 00:00 Введение и представление спикера 01:52 План доклада и проблематика 04:59 Сценарии использования и требования к ассистенту 08:30 Работа в закрытом контуре и источники данных 10:18 Стек технологий и архитектура системы 13:39 Агентный граф на LangGraph 14:58 RAG-пайплайн и стратегии поиска 17:53 Оценка качества и трассировка в Phoenix 20:19 Structured Output и выбор модели 25:35 Производительность и оптимизация задержек 27:40 Деплой в изолированном контуре 35:00 Баги и особенности Open WebUI 38:17 Что в решении сработало хорошо 46:56 Парсинг и предобработка данных 50:31 LLM-фильтрация вместо реранкера 52:42 Развитие агентной архитектуры и сложные запросы 56:04 Субагенты, блок-схемы и ответы на вопросы 01:01:43 Итоги