Владислав Носивской — Бэкенд для AI Assistants под капотом: Redis, Redis, Redis

Подробнее о Java-конференциях: — весной — JPoint: https://jrg.su/gTrwHx — осенью — Joker: https://jrg.su/h7yvG4 — — Скачать презентацию с сайта JPoint — https://jrg.su/6whNrk В Yandex Cloud разрабатывают AI Assistants API — инструмент для создания AI-ассистентов. С точки зрения требований сервис интересен необходимостью соблюдать низкий оверхед при вызове генеративной модели. Во время разработки для минимизации задержки команда решила по минимуму заходить на диски за счет использования Redis. В докладе мы разобрали архитектуру решения, заменим SQS и Kafka на Redis. Наступили на несколько граблей с Redisson и срезали все усилия по минимизации задержки из-за нюансов деплоя.