Артем Менисов. AI Firewall в бою: как мы построили многоуровневую защиту языковых моделей.

Большие языковые модели атакуют не через уязвимости кода, а через текст. Prompt injection, RAG poisoning, DoS через заполнение контекстного окна, jailbreaking и новый класс Lazy Execution DoS (когда модель 48 часов имитирует работу, ничего не делая) — это реальные векторы, которые не закрываются никакими классическим средствами защиты. Спикер разберет таксономию атак на LLM- и RAG-системы с живыми примерами промптов, покажет, почему одиночный фильтр всегда проигрывает адаптивному атакующему, и расскажет, как был построен многоуровневый ансамблевый прокси-фильтр. Отдельно будет представлена методология защиты ИИ-агентов. Практическая часть включает описание эксперимента на больших языковых моделях в трех средах: Ollama/A100, кластер 8×H100/vLLM и Cloud.ru Evolution ML Inference