Дарья Ситникова. Маршрут построен: AI-анализ распространения помеченных данных
Защищeн ли ваш AI-агент на самом деле? Даже хороший промпт не гарантирует, что данные из письма, веб-страницы или баг-трекера не попадут в аргументы инструмента и в итоге не дойдут до exec(). Проблема не только в том, можно ли обмануть модель. Важно, как само агентное приложение работает с недоверенными данными и проверяет команды, которые предлагает выполнить модель. Это можно проверить с помощью taint-анализа — проследить путь данных от внешнего источника до потенциально опасной операции. В докладе Дарья представит AI-инструмент, который анализирует исполняемый код, восстанавливает распространение данных и находит потенциальные цепочки от source до sink
Название:
Дарья Ситникова. Маршрут построен: AI-анализ распространения помеченных данных
Категория:
Разное