SWE-agent или как интерфейс меняет результат / Research Insights Made Simple #33

5 октября в 12:00 МСК — прямой эфир Research Insights Made Simple. Сольный выпуск с Александром Поломодовым: разбираем статью «SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering» с NeurIPS 2024. Что меняется, если дать той же языковой модели более удобный интерфейс для работы с репозиторием? Вместо разговора только о моделях и промптах посмотрим на действия агента и обратную связь, которую он получает. В программе: - Поиск по коду и чтение файлов: как агент находит нужное и сохраняет ориентиры. - Многострочные правки и проверка синтаксиса: как предотвращать ошибки и восстанавливаться после них. - Управление контекстом: что показывать модели, что сокращать и что сохранять. - Результаты SWE-bench и SWE-bench Lite: с чем сравнивают SWE-agent и что показывают абляции. - Выводы для современных агентов: какие принципы стоит перенести в свою систему, а какие настройки остались частью эксперимента 2024 года. Timeline 00:00 - Зачем возвращаться к SWE-agent 2024 года 01:05 - SWE-bench: реальные задачи в чужом проекте 03:00 - Зачем модели собственный интерфейс 04:45 - Цикл мысли, действия и наблюдения 06:32 - Как проверяли решения и ограничивали бюджет 08:49 - Результаты на полном SWE-bench 10:01 - Демонстрации и сравнение с обычным shell 10:55 - Поиск файлов и нужных мест в коде 14:30 - Просмотр с номерами строк и команда edit 17:20 - Отклонение правки и обратная связь линтера 20:37 - Абляции: что дают редактирование и проверки 22:19 - Окно просмотра и управление историей 24:54 - Траектории, повторные попытки и пределы модели 29:18 - Как авторы улучшали интерфейс экспериментами 31:47 - Принципы ACI, SWE-smith и mini-SWE-agent