Дальше, точнее, быстрее: query-based-детекция для автономного транспорта / Иван Лунев

Система восприятия автономного автомобиля должна одновременно видеть далеко, детектировать точно и укладываться в жёсткий бюджет времени на edge-устройстве. Наша CNN-based-архитектура на базе BEVFusion даёт обзор на 250 м вперёд и назад и на 100 м по бокам, но масштабировать дальность не получается: любое расширение зоны видимости упирается либо в качество детекции, либо в скорость инференса. Расскажу, как мы перешли на query-based-модель MV2DFusion и сняли это ограничение: боковой обзор уже вырос с 100 до 200 м, а дальность вперёд и назад архитектура позволяет увеличить с 250 до 400 м: это наши следующие планы. Разберём, почему выбрали именно эту модель и как сравнивали с BEVFusion по дальности, точности, скорости и потреблению ресурсов. Основная часть доклада — про архитектуру: как устроена query-based-модель и что происходит с её компонентами при переезде. Покажу, как адаптируются разные головы и модули детектора, как всё это работает с мультимодальными данными автономного автомобиля и какие особенности возникают при обучении. Отдельно сравню инференс до и после — по каждому компоненту и по модели в целом в процентах. Разберу готовый кейс оптимизации ML-модели с конкретными цифрами и решение классической дилеммы разработки: как расширить охват данных (дальность обзора), сохранить качество и при этом стать быстрее.