Ашвин Пананджади — Прогнозирование поведения итеративных алгоритмов в многомерном, усредненном сл...

Преподаватель: Ашвин Пананджади Принадлежность: Технологический институт Джорджии Аннотация: Итеративные алгоритмы являются основными рабочими лошадками современной статистической обработки сигналов и машинного обучения. Разработка и анализ алгоритмов в значительной степени основаны на вариационных свойствах рассматриваемой непрерывной задачи оптимизации, и классический подход был сосредоточен на получении гарантий сходимости в худшем случае для классов задач, обладающих определенными типами геометрии. Однако современные задачи оптимизации в статистических условиях являются многомерными, включают случайные данные и, следовательно, по своей природе относятся к среднему случаю: следовательно, алгоритмы часто ведут себя иначе, чем предполагает классическая теория. С целью лучшего понимания оптимизации в таких условиях я представлю набор инструментов для вывода «эволюций состояний» для широкого спектра алгоритмов со случайными данными. Это неасимптотические, почти точные предсказания статистического поведения алгоритма, которые применимы даже тогда, когда лежащая в основе задача оптимизации является невыпуклой или алгоритм инициализируется случайным образом. Мы представим эти прогнозы на основе детерминированных и стохастических вариантов сложных алгоритмов, используемых в некоторых канонических статистических моделях, и обсудим их применение к настройке гиперпараметров и реконструкции сигнала в томографии.