Методы оптимизации 5. Стохастический градиентный спуск

Таймкоды: 00:00:00 — Начало 00:00:03 — Задачи машинного обучения 00:09:06 — Офлайн- и онлайн-постановки задач машинного обучения 00:24:09 — Стохастический градиентный спуск (SGD) 00:27:28 — Предположения о несмещённости и ограниченности дисперсии 00:32:05 — Сходимость SGD 00:50:35 — Окрестность сходимости и радиус окрестности 00:53:16 — Использование уменьшающегося шага и планировщики шага (scheduling) 00:59:04 — Уменьшение дисперсии с помощью мини-батчей (Mini-batching) 01:01:02 — Стратегии сэмплирования батчей на практике (эпохи и Data Mixing) 01:06:29 — Метод тяжёлого шарика и скрытый батчинг 01:09:39 — Ускоренные методы в стохастической оптимизации Дата лекции: 01.10.26 Лектор: Безносиков Александр Николаевич Оператор: Шафранов Артём Монтажёр: Вылубков Дмитрий Плейлист на YouTube: https://www.youtube.com/playlist?list=PLIDwNrEHP5NE Плейлист