Ruslan Senatorov | урок 3. Техники оптимизации нулевого порядка

00:00:34 Обсуждение взаимосвязи между функцией потерь и линейной моделью. 00:01:15 Оптимизация нулевого порядка 00:02:13 Параметры градиентного спуска 00:03:12 Гиперпараметры 00:04:35 глобальная и локальная оптимизация, алгоритм случайного поиска. 00:07:02 Оптимизация первого порядка 00:08:39 Физический смысл производной 00:09:43 Введение в градиент 00:10:11 Поиск минимума функции 00:12:50 Выбор начальной точки 00:14:39 Настройка гиперпараметров 00:16:28 Начало итераций 00:19:05 Спуск по функции 00:22:18 Задача оптимизации 00:24:21 Оптимизация шага 00:26:01 Анализ алгоритма 00:30:21 Важность правильного подбора альфа 00:32:41 Оптимизация нулевого порядка 00:35:31 Задачи оптимизации в машинном обучении 00:39:22 Глобальные и локальные оптимумы 00:41:09 Функции потерь 00:41:52 Линейная и квадратичная регрессия 00:43:11 Глобальный и локальный минимум 00:44:39 Условия оптимальности нулевого порядка 00:46:39 Функции потерь в нейросетях 00:47:41 Глобальная оптимизация путём сэмплирования 00:51:08 Проклятие размерности 00:54:24 Условная оптимизация 00:55:12 Введение в алгоритм PCA 00:56:20 Уменьшение размерности 00:58:50 Применение PCA 01:00:16 Локальная итеративная оптимизация 01:01:47 Направление спуска 01:03:13 Выбор шага 01:05:20 Случайный поиск 01:08:29 Координатный спуск 01:09:30 Введение в координатный спуск 01:10:32 Принцип координатного спуска 01:11:30 Преимущества координатного спуска 01:12:22 Сравнение алгоритмов 01:13:08 Логика координатного спуска 01:14:35 Эффективность координатного спуска 🚀 Вступай в сообщество: https://boosty.to/SENATOROV