Семинар №4 Нормализация

00:00 Начало 00:04 Материал прошлой лекции 02:36 Нормализация 06:23 Причины нормализации: Стабильность 07:14 Нелинейность 08:05 Подготовка данных (Data Preprocessing) 08:18 Pytorch Normalize 08:51 Инициализация весов 10:59 Случайная инициализация весов 12:28 Vanishing/exploding gradients 13:35 Чему равна дисперсия на выходе слоя? 14:03 Инициализация методом Завьера (Xavier Glorot) 14:55 Инициализация для ReLU 15:07 Инициализация Kaiming (He/MSRA) 15:30 Пример инициализации в PyTorch 16:18 Batch Normalization 17:06 В ходе обучения распределения весов меняется 17:36 Затухание градиента 18:35 Нормализация активаций 19:26 Обучаемые параметры в слое нормализации 21:18 Варианты нормализаций 24:56 Batch normalization 25:20 Batch normalization в режиме выводы (Inference) 29:06 Batch normalization for Convolution layers 29:43 Градиенты после Batch Norn 31:32 Преимущества Batch normalization 32:30 Batch normalization in Pytorch 33:01 Layer Norm 33:50 Use of batch Normalization 34:21 Результаты