#3. Глубокое обучение нейросетей: обратное распространение ошибки

179 подписчиков

12+
12+

44 просмотра

2 дня назад

ПожаловатьсяНарушение авторских прав

179 подписчиков

12+
12+

44 просмотра

2 дня назад

ПожаловатьсяНарушение авторских прав
12+
12+

44 просмотра

2 дня назад

Список агрегаторов нейросетей: qiper.ru - все нейросети в одном месте Искусственный Интеллект/Нейросети/AI/ИИ 00:00:10 Введение в алгоритм обратного распространения ошибки Алгоритм обратного распространения ошибки — основа обучения нейронных сетей В предыдущих видео обсуждались нейронные сети и прямое распространение сигнала Цель нейросети — распознавать рукописные цифры 00:01:09 Функция потерь и градиентный спуск Величина потерь для одного примера — это сумма квадратов разностей между активациями и ожидаемыми активациями Средняя величина потерь по обучающим примерам показывает эффективность нейросети Отрицательный градиент функции потерь показывает, как должны измениться веса и смещения для минимизации функции 00:01:49 Принцип работы алгоритма Алгоритм обратного распространения ошибки вычисляет отрицательный градиент Каждая компонента вектора градиента показывает чувствительность функции потерь к изменению соответствующего параметра Пример: компонента, относящаяся к весу одной связи, может быть в 32 раза больше, чем компонента другой связи 00:03:48 Влияние обучающего примера на параметры сети Пример с изображением двойки показывает, как изменения в активациях влияют на параметры сети Для увеличения активации нейрона можно увеличить смещение, веса или изменить активации предыдущего слоя Изменение весов более активных нейронов оказывает больший эффект на функцию потерь 00:05:38 Теория Хебба и изменение активаций Теория Хебба объясняет укрепление связей между нейронами при их регулярном взаимодействии Изменение активаций предыдущего слоя может увеличить активацию нейрона на последнем слое Важно заранее определить желаемые значения активаций 00:07:50 Суммирование изменений и применение алгоритма Алгоритм суммирует изменения от последнего слоя и применяет их к предпоследнему слою Процесс повторяется для всех обучающих примеров, усредняя изменения весов и смещений Усреднённые изменения представляют собой отрицательный градиент функции потерь 00:09:41 Стохастический градиентный спуск Вычисление градиента на основе всех обучающих примеров трудоёмко, поэтому данные разбиваются на мини-батчи Мини-батчи позволяют найти хорошее приближение, затрачивая меньше вычислительных ресурсов Стохастический градиентный спуск ускоряет процесс обучения 00:10:38 Итоги и заключение Алгоритм обратного распространения ошибки корректирует веса и смещения после обработки одного обучающего примера Для ускорения вычислений данные разбиваются на мини-батчи Последовательная обработка мини-батчей приближает нейросеть к локальному минимуму функции потерь Для успешного обучения необходимо иметь много обучающих данных 00:11:35 Анонс следующего видео В следующем видео будет представлено математическое описание алгоритма Подчёркивается важность понимания процесса на уровне математики

Название:

#3. Глубокое обучение нейросетей: обратное распространение ошибки