Стохастический градиентный спуск: простое объяснение!!!

Хотя стохастический градиентный спуск звучит замысловато, это всего лишь простое дополнение к «обычному» градиентному спуску. В этом видео рассматривается задача, которую решает стохастический градиентный спуск, а затем демонстрируется, как он это делает. Попутно мы обсуждаем ситуации, в которых стохастический градиентный спуск наиболее полезен, и некоторые интересные, не столь очевидные особенности. ПРИМЕЧАНИЕ: На отметке 9:03 есть небольшая опечатка. Значения для точки пересечения и наклона должны быть самыми последними оценками, 0,86 и 0,68, вместо исходных случайных значений, 0 и 1. ПРИМЕЧАНИЕ: Этот StatQuest предполагает, что вы уже понимаете «обычный» градиентный спуск. Если нет, посмотрите «Quest»: https://www.youtube.com/watch?v=sDv4f4s2SB8 Когда я изучал стохастический градиентный спуск, я нашел множество интересных веб-сайтов, которые предоставили много подробной информации. Вот некоторые из моих любимых: У Себастьяна Рудера есть отличная статья: http://ruder.io/optimizing-gradient-descent/ …как в руководстве по обучению с использованием неконтролируемых признаков и глубокому обучению: http://deeplearning.stanford.edu/tutorial/supervised/OptimizationStochasticGradientDescent/ Полный список всех видеороликов StatQuest можно найти здесь: https://statquest.org/video-index/ Если вы хотите поддержать StatQuest, пожалуйста, рассмотрите возможность… Patreon: https://www.patreon.com/statquest …или… Подписка на YouTube: https://www.youtube.com/channel/UCtYLUTtgS3k1Fg4y5tAhLbw/join …покупки одной из моих книг, учебного пособия, футболки или толстовки, или песни от StatQuest магазин... https://statquest.org/statquest-store/ ...или просто пожертвовать StatQuest! https://www.paypal.me/statquest Наконец, если вы хотите следить за моими исследованиями и созданием новых StatQuest, подпишитесь на меня в Твиттере: Исправления: 9:03. Значения для точки пересечения и наклона должны быть самыми последними оценками, 0,86 и 0,68, вместо исходных случайных значений, 0 и 1. 9:33 наклон должен быть 0,7. #statquest #sgd