История градиента (от физики до ИИ)

Сегодня градиент — это главный математический компас для минимизации функций затрат в эконометрике и обучении искусственного интеллекта. Но этот инструмент был изобретен не современными статистиками, а создан в результате ожесточенной академической вражды XIX века. Мы прослеживаем эволюцию градиентного вектора: от частных производных Эйлера и изобретения градиентного спуска Коши до оператора набла (набла) Уильяма Роуэна Гамильтона в форме арфы. Узнайте, как Оливер Хевисайд и Уиллард Гиббс упростили сложные правила, чтобы дать нам изящный векторный анализ, который мы используем сегодня для навигации в n-мерном пространстве. Ссылки: 1. История векторного анализа, Майкл Дж. Кроу 2. Div, Grad, Curl, and All That: An Informal Text on Vector Calculus, Х. М. Шей 3. Выпуклая оптимизация, Стивен Бойд и Ливен Ванденбергхе