Как устроена ваша лента: машинное обучение в рекомендательных системах

❯ Курс «ИИ-автоматизация: проектирование и запуск агентных систем»: https://clck.ru/3VyqPR На вебинаре с Karpov.Courses вместе разбираемся, как работает модель и почему нам попадается то, что попадается. Эксперт: Денис Амбросов — инженер по машинному обучению в Райффайзенбанке, стрим-лид направления модельных рисков и рисков систем искусственного интеллекта. Таймкоды: 04:05 — Вступление 05:10 — Знакомство с Денисом Амбросовым 05:52 — Что разберём на вебинаре 06:39 — О karpov.courses, ИТМО и совместной программе 10:59 — Рекомендательные системы 11:26 — Зачем бизнесу рекомендации и борьба за внимание пользователя 14:18 — Чем занимается ML-инженер и как устроен ML-пайплайн 16:31 — Постановка задачи рекомендательной системы 19:11 — Какие данные о пользователях и объектах используют рекомендации 21:22 — Требования к рекомендательной системе: бизнес, функциональность, скорость и нагрузка 27:11 — Как обучается модель и что именно она предсказывает 29:45 — Метрики рекомендательных систем: MAP, NDCG и A/B-тесты 33:16 — Покрытие каталога, разнообразие, новизна и холодный старт 35:34 — Петля обратной связи: почему рекомендации могут замыкаться сами на себе 37:38 — Архитектура рекомендательной системы: кандидаты → ранжирование → фильтрация → выдача 41:40 — Признаки и эмбеддинги: как представить пользователей и контент числами 45:18 — Как отбирают кандидатов: популярное, контентные и коллаборативные рекомендации 47:01 — Ранжирование кандидатов и модели машинного обучения 49:30 — Как работает бустинг на простом примере 51:24 — Train, validation и test: как правильно проверять модель 53:16 — Почему данные в рекомендациях нужно делить по времени 55:10 — Фильтрация, разнообразие, кэш и запасной сценарий 56:52 — Практика: собираем рекомендательную систему на реальных данных онлайн-кинотеатра 58:03 — Формулируем бизнес- и ML-задачу для онлайн-кинотеатра 1:00:49 — Что считать взаимодействием пользователя 1:02:23 — Делим данные на обучение и тест. Проблема новых пользователей 1:04:28 — Бейзлайн: рекомендуем самые популярные фильмы 1:06:42 — Recall@10, MAP и NDCG: считаем метрики на примерах 1:10:41 — Матричная факторизация: первая персонализированная модель 1:14:44 — Negative sampling и обучение на больших данных 1:16:08 — Сравниваем персонализированную модель с бейзлайном 1:17:21 — Двухэтапная система: отбор кандидатов + бустинг 1:20:32 — Как бустинг улучшает ранжирование рекомендаций 1:22:14 — Сохраняем модель и готовим её к использованию в проде 1:23:31 — Модель «две башни»: как решить проблему новых пользователей и объектов 1:27:13 — Как устроена рекомендательная система крупной соцсети 1:29:16 — Откуда социальная сеть собирает кандидатов для ленты 1:31:03 — «Карта вкусов» и двухбашенная модель 1:33:07 — История действий пользователя как последовательность для трансформера 1:35:05 — Трансформер для ранжирования постов 1:36:59 — 19 действий пользователя: лайки, репосты, жалобы и другие сигналы 1:37:35 — Как бизнес управляет лентой через веса разных действий 1:40:00 — Финальная сборка ленты: посты, реклама и рекомендации 1:42:16 — Что осталось за рамками: данные, MLOps, A/B-тесты и мониторинг 1:45:13 — Какие навыки нужны ML-инженеру и чему учат на программе 1:47:11 — О программе «Машинное обучение»: структура курса 1:55:44 — Вопросы участников