Как создают ChatGPT и Claude: лекция Stanford за 12 минут

Как из огромного массива интернет-текстов появляется AI-ассистент вроде ChatGPT или Claude? В этом видео я разобрала лекцию Stanford CS229 о создании больших языковых моделей и собрала самые важные идеи в один понятный разбор примерно на 12 минут. Вы увидите весь путь современной LLM: Internet Data → Pretraining → Base LLM → Post-training → AI Assistant Разберём: — почему после pretraining модель ещё не является полноценным AI-ассистентом; — как работает предсказание следующего токена; — почему фраза «нейросеть обучили на интернете» сильно упрощает реальный процесс; — зачем данные очищают, фильтруют и удаляют дубликаты; — чем pretraining отличается от post-training; — что такое SFT — supervised fine-tuning; — как человеческие предпочтения используются в RLHF и DPO; — почему оценщики могут непреднамеренно обучать модель писать более длинные ответы; — как работает LLM-as-a-Judge, когда одна модель оценивает ответы другой; — и почему поведение ChatGPT зависит не только от архитектуры нейросети. Главная мысль: современный AI — это не одна модель и не один алгоритм. Это целая система из данных, вычислений, pretraining, post-training, человеческой обратной связи и evaluation. 🎓 Основа выпуска: лекция Stanford CS229, Yann Dubois — Building Large Language Models (LLMs). Оригинальная лекция: https://www.youtube.com/watch?v=9vM4p9NN0Ts Фрагменты оригинальной лекции используются в аналитическом и образовательном контексте с комментариями и переводом. AILENIQ — AI Visibility Intelligence Разбираем AI без магии: нейросети, AI-агенты, AI-поиск и технологии, которые меняют цифровой мир и бизнес. Подписывайтесь, если хотите понимать не только какой AI появился, но и как он работает и почему это важно. #ChatGPT #Claude #Stanford #LLM #ИскусственныйИнтеллект #AI #AILENIQ