Единственный цикл в основе GPT, Claude, Gemini и Llama | Архитектура LLM

Введите "The cat sat on the" и нажмите Enter. GPT-2 преобразует эти слова в пять чисел, пропускает их через 12 одинаковых блоков и оценивает каждый из своих 50 257 возможных следующих токенов. Затем он выбирает один из них, добавляет его к предложению и запускает весь процесс заново. Этот анимированный ролик демонстрирует, как работают большие языковые модели (LLM), от момента нажатия Enter до появления слов на вашем экране. Каждая большая языковая модель (LLM), лежащая в основе ChatGPT, Claude, Gemini и Llama, выполняет один и тот же цикл: предсказывает следующий токен, добавляет его, повторяет. Мы прослеживаем один из вариантов предсказания в GPT-2 Small: токенизация, таблица встраивания 50 257 × 768, позиционные встраивания, 12 блоков Transformer с причинно-следственным многоголовочным вниманием, прямые слои (от 768 до 3072 измерений и обратно), остаточные связи и финальная функция softmax по словарю. Затем мы рассмотрим, почему модель GPT, использующая только декодер, вытеснила BERT и T5, и почему архитектура LLM — это лишь половина истории. Параметры, данные и вычислительные ресурсы должны расти вместе: Chinchilla (70 миллиардов параметров, 1,4 триллиона токенов) превзошла в четыре раза большую модель Gopher (280 миллиардов параметров, 300 миллиардов токенов) по широкому спектру бенчмарков, что дало нам эмпирическое правило примерно о 20 обучающих токенах на параметр. В заключение мы рассмотрим такие новые возможности, как контекстное обучение, GPT-1 — GPT-5, и как настройка инструкций превращает простой предсказатель следующего токена в чат-помощника. Попутно мы ответим на следующие вопросы: • Что на самом деле происходит внутри LLM между нажатием Enter и появлением первого слова? • Почему модели, использующие только декодер, такие как GPT, превзошли BERT и T5 в генерации текста? • Как модель с 70 миллиардами параметров превзошла модель, в четыре раза превосходящую её по размеру? Главы 0:00 Каждая программа магистратуры в области права (LLM) делает одно 0:24 Что представляет собой программа LLM с точки зрения структуры? 0:59 Ваша клавиатура телефона в масштабах интернета 2:02 Цикл: предсказание, добавление, повторение 3:13 Внутри GPT-2: токены и эмбеддинги 4:23 12 блоков трансформера 5:22 От последнего вектора к вероятностям 6:32 BERT, GPT и T5: почему победил декодер 8:20 Три оси масштабирования 8:56 Суслик против шиншиллы 9:45 Законы масштабирования: 20 токенов на параметр 10:43 Возникающие способности 11:44 47 × 83: GPT-2 против GPT-3 13:07 От GPT-1 к GPT-5 14:51 Предварительное обучение против настройки инструкций 15:24 Одна цель, одна архитектура Полная серия: плейлист LLM Zero to Hero: https://www.youtube.com/playlist?list=PLI3rR0P6VJUbhNRYhrnzexqkDim9kcjuF Источники: • Внимание — это всё, что вам нужно — Васвани и др. (2017): https://arxiv.org/abs/1706.03762 • BERT: Предварительное обучение глубоких двунаправленных трансформеров для понимания языка — Девлин и др. (2018): https://arxiv.org/abs/1810.04805 • Языковые модели — это неконтролируемые многозадачные обучающиеся модели (GPT-2) — Рэдфорд и др. (2019): https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf • Изучение пределов трансферного обучения с помощью унифицированного трансформера текста в текст (T5) — Раффел и др. (2019): https://arxiv.org/abs/1910.10683 • Законы масштабирования для нейронных языковых моделей — Каплан и др. (2020): https://arxiv.org/abs/2001.08361 • Языковые модели — это модели обучения с малым количеством примеров (GPT-3) — Браун и др. (2020): https://arxiv.org/abs/2005.14165 • Масштабирование языковых моделей: методы, анализ и выводы из обучения Gopher — Рэй и др. (2021): https://arxiv.org/abs/2112.11446 • Обучение вычислительно оптимальных больших языковых моделей (Chinchilla) — Хоффманн и др. (2022): https://arxiv.org/abs/2203.15556 • Обучение языковых моделей следованию инструкциям с обратной связью от человека — Оуян и др. (2022): https://arxiv.org/abs/2203.02155 • Возникающие способности больших языковых моделей — Вэй и др. (2022): https://arxiv.org/abs/2206.07682 • Технический отчет GPT-4 — OpenAI (2023): https://arxiv.org/abs/2303.08774 О канале ML Visualized — это канал, созданный бывшим инженером по машинному обучению из FAANG, который снимает видео из своей спальни о том, как на самом деле работает современный ИИ. Каждое видео начинается с нуля и покадрово, шаг за шагом, раскрывает реальную математику и архитектуру таких систем, как ChatGPT, Claude и Gemini. Никаких поверхностных объяснений. Никаких «это черный ящик». Только терпеливые, подробные объяснения механизмов внимания, эмбеддингов, токенизации, тонкой настройки и RAG, которые мне бы очень пригодились, когда я сам изучал это. Создано с помощью Manim. Сделано с терпением. Если какой-то момент в этом видео заставил меня что-то понять, оставьте комментарий — именно они заставляют меня продолжать анимировать. Подпишитесь и включите уведомления, чтобы получать больше визуализаций математичес...