Физика языковых моделей: Часть 4.1b, канонические слои и архитектурные принципы на основе площадк...

Продолжение второго урока по физике языковых моделей (видео перезагружено для оптимизации). Мы часто доверяем результатам больших масштабов просто потому, что они большие; но как только шум удаляется, синтетическая среда предварительного обучения начинает оказывать сильное сопротивление. Это второе видео (Часть 4.1b, 90 минут) наглядно демонстрирует это сопротивление. На его основе я вывожу более 20 архитектурных принципов, организованных в 12 блоков результатов. Два момента, которые неизменно удивляют даже опытных читателей: Результат 2.1 (новый): Почему слои Canon действительно работают. Не из-за многотокенового внимания — это объяснение относится только к первому слою. Реальный механизм заключается в том, как Canon перестраивает иерархическое обучение по глубине. Результат 11: Почему линейные модели рассуждают примерно в 4 раза мельче, чем трансформеры. Это не имеет ничего общего с размером памяти — это структурный недостаток, присущий почти всем линейным архитектурам. В Результате 12 я показываю, какие из этих принципов проявляются уже на этапе предварительного обучения в академическом масштабе (1,3 млрд / 100 млрд) — с порядками меньшей стоимостью и гораздо более чистыми сигналами, чем во многих реальных крупномасштабных запусках. Остальные принципы не исчезают; они проявляются только при масштабировании до 8 млрд / 1 Тл, что я покажу в третьем видео (Часть 4.2). ⏮️ Предыдущая: Часть 4.1a — методология и проектирование тренировочной площадки https://www.youtube.com/watch?v=x3G8knjPDbM ▶️ Эта: Часть 4.1b — архитектурные принципы тренировочной площадки 🔜 Следующая: Часть 4.2 — когда тренировочная площадка меняет реальное предварительное обучение https://www.youtube.com/watch?v=niHNWJxmkW0 Таймкоды: 00:00 - Вступление 05:11 - Результат 1: Слои Canon добавляют горизонтальный поток информации 18:31 - Результат 2: Canon повышает производительность Transformer 22:41 - Результат 2.1: Почему Canon улучшает иерархическое обучение 33:07 - Результат 3: Canon превращает NoPE в высокопроизводительного 39:57 - Результат 4: Абляции для Transformer + Canon 46:07 - Результат 5: Синтетическая тренировочная площадка позволяет проводить более точные сравнения архитектуры 52:45 - Результат 6: Canon повышает производительность линейного внимания до уровня GDN и превосходит Mamba2 1:00:56 - Результат 7: Что на самом деле определяет производительность Mamba1/2 1:05:23 - Результат 8: Что на самом деле определяет производительность Gated DeltaNet (GDN) 1:07:18 - Результат 9: Переосмысление архитектуры линейной модели 1:09:17 - Результат 10: Реальное сравнение: трансформеры против линейных моделей 1:13:48 - Результат 11: Почему линейные модели рассуждают в 4 раза мельче, чем трансформеры 1:16:42 - Результат 12: Что на самом деле говорит нам предварительный обучающий набор данных академического масштаба (1,3 млрд/100 млрд) Этот доклад охватывает вторую половину нашей статьи «Физика языковых моделей: Часть 4.1, Архитектура и магия слоев Canon», опубликованной на NeurIPS 2025 и доступной по адресу [ссылка на статью]. https://physics.allen-zhu.com/part-4-architecture-design/part-4-1.