Боль автодополнений 2 Считаем Трансформер вручную

Как на самом деле устроен Трансформер и почему современные нейросети умеют предсказывать твои мысли? В этой части мы заглянем под капот архитектуры, ставшей основой для GPT, BERT и всех современных больших языковых моделей. Разберем сложную математику простым языком и на интерактивных визуальных примерах: 1. Механизм внимания (Self-Attention): зачем нужны матрицы Query, Key, Value и как они взвешивают контекст. 2. Анатомия трансформера: из чего состоят блоки MHA, Add & LayerNorm, FFN и функция активации GELU. 3. Обратное распространение ошибки (Backpropagation): как рассчитываются «рычаги» (производные) для обновления весов. 4. Проблема китайского ввода (Пиньинь): как набрать слог «shi» и не сойти с ума от 80+ вариантов иероглифов. 5. Инженерные компромиссы: как подружить тяжелую нейросеть с марковскими цепями, сжать модель до 100 МБ и заставить её выдавать подсказки на телефоне быстрее, чем человек печатает буквы.