Разделенный DMD: копье и щит диффузионной дистилляции

В данной статье под названием *«РАЗДЕЛЕННЫЙ DMD: CFG-АУГМЕНТАЦИЯ КАК КОПЬЕ, СООТВЕТСТВИЕ РАСПРЕДЕЛЕНИЙ КАК ЩИТ»* представлен новый анализ метода дистилляции диффузионной модели (DMD), особенно для таких сложных задач, как преобразование текста в изображение. Центральный тезис работы ставит под сомнение общепринятое представление о том, что успех DMD обусловлен исключительно механизмом сопоставления выходного распределения модели ученика ($p_{fake}$) с целевым распределением модели учителя ($p_{real}$). Ниже представлен анализ ключевых результатов и концепций, представленных в источниках: 1. Проблема и общепринятый взгляд Диффузионные модели весьма эффективны в генеративном моделировании, но их итеративный процесс выборки требует множества вычислений, что делает их вычислительно затратными и медленными. Дистилляция диффузионной модели, включая варианты, такие как дистилляция с сопоставлением распределений (DMD), направлена на преобразование этих многошаговых моделей в эффективные малошаговые или одношаговые генераторы. Теоретическая основа DMD заключается в минимизации интегрального расхождения Кульбака-Лейблера (IKL) между распределениями ученика и учителя (уравнение 1). Однако авторы отмечают существенное противоречие: на практике, особенно для сложных задач, **методы типа DMD достигают хорошей производительности только при применении безклассификаторного руководства (CFG) к оценке модели учителя**. Такое использование CFG нарушает целостность исходного строгого теоретического вывода о сопоставлении распределений. 2. Разделённый взгляд: генератор и регуляризатор Благодаря строгому анализу практической учебной цели DMD (Уравнение 3) авторы показывают, что её эффективность обусловлена чётким разделением труда между двумя отдельными компонентами: #### A. Расширение CFG (CA): Двигатель (Spear) *Роль:* Член CA ($\Delta_{cfg}^{real}$) является основным *«движком»* дистилляции. Это ранее упускаемый из виду компонент, который напрямую применяет масштабированный сигнал CFG в качестве градиента к выходным данным студента. *Функция:* Он отвечает за преобразование многошаговой модели в высококачественный малошаговый генератор. Способность дистиллированного генератора создавать высококачественные сэмплы за несколько шагов практически полностью обусловлена членом CA. *Понимание механизма:* Механизм КА, применяемый при определённом уровне шума $\tau$, в первую очередь улучшает содержание изображения, соответствующее этому уровню шума. Авторы предполагают, что КА работает, «встраивая» определённый детерминированный шаблон решений (CFG) в предсказания генератора учеников, сводя итеративный процесс генерации к прямому пути. *Ограничение:* Обучение только с помощью КА нестабильно и неустойчиво; оно приводит к появлению артефактов, таких как перенасыщение и высокочастотный шум, что в конечном итоге приводит к коллапсу обучения. #### B. Сопоставление распределений (DM): Регуляризатор (защита) *Роль:* Термин DM ($\Delta_{real-fake}$) строго соответствует исходному теоретическому выводу сопоставления двух распределений (уравнения 1 и 2). Для сложных задач его основная функция — быть мощным **регуляризатором**. *Функция:* Обеспечивает стабильность обучения, предотвращает отклонения в процессе обучения и устраняет артефакты, вносимые КА-машиной. *Понимание механизма:* Член DM действует как корректирующий механизм, сравнивая «реальный результат» модели замороженного учителя (без артефактов) с «поддельным результатом» вспомогательной модели (которая изучает режимы сбоев генератора). Результирующий градиент активно нейтрализует эти характерные артефакты. *Валидация:* Авторы продемонстрировали, что, несмотря на высокую эффективность DM, она не является уникальной; более простые методы (например, непараметрическая регуляризация средней дисперсии) или сложные методы (например, цели на основе генеративно-ассоциативных сетей) также могут выполнять эту стабилизирующую функцию, хотя DM представляет собой оптимальную «золотую середину» с точки зрения стабильности и корректирующей способности.