Одношаговое моделирование языка с помощью непрерывного шумоподавления | Николас Боффи

https://hannes-stark.com/starkly-speaking Статья: Одношаговое моделирование языка с помощью непрерывного шумоподавления https://arxiv.org/abs/2602.16813 Аннотация: Языковые модели, основанные на дискретной диффузии, привлекли широкое внимание благодаря своему потенциалу обеспечить более быструю генерацию, чем авторегрессивные модели. Несмотря на свои многообещающие перспективы, эти модели обычно создают образцы, качество которых резко ухудшается в режиме нескольких шагов, что препятствует существенному ускорению на практике. Здесь мы показываем, что языковые модели, основанные на непрерывных потоках над one-hot токенами, могут превосходить дискретную диффузию как по качеству, так и по скорости. Важно отметить, что наша непрерывная формулировка определяет уникальную карту потоков, которую можно изучить напрямую для эффективного вывода в режиме нескольких шагов, — структуру, которая, как мы показываем, недоступна для дискретных методов. В этой постановке мы показываем, что как поток, так и связанная с ним карта потоков могут быть изучены с помощью простых целей кросс-энтропии, которые учитывают симплексную геометрию данных, и мы определяем три различных варианта дистилляции карты потоков, производительность которых мы сравниваем на практике. Используя эти данные, мы создаём языковую модель потока (FLM), непрерывный поток, который соответствует современным базовым моделям дискретной диффузии на наборах данных One Billion Words (LM1B) и OpenWebText (OWT). Затем мы преобразуем FLM в языковую модель карты потока (FMLM), чья одношаговая генерация превосходит 8-шаговое качество недавних многошаговых моделей дискретной диффузии. Наша работа опровергает широко распространённую гипотезу о необходимости дискретных процессов шумоподавления для генеративного моделирования в дискретных модальностях и открывает путь к ускоренному языковому моделированию в масштабе. Код доступен по этому адресу https.