Нейросети сочиняют музыку и поют - Satute Al Day 7.12.2022

Спикеры: команда NNMusic - Алексей Минин, Метальников Максим, Смоляков Максим, Гребняк Ярослав Нейромузыка и нейропение: нам песня строить и жить помогает! С момента появления революционной архитектуры СLIP от OpenAI, позволившей создавать новые подходы работы с моделями генерации изображений по текстовому запросу, исследователями во всем мире были предприняты попытки использования этой архитектуры в доменах, отличных от изображений. В своем докладе мы расскажем о нашей модели СLAMP, которая является развитием СLIP, и, совместно с моделью SymFormer, позволяет генерировать музыкальные произведения по текстовым запросам. Оригинальная модель СLIP обучалась на сотнях миллионов пар "изображение — текст". В нашем распоряжении было всего 80 тысяч пар "композиция — описание композиции". Мы расскажем об архитектурных решениях и особенностях обучения модели в условиях жёсткого дефицита данных. 🟢 Синтез пения произвольного текста на русском языке и конверсия голоса. Поющий ассистент! В настоящее время активно ведутся исследования не только в построении систем синтеза речи, но и синтеза пения. Разработчики совершенствуют акустические модели и вокодеры, но качество большинства решений оставляет желать лучшего. Причем, на рынке не представлены такие системы, которые работали бы с русским языком. Другим подходом в построении «поющей системы» является конверсия голоса. Это давняя актуальная задача. Каждый год происходят открытия, и нам тоже есть, что рассказать. В своем докладе мы расскажем о такой теме, как синтез пения на русском языке. Расскажем о подходе, основанном на диффузионных нейронных сетях. Покажем, как можно синтезировать пение произвольного текста, имея только слова, ноты и их длительности. Кроме того, расскажем, как с помощью механизма конверсии получить поющего ассистента без соответствующего датасета пения, причем на вход может подаваться не только синтезированное пение, но и любой другой голос, в том числе, запись реального исполнителя. Тайминг: 3:53 - 29:45 — Генерация нейромузыки по текстовому запросу 29:45 - 52:00 — Синтез нейропения и конверсия вокала 52:07 - 1:10:50 — Обсуждение и ответы на вопросы Подробнее о команде прикладных исследований в сфере обработки естественного языка в компании SberDevices (AGI NLP). Мы обучили первые большие русскоязычные генеративные модели и разработали бенчмарки для их оценки. https://clck.ru/32pw73 Salute AI Day Неформальные онлайн-встречи по средам с командами разработки и исследований SberDevices. Присоединяйтесь https://t.me/SaluteTechGroup SymFormer - модель от Сбера для генерации музыкальных произведений, основанная на принципе рассмотрения музыки в качестве нотного текста - https://developers.sber.ru/portal/products/symformer?attempt=1