Оптимизация обучения и инференса моделей для генерации видео на множестве GPU / Мария Ковалева

Генерация видео — это творческая и интересная, но одновременно сложная задача, требующая большого количества ресурсов. Расскажу, как в команде Kandinsky обучают большие трансформеры для генерации видео: какие техники используют для эффективной утилизации кластера из огромного количества GPU. Обсудим DDP, FSDP, activation checkpointing, tensor & sequence parallel и другие алгоритмы. https://github.com/ai-forever/Kandinsky-5/tree/pml_conf На практической части мастер-класса покажу, как ускорить инференс и генерацию видео, распараллелив трансформер через библиотеку pytorch с помощью алгоритма tensor parallel.