Модель программирования GPU: архитектура, компиляция и иерархия потоков | M2L5

В этом видео объясняется модель программирования GPU с точки зрения системного подхода. Мы рассматриваем, как взаимодействуют CPU и GPU, как компилируется единый исходный код для обоих процессоров и как организована параллельная работа в CUDA. Вы узнаете о ролях CPU и GPU, как запускаются ядра, как компилируется и выполняется код, а также как потоки, варпы, блоки и сетки формируют иерархию выполнения. Мы также объясняем индексацию потоков, глобальные идентификаторы потоков и строгие правила связи, обеспечивающие масштабируемое выполнение на GPU. Этот урок является продолжением предыдущего видео о дивергенции варпов и закладывает основу для написания эффективных программ CUDA. Хронология: 00:00 Введение в программирование GPU 00:17 Роли CPU и GPU в системе 00:34 CPU как оркестратор 01:06 Модель выполнения GPU 01:34 Взаимодействие CPU-GPU (PCIe, NVLink) 01:59 Единая модель исходного кода 02:11 Конвейер компиляции (CPU против GPU) 02:26 Обзор иерархии выполнения CUDA 02:36 Потоки: фундаментальная единица выполнения 02:46 Варпы: аппаратная единица выполнения 03:02 Блоки потоков и их взаимодействие 03:18 Сетки и область запуска ядра 03:38 Идентификация и индексирование потоков 03:49 Вычисление глобального идентификатора потока 04:05 Правила связи в CUDA 04:16 Связь внутри блока 04:34 Связь между блоками 04:50 Проектирование CUDA Философия 05:07 Краткое содержание и основные выводы