Kimi-K2(1T)/GLM 4.7(355B) на 4-узловом кластере Strix Halo — 512 ГБ унифицированной памяти

В этом видео я демонстрирую запуск крупномасштабных моделей смешанных экспертов (Mixture-of-Experts, MoE) на кластере из 4 узлов на базе систем AMD Strix Halo. Конфигурация состоит из четырех материнских плат Framework Desktop, каждая из которых оснащена 128 ГБ оперативной памяти, что в сумме составляет 512 ГБ унифицированной памяти, адресуемой через бэкенд RPC llama.cpp. Я подробно описываю конфигурацию, необходимую для запуска модели Kimi-K2-Instruct (1 триллион параметров) с квантованием Q3 и модели GLM-4.7 (358 миллиардов параметров) с квантованием Q8. В видео рассматриваются необходимые обновления программного стека, касающиеся версий ядра Linux и прошивки, для обеспечения стабильности ROCm на архитектуре gfx1151. Я также представляю скрипт оркестровки на Python, предназначенный для автоматизации развертывания RPC-сервера и сегментов модели на разных узлах. В заключение я обсуждаю ограничения производительности, вызванные задержкой Ethernet в данной архитектуре, и излагаю планы по внедрению RDMA с использованием сетевых карт Intel E810 и тензорного параллелизма vLLM в будущем. Временные метки 00:00 - Введение 01:13 - Конфигурация кластера 02:45 - Скрипт оркестрации для распределенной Llama 03:04 - Запуск Kimi-K2-Instruct (1T MoE) 04:46 - Тесты производительности Kimi-K2 05:35 - Запуск GLM-4.7 (358B MoE) 08:04 - Следующие шаги: RDMA и тензорный параллелизм Ссылки и ресурсы Инструментарий Strix Halo и скрипт оркестрации: https://github.com/kyuz0/amd-strix-halo-toolboxes Канал Алекса Зискинда: https://www.youtube.com/@AZisk Предыдущее видео: Поддержка ROCm/Linux в Strix Halo: https://www.youtube.com/watch?v=Hdg7zL3pcIs Предыдущее видео: Создание кластера из 2 узлов: https://www.youtube.com/watch?v=0cIcth224hk Kimi-K2-Instruct GGUF (Unsloth): https://huggingface.co/unsloth/Kimi-k2-Instruct-GGUF GLM-4.7 GGUF (Unsloth): https://huggingface.co/unsloth/GLM-4.7-GGUF