Локальная нейросеть на 8 ГБ VRAM пишет игру за 4 минуты
Запускаем модель на 35 млрд параметров локально — на обычной игровой машине с RTX 3070 (8 ГБ) и 32 ГБ оперативной памяти. Без интернета, без подписок, без единого оплаченного токена. В видео: разбираемся, что означает A3B и почему MoE-модель работает на слабом железе, подбираем квантизацию под свой объём памяти, настраиваем параметры загрузки и инференса в LM Studio. Показываю неочевидный приём, который освобождает почти 2 ГБ видеопамяти и даёт около 10% прироста скорости бесплатно. Финальный тест — мини-игра Tower Defense в одном HTML-файле, сгенерированная одним промтом без единой правки. Запустилась с первого раза, без ошибок в консоли. Железо: Ryzen 7 5700X · 32 ГБ DDR4-3600 · RTX 3070 8 ГБ Таймкоды — ниже. Если у вас другая видеокарта, пишите в комментариях, какой объём памяти тестировать в следующий раз. 0:00 Что тестируем: локальная модель на 35B 0:15 LM Studio и наше железо: 8 ГБ VRAM 0:38 Разбор модели Qwen3.6 35B A3B: MoE, MTP, квантизация 1:17 Ищем и скачиваем модель в LM Studio 2:07 Конфигурация тестового ПК 2:56 Параметры загрузки: контекст, слои, ядра, mmap 4:11 MTP и квантизация кэша 4:33 Параметры инференса для задач по коду 5:30 Первый запуск и расход памяти 6:32 Переключатели Reasoning и Vision 7:03 Базовый замер: 38 токенов в секунду 7:44 Оптимизация: отключаем визуальный энкодер 8:41 Освободили 2 ГБ — отдаём их экспертам 9:27 Результат: +10% скорости бесплатно 10:06 Задача: Tower Defense одним промтом 10:25 Что внутри промта и граничные случаи 11:02 Модель пишет код 11:19 Запускаем игру: интерфейс на месте 11:47 Геймплей: башни, враги, золото 12:09 Итоги эксперимента 12:47 Что будет в следующем видео #нейросети #LMStudio #Qwen #локальнаянейросеть #ИИ Music from #Uppbeat (free for Creators!): https://uppbeat.io/t/christopher-galovan/make-believe License code: 2R36DNXDDENMKD1R
Название:
Локальная нейросеть на 8 ГБ VRAM пишет игру за 4 минуты
Категория:
Разное