Запускаем Qwen3.8 27b на одной RTX 3090 через llama.cpp
Показываю и рассказываю как запустить Qwen3.8 27b в квантизации Q4_K_M на одной видеокарте Nvidia RTX 3090. Качаем llama.cpp, качаем huggingface-cli, качаем qwen3.8 27b, запускаем, проверяем. 0:00 - О чем ролик 0:38 - Ставим llama.cpp 2:07 - Ставим huggingface-cli 3:17 - Качаем qwen3.8 6:21 - Запускаем qwen3.8 8:20 - Проверка 9:50 - Концовка
Название:
Запускаем Qwen3.8 27b на одной RTX 3090 через llama.cpp
Категория:
Разное