Локальный запуск LLM (Qwen2) на vLLM и llama.cpp (Docker)
Запись практического семинара в МФТИ. Запуск OpenAI-совместимого сервера на vLLM и llama.cpp Ubuntu 24.04 / NVIDIA GeForce RTX 3060 Рекомендуется смотреть на х1.25 :) #vllm #llamacpp #chatgpt #openai #llm #qwen #ai #llama
Название:
Локальный запуск LLM (Qwen2) на vLLM и llama.cpp (Docker)
Категория:
Разное