Параллакс — это то, чем хочет быть Ollama (распределенный локальный ИИ) 👀

GPU Runpod: https://get.runpod.io/pe48 Поддержите меня на Patreon: https://www.patreon.com/PromptEngineer975 Запуск гигантских LLM с открытым исходным кодом локально… но распределённо на разных машинах? 👀 Да, это реально — и это называется Parallax. В этом видео я покажу вам, как запустить Parallax на Linux с помощью графических процессоров RunPod, превратив несколько машин в единую распределённую систему вывода. Если вам нравятся LM Studio, Ollama, Exo или модели искусственного интеллекта, размещаемые самостоятельно, то это будет нечто особенное 😤⚡ Parallax позволяет: • Запускать большие модели с открытым исходным кодом локально • Распределять вывод между несколькими графическими процессорами/узлами • Совмещать графические процессоры Linux и Apple Silicon (MLX) • Сохранять вывод в ведении пользователя и обеспечивать конфиденциальность Ссылки: https://github.com/GradientHQ/parallax/tree/main Код для mlx “”” git clone --branch v0.29.1 https://github.com/ml-explore/mlx.git && \ apt-get install libblas-dev liblapack-dev liblapacke-dev -y && \ cd mlx && \ PYPI_RELEASE=1 pip install . “”” Код для установки Parallax на Linux ””” git clone https://github.com/GradientHQ/parallax.git cd parallax pip install -e '.[gpu]' ””” ССЫЛКИ НА КАНАЛЫ: ☕ Угостите меня кофе: https://ko-fi.com/promptengineer 📞 Свяжитесь со мной по телефону в Calendly: https://calendly.com/prompt-engineer48/call 💀 Профиль на GitHub: https://github.com/PromptEngineer48 Хестеги: #LocalAI, #OpenSourceAI, #LLM, #AIInference, #DistributedAI, #RunPod, #LinuxAI, #Ollama, #LMStudio, #Exo, #SGLang, #MLX, #AppleSilicon, #GPUAI, #AIInfrastructure, #SelfHostedAI, #OpenSource, #GenAI Хронология: 0:00 Введение 1:27 Runpod 1:48 Запуск графических процессоров 3:02 Руководство по установке 4:40 Запуск параллакса 6:15 Присоединение параллакса 6:53 Загрузка моделей 7:28 Заключение