SGLang: Высокопроизводительный фреймворк для инференса LLM и мультимодальных моделей

SGLang: Высокопроизводительный фреймворк для инференса LLM и мультимодальных моделей Обзор архитектуры, установки и production-деплоя SGLang от LMSYS. Поддержка P/D disaggregation, speculative decoding, multi-LoRA и day-0 моделей. Статья: https://dudarik.com/blog/sglang/ Dudarik: AI-инструменты, агенты и инфраструктура.