Разделяй и властвуй — боль и отчаяние от инференса нескольких LLM на одной карте — Кирилл Малков

Не существует best-practices, как эффективно делить одну GPU для инференса нескольких LLM. Существуют два полярных подхода: аппаратная виртуализация и программные лимиты. Каждый из них имеет свои плюсы и минусы. Сравнили подходы к шерингу GPU и разобрали NVIDIA MIG: нюансы нарезки слотов, утилизацию мощностей и бенчмаркинг конфигураций. Рассмотрели программное разделение на примере популярных фреймворков для инференса в режиме конкретного запуска. Обсудили альтернативные способы контроля утилизации ресурсов. Блог на Хабре: https://habr.com/ru/companies/tbank