Файл модели на диске меньше, чем память под рабочую нагрузку: кэш диалога растёт с длиной контекста и числом одновременных запросов.
При нескольких пользователях сумма весов и кэша может превысить объём видеопамяти карты.
Напишите боту РАСЧЁТ 04: https://t.me/vistlan_bot?start=rt_ras04
#видеокарты #нейросети #видеопамять
