Convert to quant INT8. Как самому квантовать модели в INT8

С недавнего времени в ComfyUI появилась нативная поддержка формата квантования INT8, который по многим параметрам превосходит по скорости и точности вычислений формат Fp8. Квантование int8 преобразует веса и активации нейронной сети из чисел с плавающей запятой в 8-битные целые числа с использованием масштабирующих коэффициентов, обеспечивая эффективное вычисление целых чисел. В данном видео я показываю пошагово как происходит процесс квантования по технологии Convrot: Ссылка на репозиторий: https://github.com/silveroxides/convert_to_quant Инструкция: https://neuroshort.ru/workflows/faq_int8.html Готовый модели int8: https://huggingface.co/Winnougan/models Модели, квантованные мной: https://disk.yandex.ru/d/v24ofgK3Du3KcA 00:09 - Введение 02:23 - Установка convert_to_quant 03:15 - Создание виртуального окружения 04:36 - Установка PyTorch с CUDA 05:00 - Проверка версии PyTorch и установка Triton 05:40 - Установка convert_to_quant 06:40 - Квантование модели Wan2.1 Scail2 07:33 - Проверка размерности множителя 08:12 - Просмотр встроенных пресетов 09:46 - Основная команда для квантования 13:52 - Что делать если модели нет в пресетах 14:16 - Извлечение информации о слоях 15:16 - LLM в помощь 💬 Мой Runninghub: https://www.runninghub.ai/?inviteCode=2zzqafr7 💬 Канал на Boosty: https://boosty.to/neuroshort 💬 Telegram-канал NeuroShort: 💡 Другие видео: https://www.youtube.com/watch?v=MyG5CQcAlZ0 https://www.youtube.com/watch?v=xV5MeW8sRrc https://www.youtube.com/watch?v=ZGNv2HvYLGY https://www.youtube.com/watch?v=SQOjGgIcqmg&list=PLEZvgRteAqq3ilPlACveNR7GxcnctU6-J&index=1 https://www.youtube.com/watch?v=N3Fe0ZdzBew&list=PLEZvgRteAqq3ilPlACveNR7GxcnctU6-J&index=1 https://www.youtube.com/watch?v=CDJ0O2Fp5TQ&list=PLEZvgRteAqq3ilPlACveNR7GxcnctU6-J&index=1 https://www.youtube.com/watch?v=M6xIScHO-DM&list=PLEZvgRteAqq3ilPlACveNR7GxcnctU6-J&index=1 https://www.youtube.com/watch?v=0v3XvjBrwxs&list=PLEZvgRteAqq3ilPlACveNR7GxcnctU6-J&index=1 https://www.youtube.com/watch?v=DelbGiZVh3s&list=PLEZvgRteAqq3ilPlACveNR7GxcnctU6-J&index=1 https://www.youtube.com/watch?v=27KBovsmEcA&list=PLEZvgRteAqq3ilPlACveNR7GxcnctU6-J&index=2 https://www.youtube.com/watch?v=4rb92eq0jvU&list=PLEZvgRteAqq3ilPlACveNR7GxcnctU6-J&index=1 https://www.youtube.com/watch?v=W0lWsSMSimY&list=PLEZvgRteAqq2cmO-M2qw5fQcJMk0u58Tp&index=3