Почему AI-картриджи лучше, чем LoRA | Эп. 37 | #клипы

В этом эпизоде подкаста Last Mile Developer мы углубимся в архитектурный прорыв ИИ — «картриджи» — постоянную, недорогую структуру памяти, которая действует как жесткий диск с возможностью горячей замены для LLM-систем. Мы рассмотрим, как картриджи решают «проблему переносимости» в системах RAG, заменяя динамические кэши ключ-значение предварительно обученными низкоранговыми модулями параметров. Вы узнаете о технических различиях между картриджами и LoRA, о самостоятельно изученном процессе дистилляции, используемом для экстремального сжатия, и о том, почему этот модульный подход приводит к ошеломляющему увеличению пропускной способности в 26,4 раза и уменьшению объема используемой памяти в 38,6 раза. Основные темы: Узкое место кэшей ключ-значение и квадратичная стоимость внимания. Как модульные знания позволяют динамически собирать данные во время вывода. Разделение модулей памяти от весов базовой модели для истинной горячей замены. Реальные производственные показатели: увеличение пропускной способности и эффективность использования памяти. Наши курсы на Udemy Углубленная практика C++ - https://www.udemy.com/course/practical-modern-cpp-masterclass/?referralCode=042C0D382643FFDF8124 Планирование карьеры в сфере разработки программного обеспечения - https://www.udemy.com/course/essential-programming-fundamentals-for-all-beginners/?referralCode=129E3D73623F75D00105 Технологические лидеры современной эпохи https://www.udemy.com/course/software-career-bootcamp-tech-lead-project-lead-team-lead/?referralCode=19D0DA16317C26F9FE19 00:00 Проблема переносимости в архитектуре ИИ 00:41 Решение проблемы узкого места кэша ключ-значение 01:12 Что Что такое картридж с ИИ? 01:46 Композитность: реализация модульных знаний 02:18 Самостоятельно изученный процесс дистилляции 03:02 Картриджи против LoRA: основное различие 03:36 В 26 раз более высокая производительность и показатели производства 04:04 Безграничные знания без квадратичной цены