Закон Уплотнения LLM: Новаяфундамен'тальная метрика экспоненциального роста эффективности

Источник представляет эмпирическое наблюдение, названное «законом плотности», которое описывает тенденцию эффективности в развитии больших языковых моделей (LLM). Вводится новая метрика — плотность возможностей, количественно оценивающая способность модели, приходящуюся на единицу её параметров, и устраняющая противоречие между масштабированием для производительности и оптимизацией для эффективности. Анализ моделей с открытым исходным кодом показал, что максимальная плотность возможностей растет экспоненциально со временем, дополняя традиционные законы масштабирования, основанные на размере. Согласно данным, эта максимальная плотность удваивается примерно каждые 3,5 месяца. Этот экспоненциальный рост влечет за собой быстрое снижение как требований к параметрам, так и операционных издержек для достижения определенного уровня производительности. Таким образом, закон плотности призывает разработчиков к оптимизации плотности для обеспечения более устойчивого и экономически эффективного развития искусственного интеллекта.