Обучение легковесных нейронных сетей с помощью рекуррентной свертки с разделением каналов

Авторы: Ву Гоцзюнь; Чжан Синь; Чжан Цзимин*; Ли Яньхуа; Чжоу Сюнь; Бринтон Кристофер; Лю Чжэньмин. Описание: Легковесные нейронные сети — это глубокие сети с небольшим количеством параметров, которые могут быть реализованы на оборудовании с ограниченными ресурсами, таком как встроенные системы. Для эффективного и результативного обучения таких легковесных сетей в данной работе мы предлагаем новый сверточный слой, а именно рекуррентную свертку с разделением каналов (CSR-Conv), в которой мы разделяем выходные каналы для генерации последовательностей данных длиной $T$ в качестве входных данных для рекуррентных слоев с общими весами. В результате мы можем построить легковесные сверточные сети, просто заменив (некоторые) линейные сверточные слои слоями CSR-Conv. Мы доказываем, что при мягких условиях размер модели уменьшается со скоростью $O(\frac{1}{T^2})$. Эмпирически мы демонстрируем лучшие результаты, используя сети VGG-16, ResNet-50, ResNet-56, ResNet-110, DenseNet-40, MobileNet и EfficientNet в качестве базовых сетей на наборах данных CIFAR-10 и ImageNet. Код можно найти по адресу https://github.com/tuaxon/CSR\_Conv.