DeepSeek OCR: сжатие контекста и анализ архитектуры

https://youtu.be/4ZFWo-2P6KQ?list=TLGGTsUocruwPGoxNzEyMjAyNQ Представленный источник подробно объясняет архитектуру и значение модели DeepSeek OCR, которая фокусируется не только на оптическом распознавании символов (OCR), но и на революционной оптической компрессии контекста (Context Optical Compression). Основная идея заключается в сжатии входных данных, таких как изображения с текстом, в десять раз, что значительно сокращает количество необходимых токенов для больших языковых моделей (LLM), заменяя традиционную токенизацию текста. В видео рассматривается архитектура модели, включающая Deep Encoder и Decoder с использованием подхода Mixture of Experts, а также демонстрируется, как эта технология позволяет сохранять высокую точность, экономя вычислительные ресурсы и расширяя контекстное окно LLM. Также автор упоминает сервис Jora.ru, который предоставляет удобный доступ ко множеству популярных нейросетей.