Локальный ИИ на старом железе: как купить себе вторую работу

ИИ-решения для бизнеса от Digitude: https://digitude.ru Обсудить вашу задачу: sales@digitude.ru Локальный ИИ обещает независимость от подписок и работу с данными на своей инфраструктуре. Но между покупкой видеокарт и полезным инструментом есть ещё платформа, совместимость, охлаждение и время на поддержку. В этом видео разбираем V100, модифицированные RTX 2080 Ti и старые ускорители AMD и Intel: что учитывать при покупке, почему объём памяти не гарантирует нужную скорость и где заканчивается экономия. Если старая система уже работает и решает задачу, менять её ради новизны не предлагаем. В Digitude разрабатываем ИИ-решения для бизнеса: инструменты для работы с документами, консультантов и интеграции с рабочими системами. Когда данные нельзя передавать внешним сервисам, рассматриваем локальные модели на инфраструктуре компании. После запуска поддерживаем и дорабатываем решение. Если планируете внедрение ИИ, напишите, какую работу хотите автоматизировать, с какими данными работаете и можно ли передавать их внешним сервисам. Начать обсуждение можно на https://digitude.ru или по почте sales@digitude.ru. Канал Digitude: https://www.youtube.com/@Digitude-ai ТАЙМКОДЫ 00:00 Дисклеймер и зачем собирать свой ИИ 00:53 Что скрывается за простым планом 01:34 Сколько стоят старые GPU 02:16 Ускорители — ещё не весь компьютер 03:24 Видеопамять, квантование и MoE 04:50 Контекст, скорость и ожидание ответа 05:59 CUDA, драйверы и совместимость 08:14 Как проверить б/у видеокарту 09:35 Электричество, тепло и шум 10:34 Три недели разбирательств с ИИ-агентами 11:44 Когда своя система оправданна 12:35 Что проверить перед покупкой ОГОВОРКИ К ЦИФРАМ • 200 000 ₽ за 4 × RTX 2080 Ti 22 GB и 320 000 ₽ за 4 × V100 32 GB с NVLink — примеры из сценария, не проверенные актуальные предложения. Цены зависят от состояния и комплектации. Хост оплачивается отдельно, если не входит в комплект. • 88 GB и 128 GB — сумма памяти карт, а не автоматически объединённый пул. Около 149 GiB для 80B в BF16 — расчёт только весов, без контекста и рабочих буферов. • Контекст до 256K и около 80 токенов/с — отдельные целевые ориентиры, не замеры этих сборок и не обещание получить оба результата одновременно. Всё зависит от модели, квантования, движка и нагрузки. • Электричество: условные 1,3 кВт из розетки × 24 часа × 30 дней × 6 ₽/кВт·ч = 5 616 ₽ в месяц. Реальный расход и тариф могут отличаться. • Три недели — мой опыт изучения вариантов, а не универсальный срок настройки. ДОКУМЕНТАЦИЯ NVIDIA — поддержка архитектур GPU: https://developer.nvidia.com/blog/navigating-gpu-architecture-support-a-guide-for-nvidia-cuda-developers AMD — примечания к выпуску ROCm 6.0.0: https://rocm.docs.amd.com/en/docs-6.0.0/about/release-notes.html Видео отражает личную точку зрения автора и не претендует на истину в последней инстанции. Это не универсальная рекомендация по покупке оборудования. Ваш опыт и результаты могут отличаться. Изображения железа, включая обложку, сгенерированы для иллюстрации; они не являются фотографиями конкретных лотов или результатами испытаний. #Digitude #ЛокальныйИИ #ИИдляБизнеса