пишем голосового ассистента #2: одноплатник Orange Pi 5 Max

На этом стриме пытаюсь разобраться с одноплатником Orange Pi 5 Max, запустить на нём небольшой Qwen2.5, рассказываю почему выбор пал именно на это целевое устройство. Выводы стрима: Драйвер NPU в официальной операционке на Ubuntu староват, нужно пересобрать ОС с новым ядром и драйверами RKNN LLM фреймворк это попаболь, но есть решения от коммьюнити, их можно довести напильником Qwen2.5 1.5B выдаёт 15 токенов в секунду — даже в два раза медленнее (для 3B) будет всё ещё достаточно для голосового ассистента Таймкоды: 0:00 - 5:11 рассказываю про Orange Pi 5 Max 5:12 - 14:10 разбираемся откуда взять RKNN LLM 14:11 - 20:10 читаем документацию и откатываемся на v1.1.1 29:01 - 31:10 альтернативный одноплатный Snapdragon 31:10 - 38:20 чем ещё хорош Orange Pi 5 Max (GPU + NPU) 38:20 - 55:10 качаем модельку в формате .rknn 56:45 - 1:01:20 показываю корпуса для колонки, идея про свою OS 1:01:20 - 1:07:30 понимаю, что инференс на C++ не вариант 1:07:30 - 1:20:30 осознание, цепляемся через C ABI и запускаем из Python 1:20:30 - 1:33:04 пересел в VSCode, первый запуск (epic fail) 1:33:04 - 1:40:30 почему не заработало, как исправил 1:40:30 - 1:45:42 демонстрация, 15 токенов/секунду на Qwen2.5 1.5B #llm #slm #transformers #huggingface #deeplearning #neuralnetworks #assistant #agents #computer #computerscience #code #coding #livestream