Купил мини‑ПК с приставкой «AI» ради локальной LLM. Что может NPU на самом деле

01.10.2026 09:58:22 | Хабр

Хабы: Искусственный интеллект, Системное администрирование, *nix, Компьютерное железо, DevOps

TL;DR. Я купил мини‑ПК с Ryzen AI 9 365, чтобы гонять большую локальную модель на NPU. Начал с Windows ради гибрида NPU+iGPU, который так и не заработал, прошёл квест с драйвером NPU, выяснил, что NPU видит только половину оперативки, переехал на Proxmox и в итоге запустил Qwen3.6–35B‑A3B через FastFlowLM прямо на хосте. Модель работает 24/7: prefill около 200 ток/с, decode 13–17 ток/с. По дороге выяснилось, что NPU обслуживает один запрос за раз, падает с double free, если клиент не дождался ответа, и умеет выгнать из памяти большую модель ради маленькой embedding‑модели. Ниже вся дорога по порядку, мини‑гайд и цифры.

Подробнее

Читайте также

Мышь 1000 Гц на macOS 26: NSEvent даёт ~119 событий в секунду, GCMouse ~844. Замер тремя способами
01.10.2026 09:49:47 | Хабр

PostgreSQL 19: Коммитфест 2026-03 Часть 5.1 (QPT)
01.10.2026 09:48:43 | Хабр

От сборки до проверки на плате: набор открытых инструментов для разработки под STM32
01.10.2026 09:45:59 | Хабр

Разговор о командах и проектах на INFOSTART A&PM EVENT 2026
01.10.2026 09:45:42 | Хабр

Трекер отказа от стиков и вейпа: вайбкодинг, веб‑приложение и ноль персональных данных
01.10.2026 09:40:05 | Хабр

Два часа выгрузки ради пустого параметра: проверяем ЦИМ для АГР внутри Revit
01.10.2026 09:39:05 | Хабр

Security-by-Design: как построить защищенный хостинг в режиме непрекращающихся киберугроз
01.10.2026 09:33:13 | Хабр

certbot говорил VALID, браузер говорил «небезопасно». Правы были оба
01.10.2026 09:31:38 | Хабр

Искусственный Интеллект манипулирует нашей памятью. И баг на нашей стороне
01.10.2026 09:24:18 | Хабр

ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух
01.10.2026 09:01:08 | Хабр

AI-системный аналитик: Mindbox научили агента исследовать задачу прежде чем писать код
01.10.2026 09:00:34 | Хабр

Под капотом Kafka: путь сообщения от send() до commit offset. Часть 2
01.10.2026 09:00:34 | Хабр

[Перевод] Оптимизация правил YARA: руководство по ускорению и точности сканирования
01.10.2026 08:53:58 | Хабр

PlayStation 5 удалось взломать на предпоследней прошивке
01.10.2026 08:48:29 | ferra.ru

День 1680: за семь месяцев 2026 года сальдированная прибыль российских компаний уменьшилась на 15,7%, до 13,02 трлн рублей
01.10.2026 08:44:51 | vc.ru

Как Splash ускоряет локальные LLM на Mac
01.10.2026 08:39:38 | Хабр

Как добавить новый сценарий в существующее Android-приложение без технического долга
01.10.2026 08:36:53 | Хабр

«Альт Инфраструктура»: единая система управления распределенными ИТ-системами
01.10.2026 08:30:39 | Хабр

Как я хотел откосить от работы и получил патент
01.10.2026 08:30:32 | Хабр

[Перевод] Разговор с животными — следующая этическая проблема использования ИИ
01.10.2026 08:12:30 | Хабр

# The HackNet — платформа непрерывной практики кибербезопасности, где ИИ каждый день создает свежие CTF-задачи
01.10.2026 08:08:27 | Хабр

Спустя 5 лет я снова пишу Всеросс — часть 2
01.10.2026 08:00:28 | Хабр

Мы обновили Spring Boot до 4. Вот что сломалось
01.10.2026 08:00:28 | Хабр

Эксперименты с Радиантом: память агента против окна в миллион токенов
01.10.2026 08:00:28 | Хабр

C++: пишем свою std::function
01.10.2026 07:47:25 | Хабр

Калькулятор трудозатрат SOC или как защитить свой FTE
01.10.2026 07:41:10 | Хабр

Вжух, и кольцо платит: как работает бесконтактная оплата умным кольцом Сбер
01.10.2026 07:32:04 | Хабр

«Сейчас сроки получения патента были просто реактивными». Интервью с CEO Интеллитеха об участии в программе МИКа
01.10.2026 07:21:55 | Хабр

Где на самом деле живут знания компании: 8 видов корпоративного знания
01.10.2026 07:21:23 | Хабр

Хорошие и плохие русские в видеоиграх: действительно ли нас всегда делают злодеями?
01.10.2026 07:20:45 | Хабр

Фабрика кода с выключенным светом: почему Хорти зовет обратно читать код, и что у меня с этим сходится
01.10.2026 07:13:22 | Хабр

Кем работать в IT в 2026: backend‑разработчик
01.10.2026 07:01:20 | Хабр

Ну ИИ дела: как мы в Solar WAF хакеров под прикрытием DeepSeek и ChatGPT нашли
01.10.2026 07:01:19 | Хабр

Теплицы на автопилоте: свет, шторы и вентиляция
01.10.2026 07:00:19 | Хабр

Пять уверенных выводов нейросети из неверно прочитанного интерфейса
01.10.2026 07:00:18 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Таиланд отложил введение налога на выезд из страны
23.10.2026 12:18:00 | Российская Газета

На трассах М-4 «Дон» и М-11 «Нева» с 26 октября снизят скорость до 110 км/ч
23.10.2026 12:17:41 | Life.ru

ВСУ атаковали здание администрации Михайловского округа
23.10.2026 12:16:38 | Life.ru

В Реутове завели дело после избиения журналистки «Вестей» во время съёмок
23.10.2026 12:16:04 | Life.ru

Ещё 13 сёл перешли под контроль Армии России — пять группировок наступают
23.10.2026 12:15:11 | Life.ru

В Таиланде убийц брата и сестры Назимовых обвинили в ещё одной расправе
23.10.2026 12:15:03 | Life.ru

Власти могут установить минимальный срок декрета для сохранения пособия
23.10.2026 12:14:27 | Life.ru

Премьер Албании вновь призвал демонстрантов к диалогу
23.10.2026 12:14:11 | ТАСС

Контрабасист Большого театра Стойко погиб в ДТП с грузовиком в Новой Москве
23.10.2026 12:13:39 | Life.ru

Фальков: более 1,3 млн человек зачислили в вузы в 2026 году
23.10.2026 12:13:26 | ТАСС

Realitatea Plus: в Черном море затонуло торговое судно
23.10.2026 12:13:08 | ТАСС

Урсула фон дер Ляйен сбежала из Европарламента после критики словацкого депутата
23.10.2026 12:13:00 | Российская Газета

Чемпион мира Озил обвинил ФИФА в двойных стандартах и потребовал вернуть Россию в мировой футбол
23.10.2026 12:12:45 | Life.ru

Лечивших Марадону врачей собрались посадить в тюрьму
23.10.2026 12:11:58 | Lenta.ru

Долина снова оказалась в центре скандала с мошенничеством
23.10.2026 12:11:58 | Lenta.ru

На Урале осудили трех работников предприятия за хищение топлива
23.10.2026 12:11:53 | ТАСС

Эксперт Маслов оценил результаты саммита Россия - Африка
23.10.2026 12:10:56 | ТАСС

Минфин РФ: России и Гонконгу нужно больше взаимодействия на финансовых рынках
23.10.2026 12:10:17 | ТАСС

Ход СВО. Сводка Минобороны РФ за 23 октября
23.10.2026 12:10:17 | ТАСС

В Самаре имеющего миллиардный долг по налогам подозревают в сокрытии средств
23.10.2026 12:09:59 | ТАСС

В Москве прощаются с бывшим ведущим программы "Вести" Михаилом Пономаревым
23.10.2026 12:09:49 | ТАСС

Россиянам дали совет по переходу на зимние шины
23.10.2026 12:09:42 | Lenta.ru

После атаки 20 дронов в Прикамье повреждены квартиры в двух городах и промышленный объект
23.10.2026 12:09:31 | Life.ru

Минпромторг ожидает роста обрабатывающей промышленности в 2026 году на 0,5-1%
23.10.2026 12:09:26 | ТАСС

ПВО России за неделю сбила семь ракет «Фламинго» и 5593 беспилотника
23.10.2026 12:08:57 | Life.ru

Клинт Иствуд выиграл дело о незаконном использовании имени в Литве
23.10.2026 12:08:44 | ТАСС

Урожай картофеля в России к началу октября упал на 8,7%
23.10.2026 12:08:20 | Life.ru

Названы лидеры X Национального рейтинга инвестиционной привлекательности ОЭЗ
23.10.2026 12:08:04 | ТАСС

В Красногорске представили обучающий симулятор для операторов БПЛА
23.10.2026 12:07:28 | ТАСС

Появились подробности о боестолкновениях России и Украины в Черном море
23.10.2026 12:06:17 | Lenta.ru

Слуцкий предложил создать постоянно действующую партийную школу ЛДПР
23.10.2026 12:05:52 | ТАСС

Бордели российской семьи-блогеров с несовершеннолетней школьницей попали на видео
23.10.2026 12:05:45 | Lenta.ru

Морская дорога смерти: Добычей ВС РФ за неделю стали 15 судов с грузами для ВСУ
23.10.2026 12:05:44 | Life.ru

В Кабардино-Балкарии на поддержку участников СВО направят 3 млрд рублей
23.10.2026 12:05:20 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro