DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан

09.05.2026 14:47:05 | Хабр

Хабы: Машинное обучение, Open source, IT-инфраструктура

NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в секунду на 35B MoE‑модели. После маркетинговых слайдов цифра выглядит грустно.

Объяснение простое. NVFP4 в основной ветке vLLM и FlashInfer физически сломан на SM_121 — варианте Blackwell, который установлен в GB10. Ядра собраны под compute_120f, а нативные NVFP4-инструкции есть только в compute_120a и compute_121a. На SM_121 распаковка квантованных весов идёт через программные битовые манипуляции в шейдере, без участия тензорных ядер.

Сообщество вытащило стек руками: нашло обходные пути, собрало рабочие конфигурации. Я прогнал на своём Spark шесть разных конфигураций vLLM — от стокового BF16 до форка с DFlash speculative decoding — и замерил каждую одинаковым тестом. В этой статье разбираю, что в итоге работает и что выбирать под разные задачи.

Подробнее

Читайте также

TechCrunch: часть сокращённых сотрудников Oracle пыталась добиться улучшения выходных пособий — компания отказалась пересматривать условия
09.05.2026 14:42:28 | vc.ru

Meta* выпустит ИИ-агента для покупок в Instagram* вместо пользователя
09.05.2026 14:08:20 | ferra.ru

Твой код на Rust компилируется, проходит тесты и является UB. Ты просто об этом не знаешь
09.05.2026 13:36:23 | Хабр

От эйфории к усталости и дальше: что будет с нашим восприятием новостей про ИИ?
09.05.2026 13:16:57 | Хабр

[Перевод] Как ошибка в интернет‑картах превратила жизнь фермы в Канзасе в «цифровой» ад
09.05.2026 13:13:35 | Хабр

Доступный астропейзаж — снимай космос на то, что есть в рюкзаке
09.05.2026 13:01:55 | Хабр

[Перевод] Claude Code: почему HTML лучше Markdown
09.05.2026 12:57:59 | Хабр

День 1536: товарооборот между Россией и Китаем в январе-апреле 2026 года вырос на 19,7%
09.05.2026 12:50:52 | vc.ru

Windows Vista: история красивого провала
09.05.2026 12:15:21 | Хабр

Теперь и Disney нацелилась на создание «супер-приложения»
09.05.2026 12:08:12 | ferra.ru

Запись онлайн радио на роутер: MikroTik RouterOS Script
09.05.2026 12:04:10 | Хабр

Анонсированы диски 245 TB от Micron
09.05.2026 12:00:50 | Хабр

Леон в будущих частях RE, апдейт Phasmophobia, предзагрузка Forza Horizon 6: дайджест игровых новостей на 09.05
09.05.2026 11:57:28 | Хабр

БАЛАНС МЕЖДУ СЛОЖНОСТЬЮ РАЗРАБОТКИ И ВОВЛЕЧЕНИЕМ ИГРОКА
09.05.2026 11:55:30 | Хабр

[Перевод] Как учёные пытаются уточнить значение гравитационной постоянной — «большой G»
09.05.2026 11:46:34 | Хабр

Telegram Bot API 10.0: Взамодействие ботов и бесплатные ассистенты
09.05.2026 11:40:49 | Хабр

Сервис проката электросамокатов Lime подал заявку на проведение IPO в США
09.05.2026 11:34:28 | vc.ru

Структура Vue проекта
09.05.2026 10:56:09 | Хабр

Законы лобового сопротивления воздуха
09.05.2026 10:56:08 | Хабр

The Sector — онлайн 2D игра (Поддержка Инди | Инфраструктура | Серверная часть)
09.05.2026 10:33:36 | Хабр

История одной типичной ошибки: как лишний трансформатор портил линию HiPoE и что мы с этим сделали
09.05.2026 10:14:19 | Хабр

Из знаменитого красного джойстика ноутбуков ThinkPad сделали мышь — Ploopy Bean
09.05.2026 10:08:15 | ferra.ru

Как я превратил смартфон в Modbus-RTU терминал для RS-485
09.05.2026 10:00:40 | Хабр

Rave подала антимонопольный иск против Apple из-за удаления приложения
09.05.2026 10:00:26 | ferra.ru

Пермские ученые повысили растворимость вещества из березы против рака
09.05.2026 10:00:16 | ferra.ru

Индюшка с денежной начинкой: что и почему происходит с инди-играми
09.05.2026 09:28:14 | Хабр

Ещё один круг ада: мониторинг ERP без Prometheus, Grafana и выделенного DevOps
09.05.2026 09:13:59 | Хабр

[Перевод] Создание собственного текстового редактора Vi на языке BASIC
09.05.2026 09:07:35 | Хабр

Почему не взлетели дирижабли? Часть 20: воздушные корабли ВДВ СССР военных лет
09.05.2026 09:01:33 | Хабр

[Перевод] Диапазоны медиа-запросов CSS
09.05.2026 08:14:24 | Хабр

Новые «правила игры». Какой может быть результат?
09.05.2026 08:09:02 | Хабр

AirPods ради умной Siri получат камеры
09.05.2026 08:08:14 | ferra.ru

SpaceX собирается выпускать собственные GPU
09.05.2026 08:00:26 | Хабр

Термодинамическая экология — правильный диагноз, неверный адрес
09.05.2026 07:46:01 | Хабр

[Перевод] Шоколадно-электрическая железная дорога на Кубе
09.05.2026 07:45:06 | Хабр

Смотреть все

НОВОСТИ

«Кормилица Европы» пухнет с голоду: В ГД указали украинцам на «просроченную» причину пустых полок
31.08.2026 14:42:13 | Life.ru

Ольга Занко: 140 перинатальных центров оснастят по программе «Единой России»
31.08.2026 14:41:25 | Life.ru

Папа в декрете, мама работает: Молодые отцы стали активнее брать отпуск по уходу за ребёнком
31.08.2026 14:37:47 | Life.ru

«У каждого свои приоритеты»: Сваха Сябитова назвала главное условие крепкого брака
31.08.2026 14:37:16 | Life.ru

Нельзя запретить думать и материться на русском: Нейропсихолог объяснила «демарш» Насти Каменских против мовы
31.08.2026 14:36:36 | Life.ru

«Здесь живут люди»: Соседи рванувшего под Киевом арсенала винят власти в размещении «гуманитарки» у их домов
31.08.2026 14:34:29 | Life.ru

Стубб оценил вероятность прямого столкновения России с НАТО
31.08.2026 14:34:21 | Lenta.ru

Путин отправился на переговоры с Си Цзиньпином
31.08.2026 14:33:02 | Lenta.ru

Чемпион мира по гребле на байдарках Борош погиб на стройке корта
31.08.2026 14:33:00 | Российская Газета

Чемпион мира по гребле на байдарках Борош погиб на стройке корта для падела
31.08.2026 14:33:00 | Российская Газета

План Федорова обменять армию дронов на Patriot объяснили
31.08.2026 14:32:49 | Lenta.ru

Богатыри, боорсоки и мёд: Путина в Бишкеке встретили по киргизским традициям
31.08.2026 14:32:15 | Life.ru

Глухонемой подросток стал жертвой ракетной атаки ВСУ на склад Ozon в российском городе
31.08.2026 14:31:19 | Lenta.ru

Назван самый богатый белком орех
31.08.2026 14:30:55 | Lenta.ru

Дмитриев: Поставки российского продовольствия в ШОС выросли на 17% в 2025 году
31.08.2026 14:30:21 | Life.ru

Похищенного Мадуро вновь заметили в Nike
31.08.2026 14:26:45 | Lenta.ru

В России насчитали более миллиона школьных учителей
31.08.2026 14:24:39 | Life.ru

Описаны недостатки одного типа пауэрбанков
31.08.2026 14:24:00 | Lenta.ru

Поколение альфа выбирает кудри: Стилист раскрыл главный школьный тренд этого года
31.08.2026 14:23:15 | Life.ru

Союзник США не смог разогнать свою экономику
31.08.2026 14:22:46 | Lenta.ru

Собиравшихся на курорт Турции россиян заперли в самолете на четыре часа
31.08.2026 14:21:30 | Lenta.ru

Вместо траура — цветы и ковбойские шляпы: В США попрощались с «Королевой кантри» Долли Партон
31.08.2026 14:20:14 | Life.ru

Составлен топ самых «‎трезвых» регионов России — на вершине Чечня
31.08.2026 14:20:01 | Life.ru

В Минске фиксируют динамичное развитие кооперации с Бишкеком
31.08.2026 14:19:00 | Российская Газета

Представители 80 стран подтвердили участие в ВЭФ-2026
31.08.2026 14:18:41 | Life.ru

После наводнения в Непале пропали 590 иностранцев
31.08.2026 14:18:31 | Коммерсантъ

На 94-м году жизни умер бывший глава свердловской облдумы и экс-сенатор Сурганов
31.08.2026 14:17:34 | Life.ru

Патрушев заявил, что Запад препятствует формированию морской логистики в Арктике
31.08.2026 14:16:51 | Life.ru

WP: Пентагон тайно берет на работу экс-военных для поддержки взглядов Хегсета
31.08.2026 14:14:00 | Российская Газета

В Москве двух парней арестовали на 15 суток за срыв агитационных плакатов
31.08.2026 14:14:00 | Life.ru

Россиян призвали не ждать возвращения ряда ушедших автобрендов
31.08.2026 14:11:08 | Lenta.ru

СВР: Запад ориентировал Киев на активизацию терактов и ударов по объектам в РФ
31.08.2026 14:11:00 | Российская Газета

ВЭФ-2026 во Владивостоке: даты, программа, участники и выступление Путина
31.08.2026 14:10:28 | Life.ru

Смертельная ловушка: Названа причина гибели супругов в джакузи отеля в Испании
31.08.2026 14:10:12 | Life.ru

Боец СВО Витёк рассказал, как жители приграничья поддерживают разведчиков ВС РФ
31.08.2026 14:10:09 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro