DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан

09.05.2026 14:47:05 | Хабр

Хабы: Машинное обучение, Open source, IT-инфраструктура

NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в секунду на 35B MoE‑модели. После маркетинговых слайдов цифра выглядит грустно.

Объяснение простое. NVFP4 в основной ветке vLLM и FlashInfer физически сломан на SM_121 — варианте Blackwell, который установлен в GB10. Ядра собраны под compute_120f, а нативные NVFP4-инструкции есть только в compute_120a и compute_121a. На SM_121 распаковка квантованных весов идёт через программные битовые манипуляции в шейдере, без участия тензорных ядер.

Сообщество вытащило стек руками: нашло обходные пути, собрало рабочие конфигурации. Я прогнал на своём Spark шесть разных конфигураций vLLM — от стокового BF16 до форка с DFlash speculative decoding — и замерил каждую одинаковым тестом. В этой статье разбираю, что в итоге работает и что выбирать под разные задачи.

Подробнее

Читайте также

TechCrunch: часть сокращённых сотрудников Oracle пыталась добиться улучшения выходных пособий — компания отказалась пересматривать условия
09.05.2026 14:42:28 | vc.ru

Meta* выпустит ИИ-агента для покупок в Instagram* вместо пользователя
09.05.2026 14:08:20 | ferra.ru

Твой код на Rust компилируется, проходит тесты и является UB. Ты просто об этом не знаешь
09.05.2026 13:36:23 | Хабр

От эйфории к усталости и дальше: что будет с нашим восприятием новостей про ИИ?
09.05.2026 13:16:57 | Хабр

[Перевод] Как ошибка в интернет‑картах превратила жизнь фермы в Канзасе в «цифровой» ад
09.05.2026 13:13:35 | Хабр

Доступный астропейзаж — снимай космос на то, что есть в рюкзаке
09.05.2026 13:01:55 | Хабр

[Перевод] Claude Code: почему HTML лучше Markdown
09.05.2026 12:57:59 | Хабр

День 1536: товарооборот между Россией и Китаем в январе-апреле 2026 года вырос на 19,7%
09.05.2026 12:50:52 | vc.ru

Windows Vista: история красивого провала
09.05.2026 12:15:21 | Хабр

Теперь и Disney нацелилась на создание «супер-приложения»
09.05.2026 12:08:12 | ferra.ru

Запись онлайн радио на роутер: MikroTik RouterOS Script
09.05.2026 12:04:10 | Хабр

Анонсированы диски 245 TB от Micron
09.05.2026 12:00:50 | Хабр

Леон в будущих частях RE, апдейт Phasmophobia, предзагрузка Forza Horizon 6: дайджест игровых новостей на 09.05
09.05.2026 11:57:28 | Хабр

БАЛАНС МЕЖДУ СЛОЖНОСТЬЮ РАЗРАБОТКИ И ВОВЛЕЧЕНИЕМ ИГРОКА
09.05.2026 11:55:30 | Хабр

[Перевод] Как учёные пытаются уточнить значение гравитационной постоянной — «большой G»
09.05.2026 11:46:34 | Хабр

Telegram Bot API 10.0: Взамодействие ботов и бесплатные ассистенты
09.05.2026 11:40:49 | Хабр

Сервис проката электросамокатов Lime подал заявку на проведение IPO в США
09.05.2026 11:34:28 | vc.ru

Структура Vue проекта
09.05.2026 10:56:09 | Хабр

Законы лобового сопротивления воздуха
09.05.2026 10:56:08 | Хабр

The Sector — онлайн 2D игра (Поддержка Инди | Инфраструктура | Серверная часть)
09.05.2026 10:33:36 | Хабр

История одной типичной ошибки: как лишний трансформатор портил линию HiPoE и что мы с этим сделали
09.05.2026 10:14:19 | Хабр

Из знаменитого красного джойстика ноутбуков ThinkPad сделали мышь — Ploopy Bean
09.05.2026 10:08:15 | ferra.ru

Как я превратил смартфон в Modbus-RTU терминал для RS-485
09.05.2026 10:00:40 | Хабр

Rave подала антимонопольный иск против Apple из-за удаления приложения
09.05.2026 10:00:26 | ferra.ru

Пермские ученые повысили растворимость вещества из березы против рака
09.05.2026 10:00:16 | ferra.ru

Индюшка с денежной начинкой: что и почему происходит с инди-играми
09.05.2026 09:28:14 | Хабр

Ещё один круг ада: мониторинг ERP без Prometheus, Grafana и выделенного DevOps
09.05.2026 09:13:59 | Хабр

[Перевод] Создание собственного текстового редактора Vi на языке BASIC
09.05.2026 09:07:35 | Хабр

Почему не взлетели дирижабли? Часть 20: воздушные корабли ВДВ СССР военных лет
09.05.2026 09:01:33 | Хабр

[Перевод] Диапазоны медиа-запросов CSS
09.05.2026 08:14:24 | Хабр

Новые «правила игры». Какой может быть результат?
09.05.2026 08:09:02 | Хабр

AirPods ради умной Siri получат камеры
09.05.2026 08:08:14 | ferra.ru

SpaceX собирается выпускать собственные GPU
09.05.2026 08:00:26 | Хабр

Термодинамическая экология — правильный диагноз, неверный адрес
09.05.2026 07:46:01 | Хабр

[Перевод] Шоколадно-электрическая железная дорога на Кубе
09.05.2026 07:45:06 | Хабр

Смотреть все

НОВОСТИ

Спешная продажа: Рената Литвинова избавляется от московской квартиры за миллиард
15.07.2026 09:37:32 | Life.ru

В Астане прошла презентация пятого тома книги "Си Цзиньпин о государственном управлении"
15.07.2026 09:37:00 | Российская Газета

В отношении болельщиков сборной Аргентины на ЧМ-2026 ввели ограничения
15.07.2026 09:36:40 | Lenta.ru

На юге Украины повреждена автозаправка
15.07.2026 09:36:30 | ТАСС

Раскрыты цели удара России по Одессе
15.07.2026 09:36:27 | Lenta.ru

Испания и Гибралтар убрали пограничный контроль
15.07.2026 09:36:00 | Российская Газета

Премьерство Стармера назвали словом на букву «П»
15.07.2026 09:35:32 | Lenta.ru

Девять дней один на один с тайгой: На Сахалине спасли пропавшего рыбака-пенсионера
15.07.2026 09:34:52 | Life.ru

В Крыму ограничено водоснабжение из-за аварии на сетях
15.07.2026 09:34:44 | ТАСС

Не особняк, а целый квартал: WSJ раскрыла новый «флекс» среди американских миллиардеров
15.07.2026 09:34:03 | Life.ru

Снабжение сорвано: ВС РФ накрыли контейнеровоз и сухогруз ВСУ в порту Черноморск
15.07.2026 09:33:06 | Life.ru

Врач предупредил об опасной позе для сна
15.07.2026 09:32:28 | Lenta.ru

В аэропорту Сочи задерживаются более 30 рейсов
15.07.2026 09:32:04 | ТАСС

Иностранная мина взорвалась у бойцов ВСУ после того, как ее погрызли мыши
15.07.2026 09:32:00 | Российская Газета

Американские банки рекордно заработали на фоне войны с Ираном
15.07.2026 09:31:22 | Lenta.ru

Пострадавший в пригороде Воронежа и обесточенная Керчь. Последствия атак БПЛА
15.07.2026 09:31:06 | ТАСС

"Клауд Атлас": корпоративные мессенджеры в РФ уступают место цифровым рабочим платформам
15.07.2026 09:30:31 | ТАСС

Перевозки минерально-строительных грузов НТК за полгода выросли в 2,5 раза, до 968 тыс. т
15.07.2026 09:30:15 | ТАСС

Несколько районов и городов Крыма остаются без электричества
15.07.2026 09:30:04 | ТАСС

«Роскосмос» и НАСА скоординируют группировки спутников
15.07.2026 09:29:48 | Lenta.ru

«Сюрприз» при разгрузке: ВС РФ отправили на дно два сухогруза с военными поставками для ВСУ
15.07.2026 09:29:37 | Life.ru

Раскрыта многомиллионная стоимость выступления Наталии Орейро в России
15.07.2026 09:29:16 | Lenta.ru

В Николаевской области поврежден объект портовой инфраструктуры
15.07.2026 09:28:30 | ТАСС

Напавший на гинеколога при осмотре беременной россиянки мужчина оказался на допросе
15.07.2026 09:28:04 | Lenta.ru

В Москве с начала года Северный речной вокзал посетили более 1,3 млн человек
15.07.2026 09:27:09 | ТАСС

Российский актер назвал главное отличие москвичей от жителей других городов
15.07.2026 09:26:44 | Lenta.ru

«Укрджет» в огне: Российские ракеты стёрли с лица земли цеха по сборке дронов в Одессе
15.07.2026 09:26:33 | Life.ru

Новые удары ВС России по украинским портам. Что известно
15.07.2026 09:26:24 | ТАСС

Под удар ВС РФ в порту "Одесса" попал цех сборки дронов UJ-22 компании "Укрджет"
15.07.2026 09:26:00 | Российская Газета

«Герани» разнесли газовую станцию в Краматорске, обеспечивавшую нужды ВСУ
15.07.2026 09:23:54 | Life.ru

Сбившиеся с маршрута российские военные вступили в бой с ВСУ и заняли систему опорников
15.07.2026 09:22:58 | Lenta.ru

ВСУ 89 раз обстреляли отселенные районы Курской области за сутки
15.07.2026 09:22:57 | ТАСС

Военный врач приняла роды у пассажирки на борту самолета в России
15.07.2026 09:20:38 | Lenta.ru

Арестованная Шурыгина расхвалила тюремное меню и отказалась от передачек
15.07.2026 09:20:37 | Life.ru

В Новосибирске нашли тело девочки, утонувшей в Оби в феврале
15.07.2026 09:19:04 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro