DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан

09.05.2026 14:47:05 | Хабр

Хабы: Машинное обучение, Open source, IT-инфраструктура

NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в секунду на 35B MoE‑модели. После маркетинговых слайдов цифра выглядит грустно.

Объяснение простое. NVFP4 в основной ветке vLLM и FlashInfer физически сломан на SM_121 — варианте Blackwell, который установлен в GB10. Ядра собраны под compute_120f, а нативные NVFP4-инструкции есть только в compute_120a и compute_121a. На SM_121 распаковка квантованных весов идёт через программные битовые манипуляции в шейдере, без участия тензорных ядер.

Сообщество вытащило стек руками: нашло обходные пути, собрало рабочие конфигурации. Я прогнал на своём Spark шесть разных конфигураций vLLM — от стокового BF16 до форка с DFlash speculative decoding — и замерил каждую одинаковым тестом. В этой статье разбираю, что в итоге работает и что выбирать под разные задачи.

Подробнее

Читайте также

TechCrunch: часть сокращённых сотрудников Oracle пыталась добиться улучшения выходных пособий — компания отказалась пересматривать условия
09.05.2026 14:42:28 | vc.ru

Meta* выпустит ИИ-агента для покупок в Instagram* вместо пользователя
09.05.2026 14:08:20 | ferra.ru

Твой код на Rust компилируется, проходит тесты и является UB. Ты просто об этом не знаешь
09.05.2026 13:36:23 | Хабр

От эйфории к усталости и дальше: что будет с нашим восприятием новостей про ИИ?
09.05.2026 13:16:57 | Хабр

[Перевод] Как ошибка в интернет‑картах превратила жизнь фермы в Канзасе в «цифровой» ад
09.05.2026 13:13:35 | Хабр

Доступный астропейзаж — снимай космос на то, что есть в рюкзаке
09.05.2026 13:01:55 | Хабр

[Перевод] Claude Code: почему HTML лучше Markdown
09.05.2026 12:57:59 | Хабр

День 1536: товарооборот между Россией и Китаем в январе-апреле 2026 года вырос на 19,7%
09.05.2026 12:50:52 | vc.ru

Windows Vista: история красивого провала
09.05.2026 12:15:21 | Хабр

Теперь и Disney нацелилась на создание «супер-приложения»
09.05.2026 12:08:12 | ferra.ru

Запись онлайн радио на роутер: MikroTik RouterOS Script
09.05.2026 12:04:10 | Хабр

Анонсированы диски 245 TB от Micron
09.05.2026 12:00:50 | Хабр

Леон в будущих частях RE, апдейт Phasmophobia, предзагрузка Forza Horizon 6: дайджест игровых новостей на 09.05
09.05.2026 11:57:28 | Хабр

БАЛАНС МЕЖДУ СЛОЖНОСТЬЮ РАЗРАБОТКИ И ВОВЛЕЧЕНИЕМ ИГРОКА
09.05.2026 11:55:30 | Хабр

[Перевод] Как учёные пытаются уточнить значение гравитационной постоянной — «большой G»
09.05.2026 11:46:34 | Хабр

Telegram Bot API 10.0: Взамодействие ботов и бесплатные ассистенты
09.05.2026 11:40:49 | Хабр

Сервис проката электросамокатов Lime подал заявку на проведение IPO в США
09.05.2026 11:34:28 | vc.ru

Структура Vue проекта
09.05.2026 10:56:09 | Хабр

Законы лобового сопротивления воздуха
09.05.2026 10:56:08 | Хабр

The Sector — онлайн 2D игра (Поддержка Инди | Инфраструктура | Серверная часть)
09.05.2026 10:33:36 | Хабр

История одной типичной ошибки: как лишний трансформатор портил линию HiPoE и что мы с этим сделали
09.05.2026 10:14:19 | Хабр

Из знаменитого красного джойстика ноутбуков ThinkPad сделали мышь — Ploopy Bean
09.05.2026 10:08:15 | ferra.ru

Как я превратил смартфон в Modbus-RTU терминал для RS-485
09.05.2026 10:00:40 | Хабр

Rave подала антимонопольный иск против Apple из-за удаления приложения
09.05.2026 10:00:26 | ferra.ru

Пермские ученые повысили растворимость вещества из березы против рака
09.05.2026 10:00:16 | ferra.ru

Индюшка с денежной начинкой: что и почему происходит с инди-играми
09.05.2026 09:28:14 | Хабр

Ещё один круг ада: мониторинг ERP без Prometheus, Grafana и выделенного DevOps
09.05.2026 09:13:59 | Хабр

[Перевод] Создание собственного текстового редактора Vi на языке BASIC
09.05.2026 09:07:35 | Хабр

Почему не взлетели дирижабли? Часть 20: воздушные корабли ВДВ СССР военных лет
09.05.2026 09:01:33 | Хабр

[Перевод] Диапазоны медиа-запросов CSS
09.05.2026 08:14:24 | Хабр

Новые «правила игры». Какой может быть результат?
09.05.2026 08:09:02 | Хабр

AirPods ради умной Siri получат камеры
09.05.2026 08:08:14 | ferra.ru

SpaceX собирается выпускать собственные GPU
09.05.2026 08:00:26 | Хабр

Термодинамическая экология — правильный диагноз, неверный адрес
09.05.2026 07:46:01 | Хабр

[Перевод] Шоколадно-электрическая железная дорога на Кубе
09.05.2026 07:45:06 | Хабр

Смотреть все

НОВОСТИ

В Самарской области 17 июля около часа действовал режим ракетной опасности
17.07.2026 07:53:50 | Life.ru

Ограничения сняты в аэропорту Сочи
17.07.2026 07:52:55 | ТАСС

Алтай направит средства по списанным кредитам на поддержку участников СВО
17.07.2026 07:52:37 | ТАСС

Эксперт Лысой рассказал, что делать при столкновении велосипедиста с машиной
17.07.2026 07:50:29 | ТАСС

В Московской области объявляли режим ракетной опасности 17 июля
17.07.2026 07:48:40 | Life.ru

Описана опасность перегрева телевизора
17.07.2026 07:46:52 | Lenta.ru

Иран атаковал американские военные базы в Кувейте
17.07.2026 07:46:41 | Lenta.ru

Разведка США считала, что саудовский наследный принц боялся поражения Трампа
17.07.2026 07:45:56 | ТАСС

ISNA: США вновь ударили по Вейсиану в Иране
17.07.2026 07:44:57 | ТАСС

Видео с членами банд в туристическом районе Мехико шокировало туристов
17.07.2026 07:44:00 | Российская Газета

Разведка США в 2020 году утверждала о вмешательстве РФ в выборы в пользу Трампа
17.07.2026 07:43:10 | ТАСС

На юго-востоке Украины повреждена АЗС
17.07.2026 07:40:41 | ТАСС

Москвичей предупредили о возможных затруднениях движения вечером
17.07.2026 07:40:39 | ТАСС

В "Авито" рассказали, сколько россияне готовы потратить на спонтанную поездку
17.07.2026 07:35:57 | ТАСС

Ракетная опасность введена в Саратовской области
17.07.2026 07:35:45 | ТАСС

На Урале крестный ход памяти Романовых собрал более 44 тыс. паломников
17.07.2026 07:34:45 | ТАСС

РФ проведёт 17 июля неформальную встречу СБ ООН по преступлениям Киева
17.07.2026 07:34:35 | Life.ru

Tasnim: КСИР атаковал центр управления спецоперациями США в Сирии
17.07.2026 07:34:04 | ТАСС

Российские силовики взялись за сайты наподобие «Глаза бога»
17.07.2026 07:34:02 | Lenta.ru

В России просели продажи одного вида пива
17.07.2026 07:32:35 | Lenta.ru

Ракетную опасность объявили в российском регионе в тысяче километров от границы с Украиной
17.07.2026 07:31:24 | Lenta.ru

Парламент Японии принял закон о наказаниях за осквернение флага
17.07.2026 07:31:17 | ТАСС

Боец Карта: "Север" уничтожил более 130 блиндажей ВСУ под Харьковом в июле
17.07.2026 07:31:07 | ТАСС

Россиянка описала отель за 150 тысяч рублей в Турции словами «минусов будет немало»
17.07.2026 07:30:36 | Lenta.ru

Женщина с редким психозом рассказала о любимой галлюцинации
17.07.2026 07:30:27 | Lenta.ru

Эхо испанской войны: почему судьба теплохода "Комсомол" так напоминает наши дни
17.07.2026 07:30:01 | ТАСС

Захарова: Россия не откажется от реальных предложений США по Украине
17.07.2026 07:28:48 | Life.ru

К расправе над украинским боксером Карпачевым причастны четыре человека
17.07.2026 07:26:22 | ТАСС

На Камчатке подняли авиацию МЧС для поисков пропавшего мужчины
17.07.2026 07:25:34 | ТАСС

На Камчатке подняли авиацию для поисков пропавшего мужчины
17.07.2026 07:25:34 | ТАСС

Россиянам рассказали, как снизить риск заражения лихорадкой Западного Нила
17.07.2026 07:24:40 | ТАСС

Инфекционист Чернявская рассказала, как снизить риск лихорадки Западного Нила
17.07.2026 07:24:40 | ТАСС

США бомбят мосты и электростанции Ирана
17.07.2026 07:21:00 | Российская Газета

Страна НАТО нарастила импорт российского сыра
17.07.2026 07:20:10 | Lenta.ru

В Московских театрах не будут вводить обязательный дресс-код
17.07.2026 07:16:51 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro