DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан

09.05.2026 14:47:05 | Хабр

Хабы: Машинное обучение, Open source, IT-инфраструктура

NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в секунду на 35B MoE‑модели. После маркетинговых слайдов цифра выглядит грустно.

Объяснение простое. NVFP4 в основной ветке vLLM и FlashInfer физически сломан на SM_121 — варианте Blackwell, который установлен в GB10. Ядра собраны под compute_120f, а нативные NVFP4-инструкции есть только в compute_120a и compute_121a. На SM_121 распаковка квантованных весов идёт через программные битовые манипуляции в шейдере, без участия тензорных ядер.

Сообщество вытащило стек руками: нашло обходные пути, собрало рабочие конфигурации. Я прогнал на своём Spark шесть разных конфигураций vLLM — от стокового BF16 до форка с DFlash speculative decoding — и замерил каждую одинаковым тестом. В этой статье разбираю, что в итоге работает и что выбирать под разные задачи.

Подробнее

Читайте также

TechCrunch: часть сокращённых сотрудников Oracle пыталась добиться улучшения выходных пособий — компания отказалась пересматривать условия
09.05.2026 14:42:28 | vc.ru

Meta* выпустит ИИ-агента для покупок в Instagram* вместо пользователя
09.05.2026 14:08:20 | ferra.ru

Твой код на Rust компилируется, проходит тесты и является UB. Ты просто об этом не знаешь
09.05.2026 13:36:23 | Хабр

От эйфории к усталости и дальше: что будет с нашим восприятием новостей про ИИ?
09.05.2026 13:16:57 | Хабр

[Перевод] Как ошибка в интернет‑картах превратила жизнь фермы в Канзасе в «цифровой» ад
09.05.2026 13:13:35 | Хабр

Доступный астропейзаж — снимай космос на то, что есть в рюкзаке
09.05.2026 13:01:55 | Хабр

[Перевод] Claude Code: почему HTML лучше Markdown
09.05.2026 12:57:59 | Хабр

День 1536: товарооборот между Россией и Китаем в январе-апреле 2026 года вырос на 19,7%
09.05.2026 12:50:52 | vc.ru

Windows Vista: история красивого провала
09.05.2026 12:15:21 | Хабр

Теперь и Disney нацелилась на создание «супер-приложения»
09.05.2026 12:08:12 | ferra.ru

Запись онлайн радио на роутер: MikroTik RouterOS Script
09.05.2026 12:04:10 | Хабр

Анонсированы диски 245 TB от Micron
09.05.2026 12:00:50 | Хабр

Леон в будущих частях RE, апдейт Phasmophobia, предзагрузка Forza Horizon 6: дайджест игровых новостей на 09.05
09.05.2026 11:57:28 | Хабр

БАЛАНС МЕЖДУ СЛОЖНОСТЬЮ РАЗРАБОТКИ И ВОВЛЕЧЕНИЕМ ИГРОКА
09.05.2026 11:55:30 | Хабр

[Перевод] Как учёные пытаются уточнить значение гравитационной постоянной — «большой G»
09.05.2026 11:46:34 | Хабр

Telegram Bot API 10.0: Взамодействие ботов и бесплатные ассистенты
09.05.2026 11:40:49 | Хабр

Сервис проката электросамокатов Lime подал заявку на проведение IPO в США
09.05.2026 11:34:28 | vc.ru

Структура Vue проекта
09.05.2026 10:56:09 | Хабр

Законы лобового сопротивления воздуха
09.05.2026 10:56:08 | Хабр

The Sector — онлайн 2D игра (Поддержка Инди | Инфраструктура | Серверная часть)
09.05.2026 10:33:36 | Хабр

История одной типичной ошибки: как лишний трансформатор портил линию HiPoE и что мы с этим сделали
09.05.2026 10:14:19 | Хабр

Из знаменитого красного джойстика ноутбуков ThinkPad сделали мышь — Ploopy Bean
09.05.2026 10:08:15 | ferra.ru

Как я превратил смартфон в Modbus-RTU терминал для RS-485
09.05.2026 10:00:40 | Хабр

Rave подала антимонопольный иск против Apple из-за удаления приложения
09.05.2026 10:00:26 | ferra.ru

Пермские ученые повысили растворимость вещества из березы против рака
09.05.2026 10:00:16 | ferra.ru

Индюшка с денежной начинкой: что и почему происходит с инди-играми
09.05.2026 09:28:14 | Хабр

Ещё один круг ада: мониторинг ERP без Prometheus, Grafana и выделенного DevOps
09.05.2026 09:13:59 | Хабр

[Перевод] Создание собственного текстового редактора Vi на языке BASIC
09.05.2026 09:07:35 | Хабр

Почему не взлетели дирижабли? Часть 20: воздушные корабли ВДВ СССР военных лет
09.05.2026 09:01:33 | Хабр

[Перевод] Диапазоны медиа-запросов CSS
09.05.2026 08:14:24 | Хабр

Новые «правила игры». Какой может быть результат?
09.05.2026 08:09:02 | Хабр

AirPods ради умной Siri получат камеры
09.05.2026 08:08:14 | ferra.ru

SpaceX собирается выпускать собственные GPU
09.05.2026 08:00:26 | Хабр

Термодинамическая экология — правильный диагноз, неверный адрес
09.05.2026 07:46:01 | Хабр

[Перевод] Шоколадно-электрическая железная дорога на Кубе
09.05.2026 07:45:06 | Хабр

Смотреть все

НОВОСТИ

«Нас обманывали с начала 90-х»: Путин раскрыл, как Запад спровоцировал конфликт на Украине
09.05.2026 22:39:16 | Life.ru

В Лимасоле в шествии "Бессмертного полка" приняли участие 12 тыс. человек
09.05.2026 22:36:37 | ТАСС

Путин: Глупое переписывание истории Победы в Европе приведёт к нищете
09.05.2026 22:33:27 | Life.ru

В Петербурге прошел праздничный салют в честь Дня Победы
09.05.2026 22:30:43 | ТАСС

Как проходил День Победы в России
09.05.2026 22:30:01 | ТАСС

«Это, прежде всего, наше дело»: Путин оценил роль США в урегулировании на Украине
09.05.2026 22:28:46 | Life.ru

Посол РФ в Греции: Германия осуществляла методичный геноцид народов СССР
09.05.2026 22:28:34 | ТАСС

Путин высказался о попытках Европы принизить вклад СССР
09.05.2026 22:27:27 | Lenta.ru

Жители эстонской Нарвы слушали концерт "Любэ", Булановой и Лозы через реку
09.05.2026 22:27:00 | Российская Газета

Стармер подтвердил, что не уйдет с поста после поражения лейбористов на выборах
09.05.2026 22:25:00 | Российская Газета

Путин заявил о попавшем в колею Западе
09.05.2026 22:24:00 | Lenta.ru

"Кайсериспор" с Макаровым, Чаловым и Онугхой вылетел из турецкой Суперлиги
09.05.2026 22:23:40 | ТАСС

Путин объяснил, почему воздержался от слов в сторону вступившей в НАТО Финляндии
09.05.2026 22:23:00 | Российская Газета

Путин объяснил, почему воздержался от жеста и слов в сторону Финляндии
09.05.2026 22:23:00 | Российская Газета

В Госдуме прокомментировали указ Зеленского о параде Победы в Москве
09.05.2026 22:22:10 | Lenta.ru

В 13 странах 400 активистов ДВФМ присоединились к празднованию Дня Победы
09.05.2026 22:21:09 | ТАСС

Путин высказался о восстановлении отношений с Европой
09.05.2026 22:20:00 | Lenta.ru

Путин: РФ передала Киеву список из 500 пленных бойцов, но там «сошли с радаров»
09.05.2026 22:19:30 | Life.ru

На Маврикии прошли торжественные мероприятия в честь Дня Победы
09.05.2026 22:17:07 | ТАСС

Кубок Победы по прыжкам на лыжах с трамплина прошел в Москве
09.05.2026 22:14:12 | ТАСС

Фицо заявил о восстановлении работы словацко-российской межправкомиссии
09.05.2026 22:12:39 | ТАСС

Путин: Кандидатура Шрёдера была бы предпочтительной для переговоров России и ЕС
09.05.2026 22:11:39 | Life.ru

Мерц пригрозил разговором Фицо за поездку в Москву
09.05.2026 22:10:21 | Life.ru

Путин: Россия не играет в «игры» с Киевом по датам перемирия
09.05.2026 22:09:21 | Life.ru

Число погибших в Ливане из-за израильских атак достигло 2 795
09.05.2026 22:09:16 | ТАСС

Путин заявил о сложном положении России из-за конфликта Ирана и США
09.05.2026 22:08:51 | Lenta.ru

В Казани племянник Героя СССР Коняева принес его портрет на "Бессмертный полк"
09.05.2026 22:08:00 | ТАСС

Мирра Андреева вышла в четвертый круг турнира WTA в Риме
09.05.2026 22:07:45 | ТАСС

Путин: Предложения РФ по иранскому обогащенному урану остаются на столе
09.05.2026 22:05:00 | Российская Газета

Путин рассказал о желании Запада что-нибудь оттяпать у России
09.05.2026 22:04:00 | Lenta.ru

В Дубае на памятный вечер в честь Дня Победы собрались около 1 тыс. человек
09.05.2026 22:01:06 | ТАСС

Путин назвал отправную точку событий на Украине
09.05.2026 22:01:00 | Lenta.ru

Фицо передал Путину сигналы Зеленского о готовности ко встрече
09.05.2026 22:00:35 | Lenta.ru

Путин: РФ не пытается "раздувать политические жабры" по иранскому урану
09.05.2026 22:00:22 | ТАСС

Путин: Трамп поддержал план перемирия к 9 Мая, но реакции от Киева не было
09.05.2026 21:57:53 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro