DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан

09.05.2026 14:47:05 | Хабр

Хабы: Машинное обучение, Open source, IT-инфраструктура

NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в секунду на 35B MoE‑модели. После маркетинговых слайдов цифра выглядит грустно.

Объяснение простое. NVFP4 в основной ветке vLLM и FlashInfer физически сломан на SM_121 — варианте Blackwell, который установлен в GB10. Ядра собраны под compute_120f, а нативные NVFP4-инструкции есть только в compute_120a и compute_121a. На SM_121 распаковка квантованных весов идёт через программные битовые манипуляции в шейдере, без участия тензорных ядер.

Сообщество вытащило стек руками: нашло обходные пути, собрало рабочие конфигурации. Я прогнал на своём Spark шесть разных конфигураций vLLM — от стокового BF16 до форка с DFlash speculative decoding — и замерил каждую одинаковым тестом. В этой статье разбираю, что в итоге работает и что выбирать под разные задачи.

Подробнее

Читайте также

TechCrunch: часть сокращённых сотрудников Oracle пыталась добиться улучшения выходных пособий — компания отказалась пересматривать условия
09.05.2026 14:42:28 | vc.ru

Meta* выпустит ИИ-агента для покупок в Instagram* вместо пользователя
09.05.2026 14:08:20 | ferra.ru

Твой код на Rust компилируется, проходит тесты и является UB. Ты просто об этом не знаешь
09.05.2026 13:36:23 | Хабр

От эйфории к усталости и дальше: что будет с нашим восприятием новостей про ИИ?
09.05.2026 13:16:57 | Хабр

[Перевод] Как ошибка в интернет‑картах превратила жизнь фермы в Канзасе в «цифровой» ад
09.05.2026 13:13:35 | Хабр

Доступный астропейзаж — снимай космос на то, что есть в рюкзаке
09.05.2026 13:01:55 | Хабр

[Перевод] Claude Code: почему HTML лучше Markdown
09.05.2026 12:57:59 | Хабр

День 1536: товарооборот между Россией и Китаем в январе-апреле 2026 года вырос на 19,7%
09.05.2026 12:50:52 | vc.ru

Windows Vista: история красивого провала
09.05.2026 12:15:21 | Хабр

Теперь и Disney нацелилась на создание «супер-приложения»
09.05.2026 12:08:12 | ferra.ru

Запись онлайн радио на роутер: MikroTik RouterOS Script
09.05.2026 12:04:10 | Хабр

Анонсированы диски 245 TB от Micron
09.05.2026 12:00:50 | Хабр

Леон в будущих частях RE, апдейт Phasmophobia, предзагрузка Forza Horizon 6: дайджест игровых новостей на 09.05
09.05.2026 11:57:28 | Хабр

БАЛАНС МЕЖДУ СЛОЖНОСТЬЮ РАЗРАБОТКИ И ВОВЛЕЧЕНИЕМ ИГРОКА
09.05.2026 11:55:30 | Хабр

[Перевод] Как учёные пытаются уточнить значение гравитационной постоянной — «большой G»
09.05.2026 11:46:34 | Хабр

Telegram Bot API 10.0: Взамодействие ботов и бесплатные ассистенты
09.05.2026 11:40:49 | Хабр

Сервис проката электросамокатов Lime подал заявку на проведение IPO в США
09.05.2026 11:34:28 | vc.ru

Структура Vue проекта
09.05.2026 10:56:09 | Хабр

Законы лобового сопротивления воздуха
09.05.2026 10:56:08 | Хабр

The Sector — онлайн 2D игра (Поддержка Инди | Инфраструктура | Серверная часть)
09.05.2026 10:33:36 | Хабр

История одной типичной ошибки: как лишний трансформатор портил линию HiPoE и что мы с этим сделали
09.05.2026 10:14:19 | Хабр

Из знаменитого красного джойстика ноутбуков ThinkPad сделали мышь — Ploopy Bean
09.05.2026 10:08:15 | ferra.ru

Как я превратил смартфон в Modbus-RTU терминал для RS-485
09.05.2026 10:00:40 | Хабр

Rave подала антимонопольный иск против Apple из-за удаления приложения
09.05.2026 10:00:26 | ferra.ru

Пермские ученые повысили растворимость вещества из березы против рака
09.05.2026 10:00:16 | ferra.ru

Индюшка с денежной начинкой: что и почему происходит с инди-играми
09.05.2026 09:28:14 | Хабр

Ещё один круг ада: мониторинг ERP без Prometheus, Grafana и выделенного DevOps
09.05.2026 09:13:59 | Хабр

[Перевод] Создание собственного текстового редактора Vi на языке BASIC
09.05.2026 09:07:35 | Хабр

Почему не взлетели дирижабли? Часть 20: воздушные корабли ВДВ СССР военных лет
09.05.2026 09:01:33 | Хабр

[Перевод] Диапазоны медиа-запросов CSS
09.05.2026 08:14:24 | Хабр

Новые «правила игры». Какой может быть результат?
09.05.2026 08:09:02 | Хабр

AirPods ради умной Siri получат камеры
09.05.2026 08:08:14 | ferra.ru

SpaceX собирается выпускать собственные GPU
09.05.2026 08:00:26 | Хабр

Термодинамическая экология — правильный диагноз, неверный адрес
09.05.2026 07:46:01 | Хабр

[Перевод] Шоколадно-электрическая железная дорога на Кубе
09.05.2026 07:45:06 | Хабр

Смотреть все

НОВОСТИ

Прокуратура проверит информацию о размыве береговой полосы в Минводах
10.06.2026 16:32:58 | ТАСС

Россиянам назвали бесполезные опции в современных машинах
10.06.2026 16:32:26 | Lenta.ru

Выпускники колледжа в Старобельске получат аттестаты до 10 июля
10.06.2026 16:32:12 | Life.ru

Раскрыты новые детали переговоров Ирана и США после угроз Трампа
10.06.2026 16:32:02 | Lenta.ru

«Только для нас!»: Каннаваро в ярости из-за унизительного досмотра сборной в США
10.06.2026 16:31:08 | Life.ru

Цена слишком высока: США и Иран продолжают переговоры, несмотря на обмен ударами
10.06.2026 16:31:00 | Российская Газета

«Нам, как и треске, на это наплевать»: В Госдуме высмеяли санкции ЕС на российскую рыбу
10.06.2026 16:30:52 | Life.ru

Путин: Внешние вызовы преходящи, дети и молодое поколение — будущее России
10.06.2026 16:30:48 | Life.ru

Россиянам дали советы по обустройству небольших квартир
10.06.2026 16:30:45 | Lenta.ru

Наживавшуюся на погибших бойцах СВО банду поймали в российском городе
10.06.2026 16:30:02 | Lenta.ru

Тест: Только 23% зрителей запомнили эти кадры с мороженым в советском кино, а вы?
10.06.2026 16:30:00 | Life.ru

В Курской области из-за атаки ВСУ пострадал мужчина
10.06.2026 16:29:42 | ТАСС

Украина заявила об испытании дешевой альтернативы ракетам Patriot
10.06.2026 16:29:00 | Российская Газета

Докачался до реанимации: У мужчины отказали почки во время «ударной» тренировки
10.06.2026 16:28:30 | Life.ru

Белоусов вручил звезды Героев России отличившимся бойцам СВО
10.06.2026 16:27:54 | ТАСС

В Мордовии местного жителя осудили за участие в террористической организации
10.06.2026 16:27:50 | ТАСС

Путин: внешние вызовы - это преходящее, а дети - это будущее России
10.06.2026 16:27:30 | ТАСС

Людмила Бабушкина оценила результаты реализации нацполитики на Среднем Урале
10.06.2026 16:26:58 | ТАСС

Путин: РФ всё делает правильно, если ЛГБТ-Европу раздражает вид счастливых детей
10.06.2026 16:26:51 | Life.ru

Названо скрытое последствие курения вейпов для организма
10.06.2026 16:26:36 | Lenta.ru

Путин поручил усилить безопасность образовательной и социальной системы
10.06.2026 16:26:12 | Life.ru

Шойгу назвал материальный госрезерв важным компонентом нацбезопасности
10.06.2026 16:25:37 | ТАСС

Оступился и попал под технику: В Новосибирской области молодой тракторист погиб на поле
10.06.2026 16:25:19 | Life.ru

Шах и мат: На элитную квартиру Каспарова* в Москве наложили арест из-за долгов
10.06.2026 16:25:01 | Life.ru

Европейский лидер заявил о сближении Европы с позицией Трампа по Украине
10.06.2026 16:25:00 | Lenta.ru

В СФ назвали "трусливой местью" атаку ВСУ на панораму в Севастополе
10.06.2026 16:24:54 | ТАСС

Россиянам назвали идеальный недорогой деликатес
10.06.2026 16:24:37 | Lenta.ru

Венгрия не будет поставлять оружие на Украину
10.06.2026 16:24:29 | ТАСС

Почти 6 млн детей смогут отдохнуть этим летом в санаториях и лагерях
10.06.2026 16:24:18 | Life.ru

В каждом четвертом здании Москвы возобновили подачу горячей воды
10.06.2026 16:24:12 | ТАСС

На границе Украины с Польшей образовались многокилометровые пробки из машин
10.06.2026 16:24:04 | Life.ru

Площадь пожара в здании панорамы обороны Севастополя составила 600 кв. м
10.06.2026 16:23:36 | ТАСС

Умер курянин, пострадавший 5 июня при атаке ВСУ на агрофирму в Большесолдатском районе
10.06.2026 16:23:35 | ТАСС

Адвокат объяснил, почему Долиной не видать денег по иску к мошенникам на 176 млн рублей
10.06.2026 16:23:20 | Life.ru

На Бали поймали украинца с партией наркотиков почти на 40$ тысяч долларов
10.06.2026 16:22:51 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro