27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262K

13.11.2026 14:13:58 | Хабр

Хабы: Машинное обучение, DevOps, Искусственный интеллект

Четыре Tesla V100 2017 года тянут в проде плотную Qwen3.8-27B в INT4 с окном 262 тысячи токенов — это модель zubr в ZuBrIQ (zubriq.ai), запросы к которой не покидают Беларусь. Официальный vLLM на этих картах 4-битную модель не запускает. Рассказываю, на каком форке это работает, куда утекает память, что показал бенчмарк MoE против dense и почему имя модели нельзя менять никогда.

Подробнее

Читайте также

Теперь ИИ-компании вкладывают миллиарды в генерацию энергии
13.11.2026 14:00:05 | Хабр

Томские ученые создали рентген-детектор, определяющий состав объектов
13.11.2026 13:52:32 | ferra.ru

[Перевод] Можно ли доверять ИИ при покупках? Проверка ChatGPT, Gemini и Perplexity
13.11.2026 13:51:54 | Хабр

Значимый A/B‑тест завышает рост. Считаем, во сколько раз
13.11.2026 13:50:04 | Хабр

Привычный поиск умирает или переходит во что то новое? Поговорим о GEO
13.11.2026 13:48:29 | Хабр

ЦОД в Марфино: газопровод, заземление и путь к энергонезависимости
13.11.2026 13:44:46 | Хабр

Microsoft добавила в программу обратной совместимости ещё 21 игру с оригинальной Xbox
13.11.2026 13:42:15 | Хабр

В новых HTML‑виджетах Telegram обнаружили RCE‑уязвимость
13.11.2026 13:39:10 | Хабр

Знаменитая головоломка возвращается домой: производство кубика Рубика возобновляется в Венгрии
13.11.2026 13:29:14 | Хабр

Эволюция API в эпоху AI: REST vs MCP на примере платёжного сервиса
13.11.2026 13:27:16 | Хабр

История выполнения @Scheduled задач в Axelix
13.11.2026 13:25:17 | Хабр

Собираем геном из ридов на графе-пангеноме открытым софтом
13.11.2026 13:01:01 | Хабр

4 книги в предзаказе: техническое интервью, машинное обучение, ИИ-агенты и векторные БД
13.11.2026 12:54:27 | Хабр

У Microsoft произошёл массовый сбой, пострадали сервисы Teams, Exchange, Outlook, SharePoint и др
13.11.2026 12:46:56 | Хабр

Вышли десктопные приложения для мессенджера WB Chat (beta)
13.11.2026 12:45:03 | Хабр

Минимальная математика для машинного обучения: что нужно знать, а что можно отложить
13.11.2026 12:42:18 | Хабр

BI.ZONE EDR: инженерный взгляд на возможности продукта
13.11.2026 12:41:28 | Хабр

[Перевод] Новый участник созвона — Claude: что умеет помощник Anthropic в Google Meet
13.11.2026 12:40:05 | Хабр

Гениально или тривиально: каким будет декабрьский митап по C++ в Петебрурге
13.11.2026 12:35:29 | Хабр

ML на буровой в изолированном контуре: архитектура детекции прихватов на XGBoost и WITS-0
13.11.2026 12:34:17 | Хабр

Вакуумная установка на ноутбуке: open-source система управления с эмулятором и MCP
13.11.2026 12:30:30 | Хабр

Мир ужесточает миграционные правила в борьбе за лучшие умы
13.11.2026 12:27:00 | it-world

Сибирские бактерии увеличили урожай пшеницы и картофеля
13.11.2026 11:52:29 | ferra.ru

Пока вы молчите на созвоне, Claude уже готовит план
13.11.2026 11:46:15 | Хабр

TurboJedi: три недели спустя
13.11.2026 11:32:25 | Хабр

Истинное лицо
13.11.2026 11:24:29 | Хабр

«2ГИС» обновил навигатор для общественного транспорта: приложение и виджет показывают прогресс на маршруте и заранее предупреждают о нужной остановке
13.11.2026 11:23:39 | vc.ru

Как мы собираем рекламные шортсы прямо из движка игры: Godot, Python и ffmpeg
13.11.2026 11:19:54 | Хабр

Теорема Байеса в реальной жизни — это не про формулу
13.11.2026 11:11:59 | Хабр

Qwen и локальные нейронки на Mac mini. Зачем и почему?
13.11.2026 11:06:12 | Хабр

Автоматизация релизов Java-монолита в закрытом контуре: замена maven-release-plugin на JGit
13.11.2026 11:01:02 | Хабр

Лучшее за неделю (2.11 — 8.11)
13.11.2026 11:00:52 | Хабр

Во что играли советские гики? Часть 1
13.11.2026 11:00:52 | Хабр

Как я роутер Starlink в Испании чинил
13.11.2026 11:00:52 | Хабр

Я работаю в accessibility-тестировании
13.11.2026 11:00:33 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

В Geely раскрыли будущее бензиновых двигателей
04.12.2026 05:45:00 | За рулем

В Geely раскрыли будущее бензиновых двигателей
04.12.2026 05:45:00 | За рулем

В Geely раскрыли будущее бензиновых двигателей
04.12.2026 05:45:00 | За рулем

Мария Погребняк прогулялась по улице в лосинах и вызвала споры в сети
13.11.2026 18:11:08 | Lenta.ru

В Сургуте мужчина напал с ножом на участкового, отобрал пистолет и скрылся
13.11.2026 18:11:06 | Life.ru

В России жестко раскритиковали заявление Мерца о переговорах
13.11.2026 18:11:00 | Lenta.ru

На Западе выступили с предупреждением к Европе о войне с Россией
13.11.2026 18:10:52 | Lenta.ru

Почему Дженсен Хуанг ушёл из Nvidia: расследование, хронология и новые руководители
13.11.2026 18:09:32 | Life.ru

В Петербурге арестовали мужчину, зарезавшего бывшую у кризисного центра
13.11.2026 18:09:03 | Life.ru

Участниками платформы "Россия - страна возможностей" стали более 195 стран
13.11.2026 18:07:35 | ТАСС

В Ленобласти задержали пенсионерку за попытку продать арбалет сына
13.11.2026 18:07:11 | Life.ru

В Москве в ночь на 14 ноября ожидается сильный дождь
13.11.2026 18:07:02 | ТАСС

Банда свиней во главе со свиноматкой захватила российский поселок
13.11.2026 18:06:23 | Lenta.ru

Королева Нидерландов Максима получила звание подполковника ВС
13.11.2026 18:06:17 | ТАСС

У жителя ДНР изъяли почти 8 кг наркотиков
13.11.2026 18:06:15 | ТАСС

Эрмитаж открыл две выставки про архитектуру и искусство Рима
13.11.2026 18:05:35 | ТАСС

В США организовали мемориал после отставки Хуанга из Nvidia
13.11.2026 18:05:28 | Lenta.ru

В Поморье "Знание" организовало лекции по кибербезопасности для школьников и студентов
13.11.2026 18:05:27 | ТАСС

«А ты откуда взял?»: как Путин показал Уиткоффу и Кушнеру тупик европейской логики
13.11.2026 18:05:11 | Life.ru

Дженсен Хуанг ушёл из Nvidia: кто возглавил компанию и что будет дальше
13.11.2026 18:04:47 | Life.ru

ЦБ: к ГИС "Антифрод" подключили 46 российских банков
13.11.2026 18:04:29 | ТАСС

MDMG Sahel: в Нигере боевики убили 37 жителей
13.11.2026 18:04:17 | ТАСС

На всероссийском форуме "Пик возможностей" обсудили грантовую поддержку молодежи
13.11.2026 18:04:13 | ТАСС

Росимущество попросило снять арест с московской недвижимости Блиновских
13.11.2026 18:03:53 | Life.ru

«Нужно отрастить яйца побольше»: Премьер Латвии потребовал от ЕС решительности по активам России
13.11.2026 18:03:26 | Life.ru

Мерц считает НАТО архитектурой европейской безопасности
13.11.2026 18:02:37 | ТАСС

В Курске из-за повреждения трубопровода без тепла остались более 9 тыс. человек
13.11.2026 18:02:15 | ТАСС

Котельную ввели в комплексе высокоскоростных поездов "Уральских локомотивов"
13.11.2026 18:01:58 | ТАСС

В Минпросвещения назвали сохранение ребенка в кровной семье главным приоритетом
13.11.2026 18:01:41 | ТАСС

Численность воспитанников детских домов в РФ снизилась в четыре раза
13.11.2026 18:01:17 | ТАСС

Мерц: в ЕС боятся "второго Анкориджа" в свете планов встречи Путина и Трампа
13.11.2026 18:01:11 | ТАСС

Новые законы об опеке могут вступить в силу 1 января 2028 года
13.11.2026 18:00:33 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro