Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов

27.05.2026 12:09:08 | Хабр

Хабы: Блог компании VK Tech, Машинное обучение, IT-инфраструктура, Облачные вычисления, Kubernetes

С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префилла и декодирования принципиально разные профили вычислений, но традиционные развёртывания заставляют их работать на одном оборудовании. В итоге GPU недозагружены, а масштабирование — негибкое.

Дезагрегированный инференс решает эту проблему: разбивает конвейер на отдельные этапы — префилл, декодирование и маршрутизацию. Каждый этап работает как независимый сервис, который можно обеспечивать ресурсами и масштабировать на собственных условиях.

Команда VK Cloud перевела статью, в которой разбирается, как развернуть дезагрегированный инференс в Kubernetes. Здесь мы посмотрим на разные решения экосистемы, как они работают в кластере и что дают «из коробки».

Читать далее

Подробнее

Читайте также

Как стать Go-разработчиком с нуля? Бесплатная программа обучения
27.05.2026 12:00:52 | Хабр

Разработка эмулятора NES на отечественном микроконтроллере К1921ВГ1Т
27.05.2026 11:41:00 | Хабр

predict_proba выдаёт 0.9 — но это не вероятность 90%
27.05.2026 11:40:50 | Хабр

OneClickRelease, или как мы ставим релизы одной кнопкой
27.05.2026 11:36:10 | Хабр

Ускорение INSERT/COPY в логической репликации PostgreSQL
27.05.2026 11:34:15 | Хабр

Полиморфные ссылки в PostgreSQL: три попытки помочь оптимизатору
27.05.2026 11:32:39 | Хабр

Слух: Huawei Nova 16 Ultra получит главную камеру с 200 Мп
27.05.2026 11:29:49 | ferra.ru

Выбираем роутер стандарта Wi-Fi 7
27.05.2026 11:21:25 | it-world

Ransomware: математический аппарат на службе зла
27.05.2026 11:20:36 | Хабр

Блеск и нищета SMM hh.ru
27.05.2026 11:16:00 | Хабр

Пишем универсальную глитч-машину
27.05.2026 11:07:19 | Хабр

Члены крупнейшего профсоюза Samsung поддержали соглашение о компенсациях — средний бонус для сотрудников составит около $340 тысяч
27.05.2026 11:00:06 | vc.ru

Как не похоронить бизнес на старте: анатомия корпоративных конфликтов при учреждении ООО
27.05.2026 10:59:05 | Хабр

Как стиль общения может создавать карьерный тупик в ИТ
27.05.2026 10:52:51 | Хабр

Ответы с «деврел‑супервизии», вопрос восьмой: как держать веру команды и ЛПР, когда метрики шатаются
27.05.2026 10:50:22 | Хабр

Новинка: Прикладные API для искусственного интеллекта и Data Science
27.05.2026 10:35:01 | Хабр

Миграция с ingress-nginx: выбор нового контроллера
27.05.2026 10:30:41 | Хабр

Ожидание: сделать ИИ-примерочную обоев за 2 дня. Реальность: пришлось добучать свою модель на SD
27.05.2026 10:24:21 | Хабр

«Яндекс» запустил комбинированную доставку — робот везёт заказ до подъезда, а курьер поднимает до двери
27.05.2026 10:16:23 | vc.ru

Как мы тестируем в Профи.ру: почему у нас нет пирамиды, зато есть ромб и матрица
27.05.2026 10:10:38 | Хабр

Об Open-source — спасителе человечества и kernel-сообществе пророке его…
27.05.2026 10:03:24 | Хабр

ТОП-10 сайтов мебельных магазинов: лучшие UX-решения и приемы юзабилити
27.05.2026 09:59:47 | Хабр

QSEAL: новый подход в резервном копировании средствами СХД
27.05.2026 09:53:16 | Хабр

Книга: «Windows Server 2022. Полное руководство по администрированию»
27.05.2026 09:49:44 | Хабр

Минцифры расширило набор данных, которые операторы должны передавать «уполномоченным органам» через СОРМ
27.05.2026 09:42:38 | vc.ru

Нейросети для работы с Excel: Выбираем ИИ для создания таблиц и написания формул
27.05.2026 09:42:02 | Хабр

Совместимость Test IT и RedOS: опыт автоматизации сборки, тестирования и сертификации
27.05.2026 09:38:43 | Хабр

RAG-Anything: Как собрать по-настоящему мультимодальный RAG
27.05.2026 09:33:50 | Хабр

OLED Samsung, дизайн Джони Айва: Ferrari показала свой первый электрокар Luce
27.05.2026 09:29:47 | ferra.ru

Как я готовился к Certified Kubernetes Security Specialist (CKS) в 2026 году
27.05.2026 09:29:15 | Хабр

Вы ведёте дела как в 90-е? Короткий тест подсветит типичные просчёты
27.05.2026 09:22:06 | ferra.ru

Я держал кафе 16 лет и кормил полгорода. Потом пришли зумеры и всё посыпалось
27.05.2026 09:13:24 | Хабр

Есть ли жизнь на фазе: откуда берёт энергию умный выключатель без подключённой нейтрали
27.05.2026 09:09:29 | Хабр

Go Computer. История удивительного планшета из 1992 года с графическим интерфейсом
27.05.2026 09:01:29 | Хабр

Экономия GPU-часов в 2,5 раза, уход ИИ в бэкенд и новые стандарты агентских систем: ML-дайджест
27.05.2026 09:00:29 | Хабр

Смотреть все

НОВОСТИ

Reuters: В ЕС хотят ограничить право голоса будущих членов блока
10.06.2026 13:58:00 | Российская Газета

Telegraph: Британия поможет Украине создать европейскую альтернативу Patriot
10.06.2026 13:55:00 | Российская Газета

В Японии умер бывший глава МИД и экс-спикер парламента Ёхэй Коно
10.06.2026 13:53:25 | ТАСС

Девять БПЛА сбиты в ходе новой атаки на Москву
10.06.2026 13:52:42 | Life.ru

"Мощь и масштаб": производитель самолетов-рекордсменов отмечает 50 лет
10.06.2026 13:52:33 | ТАСС

В ЮАР полиция расследует массовое убийство в Йоханнесбурге
10.06.2026 13:52:00 | Российская Газета

Лавров: встреча с послами Британии, Франции и Германии состоится в МИД РФ
10.06.2026 13:51:58 | ТАСС

Землетрясение магнитудой 5,7 произошло в 33 км от побережья Приморского края
10.06.2026 13:51:51 | ТАСС

AstraZeneca проиграла спор по препарату для лечения сахарного диабета
10.06.2026 13:51:26 | Lenta.ru

Лавров: послы Британии, Франции и Германии просятся на встречу с замглавы МИД РФ
10.06.2026 13:51:26 | ТАСС

Россиянам рассказали о способах улучшить кредитную историю
10.06.2026 13:51:23 | Lenta.ru

Mediascope: 10,7 млн россиян посмотрели по ТВ пленарную сессию ПМЭФ с Путиным
10.06.2026 13:51:07 | ТАСС

Число сбитых вблизи Москвы БПЛА превысило 20
10.06.2026 13:50:52 | Коммерсантъ

Жирков будет болеть за иранцев на чемпионате мира по футболу
10.06.2026 13:49:54 | ТАСС

Офис, кофе и постоянная тревога: Зумеры всё чаще слышат от врачей диагноз СРК
10.06.2026 13:49:50 | Life.ru

В Курской области при атаке украинского БПЛА пострадал человек
10.06.2026 13:49:23 | ТАСС

Оценена опасность для жителей Подмосковья из-за нашествия гигантских пауков
10.06.2026 13:49:00 | Lenta.ru

BrahMos готово принять заказ на поставку ракет для ВС РФ
10.06.2026 13:48:56 | ТАСС

В ЛНР при атаке дрона ВСУ погиб 17-летний подросток, ещё один ранен
10.06.2026 13:48:54 | Life.ru

22-летний россиянин впечатлил главу Apple
10.06.2026 13:48:06 | Lenta.ru

Глава ISU сообщил о создании виртуального Зала славы организации
10.06.2026 13:47:39 | ТАСС

Лавров: ЕС всячески пытается "приподнять свою узнаваемость" в урегулировании на Украине
10.06.2026 13:47:02 | ТАСС

Лидером доверия среди украинцев по-прежнему остаётся Залужный, показал опрос
10.06.2026 13:46:25 | Life.ru

Опубликовано видео пожара в здании музея "Оборона Севастополя"
10.06.2026 13:46:16 | ТАСС

ГД поддержала законопроект о допотпуске таможенникам - ветеранам боевых действий
10.06.2026 13:46:11 | ТАСС

Суд Челябинска вынес приговор матери, прятавшей тело 5-летней дочери в диване
10.06.2026 13:45:48 | Life.ru

В Запорожской области при атаке БПЛА ВСУ пострадали пять человек
10.06.2026 13:45:22 | ТАСС

В Госдуме захотели определять ключевую ставку на фоне пропажи главы ЦБ
10.06.2026 13:45:13 | Lenta.ru

ГД вводит приоритетное зачисление в детские сады детей Героев России
10.06.2026 13:45:06 | ТАСС

Мамиашвили: возможные санкции не повлияют на мои гражданские ориентиры
10.06.2026 13:45:06 | ТАСС

Цены еще на один ключевой драгметалл упали до минимума
10.06.2026 13:45:05 | Lenta.ru

В Минске назначили в июле 26 дополнительных поездов
10.06.2026 13:45:00 | Российская Газета

ТАСС публикует видео последствий удара дрона ВСУ по автобусу в Мелитополе
10.06.2026 13:44:25 | ТАСС

Лавров анонсировал международный форум ОДКБ
10.06.2026 13:44:24 | ТАСС

ТАСС: Фидан обсудит в Болгарии урегулирование на Украине
10.06.2026 13:44:11 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro