От Triton Inference Server к NVIDIA Dynamo: как изменился inference для агентов в 2026

07.07.2026 09:41:48 | Хабр

Хабы: IT-инфраструктура, Машинное обучение, Искусственный интеллект, Ненормальное программирование

Привет, Хабр! Меня зовут Александра, я Data Scientist в компании Рафт. В этой статье я разберу NVIDIA Dynamo — новый open‑source фреймворк для инференса и проверю, действительно ли его KV‑маршрутизация ускоряет агентные сценарии.

С появлением агентных систем требования к инференсу современных ML‑моделей существенно изменились. Если раньше типичная нагрузка была предсказуемой — один запрос, один ответ и фиксированная цепочка шагов, — то в 2025–2026 годах всё стало по‑другому. Агентные системы теперь выполняют множество последовательных и параллельных вызовов моделей и инструментов в рамках одной задачи.

Triton Inference server, ставший стандартом для инференса различных моделей от компьютерного зрения до LLM, появился ещё до массового распространения агентных систем, поэтому его архитектура проектировалась под классический сценарий. В ответ NVIDIA представила новый open‑source инференс фреймворк Dynamo, заточенный под LLM, рассуждающие модели и агентов.

Подробнее

Читайте также

Praetorian: как мы сделали security-продукт для корпоративных чатов в Telegram и Max
07.07.2026 09:41:13 | Хабр

Шутка или кринж: как маркетологи хостинга ищут баланс, когда спорят о методе, но сходятся в цели
07.07.2026 09:40:33 | Хабр

[Перевод] Ленивые импорты в Python 3.15: как PEP 810 ускоряет старт приложений
07.07.2026 09:31:24 | Хабр

Я портировал Carmageddon в браузер
07.07.2026 09:30:38 | Хабр

xAI сменила название на SpaceXAI и перестала существовать как самостоятельная компания
07.07.2026 09:20:28 | vc.ru

Промышленность переходит от внедрений к управляемому развитию ИТ
07.07.2026 09:19:49 | Хабр

Как мы внедряли ИИ на 500 инженеров, а скорость не росла. Часть 1. Рост использования не равен ускорению разработки
07.07.2026 09:00:03 | Хабр

Шестидесятилетний заключённый и лабораторная крыса. F# на Godot. Часть 16. HUD
07.07.2026 08:57:03 | Хабр

ArchiMate 4.0: собираем первую модель с нуля за 6 шагов
07.07.2026 08:46:02 | Хабр

Open Source без контрибьюторов
07.07.2026 08:35:47 | Хабр

День 1595: индекс Мосбиржи опустился до минимального значения с февраля 2023 года
07.07.2026 08:35:03 | vc.ru

Теневой ИИ ест бюджет и данные: гайд по выбору корпоративной ИИ-платформы в 2026
07.07.2026 08:34:04 | Хабр

Как я навайбкодил каталог бесплатных парковок Петербурга и России
07.07.2026 08:31:00 | Хабр

К1921ВГ015 в Pandora EV UCCS: RISC-V в контроллере зарядных станций постоянного тока
07.07.2026 08:30:30 | Хабр

Списали сервер. Диск не стерли. Данные HR-отдела уехали на свалку
07.07.2026 08:28:58 | Хабр

Сколько стоит продвигать онлайн-сервис: бюджет по 6 каналам с расчётами
07.07.2026 08:28:54 | Хабр

[Перевод] Учёные впервые создали с нуля синтетическую клетку, которая растёт и делится
07.07.2026 08:17:59 | Хабр

Треть донатов российской молодежи в мобильных играх пришлась на шутеры
07.07.2026 08:12:47 | ferra.ru

Аккумулятор iPhone 18 Pro Max станет заметно больше
07.07.2026 08:05:42 | ferra.ru

Синхронизация объектов в S3‑хранилище с помощью MinIO CLI
07.07.2026 08:00:58 | Хабр

Как выбрать хелпдеск для техподдержки: полное сравнение систем
07.07.2026 08:00:40 | Хабр

Первая полностью автономная атака AI-агента: что произошло и как защититься
07.07.2026 08:00:18 | Хабр

Основы вёрстки для дизайнера. Часть 1. Введение: как дизайн превращается в живой сайт
07.07.2026 08:00:17 | Хабр

Управление ИБ: от сложной кастомизации к понятной унификации и централизации
07.07.2026 08:00:17 | Хабр

Kling: как пользоваться в России без VPN в 2026 году. Полная инструкция по оживлению фото, обзор и промпты
07.07.2026 07:58:19 | Хабр

Мы меняли LLM и промпты, а ошибка оказалась совсем в другом месте
07.07.2026 07:51:18 | Хабр

HamsterOS: как 32-битную ОС с GUI умудрились запихнуть на дискету
07.07.2026 07:49:07 | Хабр

Договор поставки ВПО: больше правок не вижу
07.07.2026 07:46:16 | Хабр

Автотесты: что есть 100% покрытие API? Часть 3
07.07.2026 07:45:53 | Хабр

Как мы пересобрали роль Delivery Manager’а в условиях ограниченных ресурсов и растущих требований
07.07.2026 07:01:13 | Хабр

Пять свежих книг о B2B-продажах: от работы с коллективным ЛПР в ИТ до карты пути клиента
07.07.2026 07:01:12 | Хабр

Управленческие антипаттерны, которые убивают компании в России
07.07.2026 07:00:53 | Хабр

Умный дом, в котором люди — не главные
07.07.2026 07:00:12 | Хабр

Как переехать с FatFS на LittleFS: опыт «КЕДР Солюшенс»
07.07.2026 07:00:12 | Хабр

Что плохой бензин делает с Вашим двигателем: физика детонации, кирпичный налёт на свечах и немного выживания
07.07.2026 06:56:14 | Хабр

Смотреть все

НОВОСТИ

Пять лет условно и штраф 765 млн рублей. Детали приговора Лерчек
31.07.2026 20:22:59 | ТАСС

В Польше пьяные украинцы на Audi с девушкой в багажнике врезались в дерево
31.07.2026 20:22:00 | Российская Газета

Блогер из Ачинска получила химический ожог губ, открыв мороженое зубами
31.07.2026 20:21:19 | Life.ru

Над регионами РФ за день сбили 223 украинских БПЛА
31.07.2026 20:21:07 | ТАСС

Генерал армии Евкуров рассказал об отказе 57-летнего штурмовика РФ переводиться в тыл
31.07.2026 20:21:07 | ТАСС

Трамп: США не давали согласия на производство Украиной Patriot
31.07.2026 20:21:00 | Российская Газета

На Крымском мосту с 4 августа ужесточают правила перевозки топлива
31.07.2026 20:19:21 | Life.ru

Посольство РФ в Таиланде продолжит следить за расследованием убийства россиян
31.07.2026 20:19:01 | ТАСС

Замгубернатора российского региона вступил в отряд «Барс»
31.07.2026 20:17:33 | Lenta.ru

Силы ПВО уничтожили беспилотник ВСУ, летевший на Москву
31.07.2026 20:17:17 | Life.ru

Трамп назвал следующую цель ударов по Ирану
31.07.2026 20:15:58 | Lenta.ru

Россиянам назвали способы снизить ипотечную ставку без льготных программ
31.07.2026 20:14:00 | Lenta.ru

Сын Сергея Ясинского назвал причину смерти актера
31.07.2026 20:13:30 | ТАСС

В Сербии ГЭС на Дунае работают на 20-30% мощности из-за низкого притока воды
31.07.2026 20:12:32 | ТАСС

РФ и Китай до конца года спланируют совместное строительство предприятия ЛПК
31.07.2026 20:12:00 | Российская Газета

Украинский блогер описал Испанию словами «просто кончилась» из-за миграционного кризиса
31.07.2026 20:11:25 | Lenta.ru

Защита Лерчек позже определится с решением об обжаловании приговора
31.07.2026 20:10:17 | Life.ru

Законность сдачи жилья в аренду «только славянам» оценили
31.07.2026 20:09:59 | Lenta.ru

Экс-сенатора Думу отпустили под домашний арест
31.07.2026 20:09:41 | ТАСС

Матч «Ростова» и ЦСКА в третьем туре РПЛ перенесли в Москву
31.07.2026 20:08:54 | Life.ru

Расправившийся с россиянкой в Сербии мужчина попал на видео
31.07.2026 20:08:18 | Lenta.ru

В центре Киева сторонники Федорова начали шествие
31.07.2026 20:07:55 | ТАСС

Вероятность рекордной жары на выходных в Москве оценили
31.07.2026 20:07:39 | Lenta.ru

Макрон поручил разместить самолеты и беспилотники на границе с Испанией
31.07.2026 20:07:35 | ТАСС

Найденные в морозильнике покойника останки опознали
31.07.2026 20:07:11 | Lenta.ru

В Тюмени на базе соцучреждений организовали точки "чистой воды"
31.07.2026 20:06:47 | ТАСС

В "Литресе" сняли с продажи книги "Код Дурова" и "Код Дурова 2"
31.07.2026 20:03:54 | ТАСС

Эксперт Лебедской-Тамбиев прокомментировал рост цен на метанол в Китае
31.07.2026 20:03:27 | ТАСС

МИД Южной Осетии: решение Науру не повлияет на развитие государственности
31.07.2026 20:02:35 | ТАСС

МИД Южной Осетии: отзыв Науру признания не повлияет на развитие государственности
31.07.2026 20:02:35 | ТАСС

Трамп ответил на вопрос о нежелании Зеленского идти на уступки
31.07.2026 20:02:34 | Lenta.ru

Одна из первых женщин-дирижеров в Италии готовится выступать в России
31.07.2026 20:01:25 | ТАСС

Правящая партия Словении призвала изучить варианты исключения Испании из Шенгена
31.07.2026 20:01:21 | ТАСС

Автобус с кировским «Факелом» столкнулся с фурой в Ивановской области
31.07.2026 20:01:09 | Life.ru

В Северной Македонии почтили память павших в Первую мировую российских солдат
31.07.2026 20:00:39 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro