От Triton Inference Server к NVIDIA Dynamo: как изменился inference для агентов в 2026

07.07.2026 09:41:48 | Хабр

Хабы: IT-инфраструктура, Машинное обучение, Искусственный интеллект, Ненормальное программирование

Привет, Хабр! Меня зовут Александра, я Data Scientist в компании Рафт. В этой статье я разберу NVIDIA Dynamo — новый open‑source фреймворк для инференса и проверю, действительно ли его KV‑маршрутизация ускоряет агентные сценарии.

С появлением агентных систем требования к инференсу современных ML‑моделей существенно изменились. Если раньше типичная нагрузка была предсказуемой — один запрос, один ответ и фиксированная цепочка шагов, — то в 2025–2026 годах всё стало по‑другому. Агентные системы теперь выполняют множество последовательных и параллельных вызовов моделей и инструментов в рамках одной задачи.

Triton Inference server, ставший стандартом для инференса различных моделей от компьютерного зрения до LLM, появился ещё до массового распространения агентных систем, поэтому его архитектура проектировалась под классический сценарий. В ответ NVIDIA представила новый open‑source инференс фреймворк Dynamo, заточенный под LLM, рассуждающие модели и агентов.

Подробнее

Читайте также

Praetorian: как мы сделали security-продукт для корпоративных чатов в Telegram и Max
07.07.2026 09:41:13 | Хабр

Шутка или кринж: как маркетологи хостинга ищут баланс, когда спорят о методе, но сходятся в цели
07.07.2026 09:40:33 | Хабр

[Перевод] Ленивые импорты в Python 3.15: как PEP 810 ускоряет старт приложений
07.07.2026 09:31:24 | Хабр

Я портировал Carmageddon в браузер
07.07.2026 09:30:38 | Хабр

xAI сменила название на SpaceXAI и перестала существовать как самостоятельная компания
07.07.2026 09:20:28 | vc.ru

Промышленность переходит от внедрений к управляемому развитию ИТ
07.07.2026 09:19:49 | Хабр

Как мы внедряли ИИ на 500 инженеров, а скорость не росла. Часть 1. Рост использования не равен ускорению разработки
07.07.2026 09:00:03 | Хабр

Шестидесятилетний заключённый и лабораторная крыса. F# на Godot. Часть 16. HUD
07.07.2026 08:57:03 | Хабр

ArchiMate 4.0: собираем первую модель с нуля за 6 шагов
07.07.2026 08:46:02 | Хабр

Open Source без контрибьюторов
07.07.2026 08:35:47 | Хабр

День 1595: индекс Мосбиржи опустился до минимального значения с февраля 2023 года
07.07.2026 08:35:03 | vc.ru

Теневой ИИ ест бюджет и данные: гайд по выбору корпоративной ИИ-платформы в 2026
07.07.2026 08:34:04 | Хабр

Как я навайбкодил каталог бесплатных парковок Петербурга и России
07.07.2026 08:31:00 | Хабр

К1921ВГ015 в Pandora EV UCCS: RISC-V в контроллере зарядных станций постоянного тока
07.07.2026 08:30:30 | Хабр

Списали сервер. Диск не стерли. Данные HR-отдела уехали на свалку
07.07.2026 08:28:58 | Хабр

Сколько стоит продвигать онлайн-сервис: бюджет по 6 каналам с расчётами
07.07.2026 08:28:54 | Хабр

[Перевод] Учёные впервые создали с нуля синтетическую клетку, которая растёт и делится
07.07.2026 08:17:59 | Хабр

Треть донатов российской молодежи в мобильных играх пришлась на шутеры
07.07.2026 08:12:47 | ferra.ru

Аккумулятор iPhone 18 Pro Max станет заметно больше
07.07.2026 08:05:42 | ferra.ru

Синхронизация объектов в S3‑хранилище с помощью MinIO CLI
07.07.2026 08:00:58 | Хабр

Как выбрать хелпдеск для техподдержки: полное сравнение систем
07.07.2026 08:00:40 | Хабр

Первая полностью автономная атака AI-агента: что произошло и как защититься
07.07.2026 08:00:18 | Хабр

Основы вёрстки для дизайнера. Часть 1. Введение: как дизайн превращается в живой сайт
07.07.2026 08:00:17 | Хабр

Управление ИБ: от сложной кастомизации к понятной унификации и централизации
07.07.2026 08:00:17 | Хабр

Kling: как пользоваться в России без VPN в 2026 году. Полная инструкция по оживлению фото, обзор и промпты
07.07.2026 07:58:19 | Хабр

Мы меняли LLM и промпты, а ошибка оказалась совсем в другом месте
07.07.2026 07:51:18 | Хабр

HamsterOS: как 32-битную ОС с GUI умудрились запихнуть на дискету
07.07.2026 07:49:07 | Хабр

Договор поставки ВПО: больше правок не вижу
07.07.2026 07:46:16 | Хабр

Автотесты: что есть 100% покрытие API? Часть 3
07.07.2026 07:45:53 | Хабр

Как мы пересобрали роль Delivery Manager’а в условиях ограниченных ресурсов и растущих требований
07.07.2026 07:01:13 | Хабр

Пять свежих книг о B2B-продажах: от работы с коллективным ЛПР в ИТ до карты пути клиента
07.07.2026 07:01:12 | Хабр

Управленческие антипаттерны, которые убивают компании в России
07.07.2026 07:00:53 | Хабр

Умный дом, в котором люди — не главные
07.07.2026 07:00:12 | Хабр

Как переехать с FatFS на LittleFS: опыт «КЕДР Солюшенс»
07.07.2026 07:00:12 | Хабр

Что плохой бензин делает с Вашим двигателем: физика детонации, кирпичный налёт на свечах и немного выживания
07.07.2026 06:56:14 | Хабр

Смотреть все

НОВОСТИ

Раскрыты последствия ночной атаки по Украине
11.07.2026 07:18:44 | Lenta.ru

Эксперт Албек: в России есть специалисты, способные возродить дирижаблестроение
11.07.2026 07:17:07 | ТАСС

В Белорусском музыкальном театре состоялась премьера балета "Соловей"
11.07.2026 07:16:00 | Российская Газета

ERR: Эстония разместит на границе с Россией военный городок
11.07.2026 07:15:38 | ТАСС

Ликсутов: 3D-принтер напечатал 1,5 тыс. деталей для велосипедов и скутеров
11.07.2026 07:14:11 | ТАСС

В Киеве объяснили невозможность производить ракеты для Patriot на Украине
11.07.2026 07:12:41 | Lenta.ru

The Telegraph: Нидерланды обвинили РФ в шпионаже за объектами НАТО через камеры
11.07.2026 07:11:31 | Life.ru

Азаров: жертвами политического террора на Украине стало уже более 150 человек
11.07.2026 07:11:10 | ТАСС

Небензя назвал способ прекратить героизацию нацистов на Украине
11.07.2026 07:10:36 | Lenta.ru

Боец Фил: перехватчик "Лис" с ИИ гарантированно поражает дроны ВСУ
11.07.2026 07:08:10 | ТАСС

Перевод себе более 200 тыс. рублей по СБП может быть признаком мошенничества
11.07.2026 07:05:47 | ТАСС

Патрушев отметил, что беспилотные корабли могут стать мощной ударной силой
11.07.2026 07:05:13 | ТАСС

Патрушев: Российские подлодки и фрегаты вызывают интерес у зарубежных партнеров
11.07.2026 07:04:47 | ТАСС

Космонавт Кикина показала подготовку экипажа перед отправкой на МКС
11.07.2026 07:04:23 | ТАСС

Мобилизованных украинцев учили на макетах, без реального оружия Запада
11.07.2026 07:03:06 | Life.ru

Патрушев: модернизация атомного подводного флота РФ является важнейшей задачей
11.07.2026 07:02:50 | ТАСС

Патрушев: РФ без мощного флота не сможет быть великой державой
11.07.2026 07:02:29 | ТАСС

Патрушев: Россия без мощного военного и торгового флота не сможет быть великой державой
11.07.2026 07:02:28 | ТАСС

Патрушев: если бы РФ пустила флот "на иголки", ее загнали бы вглубь континента
11.07.2026 07:02:18 | ТАСС

Патрушев: флот должен решать все задачи РФ и в мирное, и в военное время
11.07.2026 07:01:44 | ТАСС

Патрушев: флот РФ должен быть сбалансированным, способным решать весь комплекс задач
11.07.2026 07:01:44 | ТАСС

Патрушев: контроль над Малаккским, Ормузским проливами превратился в инструмент давления
11.07.2026 07:01:03 | ТАСС

Патрушев: контроль над морскими коммуникациями стал инструментом давления
11.07.2026 07:00:36 | ТАСС

Патрушев: роль фактора морской силы в мире стремительно растет
11.07.2026 07:00:36 | ТАСС

На Западе заявили о неспособности армии НАТО противостоять российским войскам
11.07.2026 07:00:17 | Lenta.ru

Серия взрывов прогремела в Киеве, ВС РФ нанесли удары по украинским объектам
11.07.2026 07:00:00 | Life.ru

Трамп заявил о тысяче нацеленных на Иран ракет
11.07.2026 06:57:08 | Lenta.ru

ВСУ атаковали четыре судна в Таганрогском заливе
11.07.2026 06:52:51 | Life.ru

Внук де Голля: во Франции и ФРГ есть политики, выступающие за диалог с Россией
11.07.2026 06:50:09 | ТАСС

ТАСС: попытавшиеся сбежать под Харьковом военные ВСУ подорвались на своих минах
11.07.2026 06:48:15 | ТАСС

На малой родине Лукашенко готовятся отметить праздник "Купалья"
11.07.2026 06:47:00 | Российская Газета

Бухгалтер Голубкова: В расчёт отпускных включат квартальные и годовые премии
11.07.2026 06:45:14 | Life.ru

Раскрыты подробности ночного удара ВСУ по российскому региону
11.07.2026 06:44:31 | Lenta.ru

ТАСС: под Черниговом ВСУ укрывают причастных к убийствам солдат офицеров
11.07.2026 06:42:48 | ТАСС

Microsoft выпустит июльские обновления безопасности для Windows 11 и продлит поддержку Windows 10
11.07.2026 06:38:48 | PlayGround.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro