TokenRouter: непрерывная маршрутизация LLM по токенам

10.11.2026 07:51:37 | Хабр

Хабы: Блог компании МТС, Искусственный интеллект, Машинное обучение, Open source

Привет, Хабр! Сегодня расскажу, как можно эффективно использовать в своей системе сразу несколько LLM.

ИИ решает самые разные задачи: анализирует тексты, готовит контент, обрабатывает изображения, генерирует видео. Но одна LLM все запросы не тянет. Точнее, тянет, только результат получается хуже, чем мог бы. Технические запросы, такие как расчет гармоник, разбор спецификаций, интерпретацию стандартов — лучше поручать специализированной модели, которая уверенно работает с формулами и таблицами. А общие — универсальной.

Для эффективного направления запросов используется маршрутизация LLM, и здесь речь идет не о сетевом трафике. Запросы перераспределяются между разными моделями, сдвигая границу Парето «стоимость–качество» обслуживания. В результате можно выбрать, какую именно модель нам будет выгоднее использовать в каждом конкретном случае.

В продакшне давно используют маршрутизацию на уровне сессии или запроса. Но многие исследователи утверждают, что заметный выигрыш и по эффективности, и по качеству даст именно маршрутизация на уровне токенов.

Однако эффективное обслуживание токен-уровневого маршрутизированного инференса создает значительные трудности для существующих систем. Текущие системы страдают от серьезной десинхронизации шагов и частых задержек допуска в батч при использовании маршрутизации на уровне токенов, да и реализовать это трудно.

В этом материале рассмотрим работу TokenRouter: Efficient Serving System for Token-Level LLM Routing. В ней описывается система обслуживания LLM, в основе которой заложен принцип «программирование с точки зрения запроса, исполнения с точки зрения модели».

Подробнее

Читайте также