Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Как мы заставили vLLM «лениться» под нагрузкой и спасли Time-to-First-Token

24.04.2026 04:19:58 | Хабр

Хабы: Серверная оптимизация, Python, Искусственный интеллект

Теги: Инфраструктура, LLM, Python, Прокси-серверы, Оптимизация

Когда GPU-кластер с vLLM задыхается от пиковых нагрузок, классический Rate Limiting и блокировка пользователей — это худший UX из возможных. А что если не отбрасывать запросы, а заставить саму языковую модель «сжать» свои промпты и стать предельно лаконичной, выдавая только самую суть? В этой статье мы разбираем архитектуру LazyGate — open-source шлюза, который в фоновом режиме читает метрики видеокарты и с помощью системных промптов динамически регулирует «болтливость» нейросети, кардинально спасая метрику Time-to-First-Token.

Читать далее

Подробнее

Читайте также

«Трубы» зовут — вспоминаем историю скринсейверов
24.04.2026 00:33:54 | Хабр

В России создали систему защиты электросетей от магнитных бурь
23.04.2026 23:32:02 | ferra.ru

В России разработали фотопленки для быстрых сенсоров
23.04.2026 23:21:26 | ferra.ru

Нейросеть для презентаций Gamma App — что умеет и как оплатить из России
23.04.2026 23:19:56 | Хабр

Microsoft предложит более 8000 сотрудников добровольно уйти на пенсию, чтобы не прибегать к массовым сокращениям и при этом снизить расходы — СМИ
23.04.2026 23:19:49 | vc.ru

Кинематическая задача из олимпиады «Росатом» за 2020/21 учебный год
23.04.2026 23:10:33 | Хабр

В России создадут спутники для прямой связи с обычными телефонами
23.04.2026 23:07:45 | ferra.ru

В Петербурге создали модульную архитектуру для систем промышленной автоматики
23.04.2026 23:04:59 | ferra.ru

Росстандарт подтвердил соответствие измерительных приборов НПП «Эталон»
23.04.2026 22:58:33 | ferra.ru

ИИ помог устранить 250 тысяч нарушений в Подмосковье
23.04.2026 22:55:42 | ferra.ru

Затратный драйвер роста, зачистка поляны для операторов связи, и просьбы АРПП
23.04.2026 22:49:13 | it-world

В России создали мобильного ИИ-помощника для анализа видео
23.04.2026 22:45:58 | ferra.ru

Шестибитный процессор с робкими картинками
23.04.2026 22:44:18 | Хабр

Apple закрыла уязвимость, через которую ФБР читала переписки
23.04.2026 22:27:42 | ferra.ru

Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д
23.04.2026 22:13:46 | Хабр

Meta* сократит примерно 8000 человек и не будет нанимать специалистов на 6000 открытых позиций
23.04.2026 22:00:41 | vc.ru

В России научились печатать железнодорожные колёса на 3D-принтере
23.04.2026 21:46:00 | ferra.ru

В Новосибирске изучили древние черепа с помощью КТ
23.04.2026 21:38:28 | ferra.ru

Google подтвердила проблему с Bluetooth на Pixel, но исправления пока не будет
23.04.2026 21:23:12 | ferra.ru

Корабль «Прогресс МС-34» доставит на МКС новый скафандр и VR-очки
23.04.2026 21:20:26 | ferra.ru

Модель транспортного полета пчелы
23.04.2026 21:08:15 | Хабр

Telegram-бот за вечер через Spec Kit: что AI-ассистированная разработка сделала с моим инженерным процессом
23.04.2026 20:31:08 | Хабр

В Екатеринбурге начали тестировать новые светофоры от «Швабе»
23.04.2026 20:26:35 | ferra.ru

Волшебный Koog. Пишем Kotlin-агент широкого профиля KMP
23.04.2026 20:21:55 | Хабр

«Атом» открыл предпродажи своих электромобилей — забронировать машину можно за 150 тысяч рублей
23.04.2026 20:07:54 | vc.ru

Российские ученые создадут систему «умного» света для растений
23.04.2026 19:54:44 | ferra.ru

СМИ: iPhone с камерой на 200 Мп выйдет не раньше 2028 года
23.04.2026 19:49:21 | ferra.ru

Восстановленные складные смартфоны Samsung оказались дороже новых
23.04.2026 19:23:11 | ferra.ru

Эволюция данных: генетический алгоритм в задаче классификации текстов
23.04.2026 19:05:42 | Хабр

ЕС введут санкции против «WB Банка», банка «Русский стандарт» и «Почта Банка»
23.04.2026 19:03:07 | vc.ru

[Перевод] Gemma 4: что это такое и какую модель выбрать?
23.04.2026 18:52:50 | Хабр

Kotlin vs Java: что выбрать для бэкенда?
23.04.2026 18:51:18 | Хабр

Когда внутренние ИТ-решения становятся драйвером роста корпорации
23.04.2026 18:00:00 | it-world

Как внутренние ИТ-решения становятся драйвером роста корпорации
23.04.2026 18:00:00 | it-world

Оформление сборок в Revit. Вращение видов, начало сборки
23.04.2026 17:53:01 | Хабр

Смотреть все

НОВОСТИ

Кипрский журналист Христофору высмеял слова Каллас о санкциях
10.06.2026 10:38:14 | Life.ru

НСПК: на одного человека в РФ в среднем приходится две активные карты "Мир"
10.06.2026 10:38:09 | ТАСС

Основатель «Русского продукта» Миримская вышла на свободу на 17 лет раньше срока
10.06.2026 10:37:33 | Life.ru

Захарова назвала атаку ВСУ на панораму "Оборона Севастополя" варварским актом
10.06.2026 10:37:20 | ТАСС

Британка Гослинг снялась с выборов президента FIS
10.06.2026 10:36:38 | ТАСС

Иран выступил с предупреждением после новых ударов США
10.06.2026 10:35:21 | Lenta.ru

ФСБ показала кадры задержания главы "Экологистики" за неуплату налогов
10.06.2026 10:35:02 | ТАСС

В Москве водителей призвали в жару не оставлять детей и животных в машинах
10.06.2026 10:35:02 | ТАСС

Fars: ВС Ирана поразили 70% намеченных целей при ответных ударах по базам США
10.06.2026 10:34:59 | ТАСС

Ивлев рассказал о задачах тренера Шварца в "Динамо"
10.06.2026 10:34:56 | ТАСС

Краснов отметил эффективность внедрения современных IT-решений в судопроизводство
10.06.2026 10:34:19 | ТАСС

Додик: Республика Сербская хочет в ЕС
10.06.2026 10:34:11 | ТАСС

В ГД после удара ВСУ по Севастополю назвали Зеленского "реинкарнацией Гитлера"
10.06.2026 10:33:08 | ТАСС

Названы четыре продукта для профилактики возрастной потери памяти
10.06.2026 10:33:00 | Lenta.ru

Раскрыта сумма ущерба по делу задержанного в Москве мусорного монополиста
10.06.2026 10:32:15 | Lenta.ru

Минтранс видит интерес к Северному морскому пути
10.06.2026 10:31:05 | ТАСС

В Беларуси объявлена тренировка территориальной обороны страны
10.06.2026 10:31:00 | Российская Газета

«Кровью краплёные колоды»: Захарова разнесла Зеленского за сравнение людей с игральными картами
10.06.2026 10:31:00 | Life.ru

Сальдо: Ряды ВСУ на правом берегу Днепра пополняют иностранные наёмники
10.06.2026 10:30:54 | Life.ru

Российские регионы всю ночь отражали массированный налет беспилотников. Разрушен один из главных символов Севастополя
10.06.2026 10:30:40 | Lenta.ru

Суд смягчил приговор бывшему заместителю начальника горУМВД Новосибирска
10.06.2026 10:29:39 | Коммерсантъ

В Чувашии отменили опасность беспилотников
10.06.2026 10:28:44 | ТАСС

Посевную кампанию в Новосибирской области завершат до конца недели
10.06.2026 10:28:36 | ТАСС

В Москве для 26 пар проведут церемонии бракосочетания на колесе обозрения
10.06.2026 10:28:11 | ТАСС

В Южной Корее решили расформировать Командование военной контрразведки
10.06.2026 10:28:00 | Российская Газета

Верховные суды РФ и Белоруссии впервые подписали меморандум о взаимопонимании
10.06.2026 10:27:29 | ТАСС

Захарова: РФ рассчитывает на возвращение сторон конфликта на Ближнем Востоке к дипломатии
10.06.2026 10:27:17 | ТАСС

Spiegel: Mercedes намерен наладить сотрудничество с снабжающей Киев компанией
10.06.2026 10:27:02 | ТАСС

Названы способы улучшить интернет дома
10.06.2026 10:26:59 | Lenta.ru

Минобороны: В Нижегородской области отразили атаку БПЛА
10.06.2026 10:26:49 | Life.ru

В Константиновке ухудшается положение ВСУ
10.06.2026 10:26:24 | Life.ru

Московский джазовый фестиваль открыла премьера спектакля "Леонид Утесов. Спасибо, сердце!"
10.06.2026 10:25:59 | ТАСС

Посольство США ограничило перемещение дипломатов на территории Израиля
10.06.2026 10:25:52 | ТАСС

В Дагестане после взрыва на газопроводе завели дело
10.06.2026 10:24:36 | ТАСС

В зоне поисков семьи Усольцевых обнаружили потерянные вещи
10.06.2026 10:24:27 | Коммерсантъ

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro