Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Как мы заставили vLLM «лениться» под нагрузкой и спасли Time-to-First-Token

24.04.2026 04:19:58 | Хабр

Хабы: Серверная оптимизация, Python, Искусственный интеллект

Теги: Инфраструктура, LLM, Python, Прокси-серверы, Оптимизация

Когда GPU-кластер с vLLM задыхается от пиковых нагрузок, классический Rate Limiting и блокировка пользователей — это худший UX из возможных. А что если не отбрасывать запросы, а заставить саму языковую модель «сжать» свои промпты и стать предельно лаконичной, выдавая только самую суть? В этой статье мы разбираем архитектуру LazyGate — open-source шлюза, который в фоновом режиме читает метрики видеокарты и с помощью системных промптов динамически регулирует «болтливость» нейросети, кардинально спасая метрику Time-to-First-Token.

Читать далее

Подробнее

Читайте также

«Трубы» зовут — вспоминаем историю скринсейверов
24.04.2026 00:33:54 | Хабр

В России создали систему защиты электросетей от магнитных бурь
23.04.2026 23:32:02 | ferra.ru

В России разработали фотопленки для быстрых сенсоров
23.04.2026 23:21:26 | ferra.ru

Нейросеть для презентаций Gamma App — что умеет и как оплатить из России
23.04.2026 23:19:56 | Хабр

Microsoft предложит более 8000 сотрудников добровольно уйти на пенсию, чтобы не прибегать к массовым сокращениям и при этом снизить расходы — СМИ
23.04.2026 23:19:49 | vc.ru

Кинематическая задача из олимпиады «Росатом» за 2020/21 учебный год
23.04.2026 23:10:33 | Хабр

В России создадут спутники для прямой связи с обычными телефонами
23.04.2026 23:07:45 | ferra.ru

В Петербурге создали модульную архитектуру для систем промышленной автоматики
23.04.2026 23:04:59 | ferra.ru

Росстандарт подтвердил соответствие измерительных приборов НПП «Эталон»
23.04.2026 22:58:33 | ferra.ru

ИИ помог устранить 250 тысяч нарушений в Подмосковье
23.04.2026 22:55:42 | ferra.ru

Затратный драйвер роста, зачистка поляны для операторов связи, и просьбы АРПП
23.04.2026 22:49:13 | it-world

В России создали мобильного ИИ-помощника для анализа видео
23.04.2026 22:45:58 | ferra.ru

Шестибитный процессор с робкими картинками
23.04.2026 22:44:18 | Хабр

Apple закрыла уязвимость, через которую ФБР читала переписки
23.04.2026 22:27:42 | ferra.ru

Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д
23.04.2026 22:13:46 | Хабр

Meta* сократит примерно 8000 человек и не будет нанимать специалистов на 6000 открытых позиций
23.04.2026 22:00:41 | vc.ru

В России научились печатать железнодорожные колёса на 3D-принтере
23.04.2026 21:46:00 | ferra.ru

В Новосибирске изучили древние черепа с помощью КТ
23.04.2026 21:38:28 | ferra.ru

Google подтвердила проблему с Bluetooth на Pixel, но исправления пока не будет
23.04.2026 21:23:12 | ferra.ru

Корабль «Прогресс МС-34» доставит на МКС новый скафандр и VR-очки
23.04.2026 21:20:26 | ferra.ru

Модель транспортного полета пчелы
23.04.2026 21:08:15 | Хабр

Telegram-бот за вечер через Spec Kit: что AI-ассистированная разработка сделала с моим инженерным процессом
23.04.2026 20:31:08 | Хабр

В Екатеринбурге начали тестировать новые светофоры от «Швабе»
23.04.2026 20:26:35 | ferra.ru

Волшебный Koog. Пишем Kotlin-агент широкого профиля KMP
23.04.2026 20:21:55 | Хабр

«Атом» открыл предпродажи своих электромобилей — забронировать машину можно за 150 тысяч рублей
23.04.2026 20:07:54 | vc.ru

Российские ученые создадут систему «умного» света для растений
23.04.2026 19:54:44 | ferra.ru

СМИ: iPhone с камерой на 200 Мп выйдет не раньше 2028 года
23.04.2026 19:49:21 | ferra.ru

Восстановленные складные смартфоны Samsung оказались дороже новых
23.04.2026 19:23:11 | ferra.ru

Эволюция данных: генетический алгоритм в задаче классификации текстов
23.04.2026 19:05:42 | Хабр

ЕС введут санкции против «WB Банка», банка «Русский стандарт» и «Почта Банка»
23.04.2026 19:03:07 | vc.ru

[Перевод] Gemma 4: что это такое и какую модель выбрать?
23.04.2026 18:52:50 | Хабр

Kotlin vs Java: что выбрать для бэкенда?
23.04.2026 18:51:18 | Хабр

Когда внутренние ИТ-решения становятся драйвером роста корпорации
23.04.2026 18:00:00 | it-world

Как внутренние ИТ-решения становятся драйвером роста корпорации
23.04.2026 18:00:00 | it-world

Оформление сборок в Revit. Вращение видов, начало сборки
23.04.2026 17:53:01 | Хабр

Смотреть все

НОВОСТИ

Врач Макарова пояснила, когда ждать восстановления легких при отказе от курения
26.05.2026 03:38:03 | ТАСС

Слуцкий попросил Институт русского языка разъяснить значение слова "шринкфляция"
26.05.2026 03:37:01 | ТАСС

Степашин: Шрёдера не выберут переговорщиком из-за работы с Россией
26.05.2026 03:36:00 | Life.ru

РИА Новости: Солдаты ВСУ умирают от жажды на передовой
26.05.2026 03:34:00 | Российская Газета

Боец Сильвер: ВС РФ отразили крупный налет дронов ВСУ на брянском направлении
26.05.2026 03:31:36 | ТАСС

ТАСС: ВСУ используют ударные БПЛА для сброса FPV-дронов в Донбассе и Новороссии
26.05.2026 03:30:54 | ТАСС

На Украине призвали серьезно отнестись к предупреждению России
26.05.2026 03:30:19 | Lenta.ru

Тревел-блогерша съездила в Сочи и раскрыла траты на отдых в курортном городе
26.05.2026 03:30:17 | Lenta.ru

Самолет с главой МО Британии испытал трудности у российской границы
26.05.2026 03:28:10 | Lenta.ru

Вирусолог Альтштейн: риска эпидемии Эболы в России нет
26.05.2026 03:26:59 | ТАСС

В США заявили об отчаянном поведении администрации из-за Китая
26.05.2026 03:24:00 | Life.ru

В России объяснили нежелание Европы одобрять кандидатуру Шредера для переговоров
26.05.2026 03:23:00 | Lenta.ru

В России планируют задействовать ИИ для профилактики ДТП
26.05.2026 03:17:57 | ТАСС

В Забайкалье пропала девочка
26.05.2026 03:15:26 | ТАСС

Астроном Маслов: вблизи Земли в ближайший месяц пролетят не менее 20 астероидов
26.05.2026 03:12:40 | ТАСС

В Болгарии заговорили о нормализации отношений с Россией
26.05.2026 03:11:00 | Life.ru

Мирошник: приезд Тихановской в Киев показывает отношение Зеленского к Белоруссии
26.05.2026 03:08:22 | ТАСС

Fox News: США нанесли удары по целям на юге Ирана
26.05.2026 03:08:00 | Российская Газета

Закрытые окна не помогут: Названы 7 неожиданных мест, где прячется пыльца в квартире
26.05.2026 03:05:00 | Life.ru

"Известия": 85 операторов связи оштрафовали за невыдачу данных об IP-адресах
26.05.2026 03:04:57 | ТАСС

Свыше 80 операторов связи оштрафовали за непредоставление данных об IP-адресах
26.05.2026 03:04:57 | ТАСС

Двое пострадавших при атаке ВСУ на Рязань 15 мая остаются в больнице
26.05.2026 03:04:16 | ТАСС

Главы спецслужб СНГ обсудят совместную борьбу с активностью террористов
26.05.2026 03:04:15 | ТАСС

Донбасс и Новороссия проведут последние звонки в особом режиме
26.05.2026 03:03:36 | ТАСС

ТАСС: ВСУ практически выбиты из Воздвижевки на Запорожье
26.05.2026 03:01:39 | ТАСС

Мирошник: Зеленский становится "точкой сбора" нелегитимных марионеток Запада
26.05.2026 03:01:27 | ТАСС

Женщина похудела на 64 килограмма и пожаловалась на проблемы с сексом
26.05.2026 03:00:40 | Lenta.ru

Мужчина удивил секс-эксперта способностью достигать оргазма только при одном условии
26.05.2026 03:00:25 | Lenta.ru

Власти одной страны ЕС задумались над полным снятием санкций с России
26.05.2026 02:57:30 | Lenta.ru

Песков назвал условие сохранения низкой цены на газ для Армении
26.05.2026 02:56:00 | Lenta.ru

На Камчатке произошло ощущаемое землетрясение магнитудой 5,1
26.05.2026 02:55:09 | ТАСС

Немецкий «Вольфсбург» впервые вылетел из Бундеслиги
26.05.2026 02:55:00 | Life.ru

В МИД назвали условия России для возобновления контактов с Евросоюзом
26.05.2026 02:54:29 | РБК

Рособрнадзор назвал разрешенные предметы на ЕГЭ-2026
26.05.2026 02:53:32 | Lenta.ru

В Британии заявили о лежащем в руинах образе Нетаньяху
26.05.2026 02:53:00 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro