Один timestamp, один round-robin, один плавающий список tools: 7 анти-паттернов, которые убивают префикс кэша LLM

30.03.2026 08:00:11 | Хабр

Хабы: Блог компании Битрикс24, Искусственный интеллект

Кэширование включено, а cached_tokens всё равно не растут? Часто проблема не в модели и не в провайдере. Hit rate обычно режут совсем другие вещи: timestamp в начале запроса, плавающий порядок tools, разные реплики, RAG с нестабильным порядком чанков и слишком короткая жизнь KV-кэша. В статье разбираю 7 типовых анти-паттернов, которые убивают prefix_cache_hit в проде.

Подробнее

Читайте также

Парализованный мужчина управляет World of Warcraft мыслью: сто дней с нейроинтерфейсом Neuralink
30.03.2026 08:00:09 | Хабр

День 1496: число магазинов «в целом по стране» начало сокращаться впервые за 25 лет
30.03.2026 07:55:53 | vc.ru

Да-машина: почему ваш AI никогда не скажет что код — отстой
30.03.2026 07:51:09 | Хабр

Руководство по использованию функции ограничения скорости обработки входящих запросов в ASP.NET Core
30.03.2026 07:47:28 | Хабр

Команда — самолет и это не просто метафора
30.03.2026 07:46:01 | Хабр

[Перевод] Как ИИ попал в нашу питьевую воду. И почему никто не знает, что с этим делать
30.03.2026 07:42:26 | Хабр

[Перевод] Структуры данных на практике. Глава 11: Префиксные деревья и базисные деревья
30.03.2026 07:33:49 | Хабр

11 ошибок предпроектного обследования 1С, которые превращают внедрение в арбитраж
30.03.2026 07:30:39 | Хабр

Где была Алиса Селезнева. Искал ее адреса с помощью Python
30.03.2026 07:17:05 | Хабр

Как получить реальные данные с прода для тестирования, не сесть в тюрьму и не получить по шапке от службы безопасности
30.03.2026 07:00:55 | Хабр

Kimi K2.5 наступает на пятки GPT-5.4. И работает из России без VPN
30.03.2026 06:55:51 | Хабр

Как агенты видят веб-страницы
30.03.2026 06:45:24 | Хабр

Apache Superset — боремся с фильтрами по дате. Часть 2
30.03.2026 06:44:45 | Хабр

Неделя 3: 216 пользователей, UX-чистка и первый фидбек с Запада
30.03.2026 06:30:38 | Хабр

Нам нужен сотрудник с горящими глазами
30.03.2026 06:18:33 | Хабр

Сжатый свет: обманываем Гейзенберга и наблюдаем черные дыры
30.03.2026 06:06:44 | Хабр

О развитии и воспитании детей в цифровую эпоху: про разговоры, контакт, доверие и детские шутки
30.03.2026 05:57:31 | Хабр

Как я воспитываю и развиваю детей: про разговоры, контакт, доверие и детские шутки
30.03.2026 05:57:31 | Хабр

Делегаты и Лямбды: От тайного знания к повседневному инструменту
30.03.2026 05:36:28 | Хабр

Если ваш админ — самурай или «обнять и плакать»
30.03.2026 05:18:15 | Хабр

ИИстерия — а есть ли она?
30.03.2026 04:56:52 | Хабр

[Перевод] Долг понимания — скрытая цена кода, сгенерированного искусственным интеллектом
30.03.2026 04:55:36 | Хабр

Кибероттепель в Москве, а также слухи о грядущих AGI-моделях от OpenAI & Anthropic
30.03.2026 04:52:16 | Хабр

Российская ракета «Старт-1М» выведет на орбиту до 500 кг полезной нагрузки
29.03.2026 23:59:07 | ferra.ru

«Не может быть платежным средством»: почему цифровой рубль лучше криптовалюты
29.03.2026 23:55:56 | ferra.ru

DIY: создание новых компнентов в LibrePCB
29.03.2026 23:20:11 | Хабр

Россияне смогут обращаться в УК через чат-бот в мессенджере MAX
29.03.2026 22:58:29 | ferra.ru

Пермские ученые повысили КПД оптоволоконной передачи энергии
29.03.2026 22:10:45 | ferra.ru

ByteDance усилила защиту видеомодели Seedance 2.0 перед глобальным запуском
29.03.2026 21:26:43 | ferra.ru

Тест-систему для раннего выявления рака эндометрия создали в России
29.03.2026 21:17:12 | ferra.ru

Как мы сломали индекс обитаемости экзопланет: Парадокс ESI, Physics-Informed ML и 9600 фейковых «Земель»
29.03.2026 20:56:52 | Хабр

В Мурманске создадут центр по изучению и сохранению морских млекопитающих
29.03.2026 20:36:03 | ferra.ru

Роспотребнадзор не выявил новый вариант коронавируса «Цикада» в России
29.03.2026 20:28:49 | ferra.ru

IT-Weekly: новое поколение ИИ-помощника ГигаЧат, «Базис» представил Basis Dynamix Enterprise
29.03.2026 20:25:09 | it-world

Наконец-то нашел Android Service своей мечты после того, как потерял его 13 лет назад
29.03.2026 20:18:44 | Хабр

Смотреть все

НОВОСТИ

Командир Агалу: ВС РФ помогают населению в Константиновке с помощью БПЛА
07.07.2026 05:49:22 | ТАСС

Россиянка побывала в Мексике и описала страну фразой «ожирение — огромная проблема»
07.07.2026 05:46:07 | Lenta.ru

Колокольцев прибыл в Нью-Йорк на саммит полиции стран ООН
07.07.2026 05:46:00 | Life.ru

В Приамурье завели дело в отношении матери, жестоко убившей своего ребенка
07.07.2026 05:45:40 | ТАСС

В России собрали летный образец высокоточного спутника ДЗЗ
07.07.2026 05:42:07 | ТАСС

Во Франции раскрыли планы по Украине на предстоящем саммите в Анкаре
07.07.2026 05:40:12 | Lenta.ru

Лукаку сравнялся с Марадоной по голам на чемпионатах мира по футболу
07.07.2026 05:40:12 | ТАСС

Небензя призвал не ждать реакции ООН на теракт в Старобельске
07.07.2026 05:39:17 | Lenta.ru

В ГД предложили предоставить гражданским саперам статус ветерана боевых действий
07.07.2026 05:38:53 | ТАСС

Результаты экспертизы о причинах смерти ребенка в Ачинске будут готовы в течение месяца
07.07.2026 05:38:39 | ТАСС

На Камчатке спрогнозировали возможность выпадения пепла от вулкана в жилом округе
07.07.2026 05:34:10 | ТАСС

Кличко обвинил власти Украины в срыве плана обороны Киева
07.07.2026 05:33:00 | Lenta.ru

В России упростили оформление пенсий с 7 июля
07.07.2026 05:33:00 | Life.ru

Епископ Гедеон: на Украине многие переходят из греко-католической церкви в УПЦ
07.07.2026 05:31:38 | ТАСС

Юрист высказался о праве работодателей устраивать шестидневку
07.07.2026 05:30:51 | Lenta.ru

Стало известно о новом плане НАТО в отношении России и Трампа
07.07.2026 05:30:04 | Lenta.ru

Россияне с выским доходом раскрыли свой секрет
07.07.2026 05:30:00 | Lenta.ru

Инфантино безоговорочно осуждает расистские высказывания в адрес Мбаппе
07.07.2026 05:28:40 | ТАСС

Инфантино заявил, что безоговорочно осуждает расистские высказывания сенатора из Парагвая
07.07.2026 05:28:40 | ТАСС

Командир Кир: в Копанях уничтожен командный пункт ВСУ
07.07.2026 05:26:55 | ТАСС

21-летнюю тик-токершу застрелили в Lamborghini во Флориде
07.07.2026 05:21:00 | Life.ru

Одна страна заявила о высоком риске военного вторжения США
07.07.2026 05:20:31 | Lenta.ru

Fox: во Флориде инфлюэнсера застрелили в машине
07.07.2026 05:18:21 | ТАСС

Испытания детской вакцины против коклюша планируют завершить к осени
07.07.2026 05:15:01 | ТАСС

АЦ РИР: 50% агентств получает заказ на создание рекламных материалов с помощью ИИ
07.07.2026 05:11:31 | ТАСС

Группировка "Восток" за сутки уничтожила 38 БПЛА самолетного типа ВСУ
07.07.2026 05:10:19 | ТАСС

Командир Гриф: украинских пограничников бросили на оборону Копаней
07.07.2026 05:09:08 | ТАСС

В СФ предложили ввести целевые квоты для бесплатного второго высшего образования
07.07.2026 05:08:57 | ТАСС

FPV-дроны разрушают логистические цепочки ВСУ возле Константиновки
07.07.2026 05:07:15 | ТАСС

Против олимпийской чемпионки Исинбаевой открыли производство о взыскании долгов
07.07.2026 05:07:00 | ТАСС

США после скандала разгромно проиграли Бельгии и покинули домашний ЧМ
07.07.2026 05:06:09 | Life.ru

Группировка "Север" за сутки уничтожила 79 БПЛА самолетного типа и танк М-55 ВСУ
07.07.2026 05:05:59 | ТАСС

Командир Гриф: ВСУ побежали из Копаней сразу после захода бойцов ВС РФ
07.07.2026 05:04:39 | ТАСС

Командир Гриф: ВСУ побежали из Копаней сразу после захода бойцов "Востока"
07.07.2026 05:04:39 | ТАСС

Группировка "Север" уничтожила блиндажи с живой силой ВСУ в Харьковской области
07.07.2026 05:04:33 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro