Погоди переезжать на дешёвую модель: считаем effective cost с учётом кэша

10.03.2026 08:00:22 | Хабр

Хабы: Блог компании Битрикс24, Искусственный интеллект

В сообществе часто пишут о том что KV-cache hit rate - один из главных приоритетов при оптимизации стоимости. Manus в той-самой статье про context engineering и своего агента, TikTok в кейсе про оптимизацию AI-агента для тестирования, AiSDR в статье про перестройку шаблонов генерации писем.
Стало интересно стало: а как это считается у MaaS-провайдеров? Я знаком со скидкой за кэш токены, но никогда не садился детально разбирать экономику кэша у OpenAI, Anthropic, Gemini, DeepSeek - с цифрами, сценариями, сравнением.

Сел считать. Первый же результат удивил: два запроса к одной и той же модели с одним и тем же объёмом токенов - разница в цене в 3 раза. Зависит только от того, попали ли токены в кэш.

Про то как KV-кэш устроен внутри - уже хорошо написано на Хабре, ссылки в конце. Здесь только про деньги и токены: как считать реальную стоимость и почему прайс-лист для этого не подходит только прайс-лист.

Подробнее

Читайте также

Новогодние страдания, или как я сдавал CPTS в 2026 году
10.03.2026 08:00:21 | Хабр

Как защититься от удаления в S3 с помощью Object Lock / WORM
10.03.2026 08:00:20 | Хабр

Project Valhalla: революция в памяти Java
10.03.2026 08:00:19 | Хабр

Stitches закрыт — да здравствует StyleX
10.03.2026 07:56:56 | Хабр

[Перевод] Разработчики должны быть слегка циничными
10.03.2026 07:45:53 | Хабр

Computer Vision модель в борьбе с галлюцинациями LLM. Оправданный оверинжиниринг?
10.03.2026 07:30:15 | Хабр

Почему поддержка знает о проблемах продукта больше, чем разработка
10.03.2026 07:28:59 | Хабр

Пять человек в компании должны сказать Ок, чтобы сменить мессенджер. Вот что убедит каждого из них
10.03.2026 07:27:00 | Хабр

Выход новых устройств Apple расстянется на весь год
10.03.2026 07:01:47 | ferra.ru

LLM Inside: выжимаем максимум из Decoder Attention на GPU
10.03.2026 07:01:15 | Хабр

Blueprint VM изнутри: ~80 инструкций, которые двигают вашу игру
10.03.2026 07:00:43 | Хабр

Время в BPMN
10.03.2026 07:00:43 | Хабр

Мифы про REST API. Часть 2
10.03.2026 06:59:15 | Хабр

Поколение JSON: цена удобных абстракций и упадок культуры ресурсов
10.03.2026 06:47:41 | Хабр

Наблюдаемость LLM-агентов: Часть 2. Разработка и отладка графа
10.03.2026 06:37:27 | Хабр

Простые проблемы, которые мы решали в ИИ-стартапе
10.03.2026 06:33:37 | Хабр

Интеграция «Честного знака» или законы Мерфи в разработке
10.03.2026 06:22:34 | Хабр

[Перевод] Сэм Альтман собрал больше денег, чем ВВП 140 стран. Их хватило на два года. Что будет дальше?
10.03.2026 06:22:27 | Хабр

Почему мы ненавидим, но так любим нейросети
10.03.2026 06:18:28 | Хабр

«Принеси-подай, отвали и не мешай»: что такое агентность и почему менеджеру её не хватает
10.03.2026 06:00:22 | Хабр

AI-агент с долгосрочной памятью: строю личного аналитика с Claude Code
10.03.2026 05:59:05 | Хабр

Мониторинг частоты упоминаний бренда в ChatGPT и Яндекс Алисе, карта ПДн вашего бизнеса — и еще 8 российских стартапов
10.03.2026 05:45:20 | Хабр

Воплощение it проекта в реальном производстве. Практический кейс из металлургии
10.03.2026 05:33:53 | Хабр

Конструктор табличных значений, UNNEST(), TABLE(), STRING_SPLIT(), JSON_TABLE() — замена временным таблицам в SQL
10.03.2026 05:28:41 | Хабр

Как уместить опыт в одностраничный PDF
10.03.2026 05:16:14 | Хабр

9 событий в мире ИИ, которые завирусились в соцсетях 24 февраля — 9 марта 2026 года
10.03.2026 05:10:42 | Хабр

Unreal Engine 5.4 + C++ + MacOS Tahoe + Android build = Build Successful
10.03.2026 03:15:56 | Хабр

Концепция кастомизированных ИИ-агентов как «виртуальных аватаров» человека
10.03.2026 01:19:21 | Хабр

Контракт вместо настроек: чего я жду от OLTP-БД
10.03.2026 01:07:46 | Хабр

Тёмная сторона крипты, аномалии и управление тысячами роботов
10.03.2026 00:24:42 | Хабр

Стики с эффектом Холла для неоригинального контроллера xbox 360
09.03.2026 22:00:32 | Хабр

Как построить DWDM-сеть в России
09.03.2026 21:57:55 | Хабр

От бронзы к золоту. Методика управления ETL-процессами через сквозную нумерацию пакетов с данными
09.03.2026 21:16:53 | Хабр

Lexometrica Ground Truth: бенчмарк LLM по российскому праву
09.03.2026 21:15:27 | Хабр

Lenovo показала концепт портативной консоли со складным экраном
09.03.2026 21:01:48 | ferra.ru

Смотреть все

НОВОСТИ

На Западе допустили стратегическую победу Ирана над США
10.06.2026 09:42:21 | Lenta.ru

Ждать ли звонка из Москвы? Кремль прокомментировал возможный сюрприз к юбилею Трампа
10.06.2026 09:41:49 | Life.ru

Ракетная атака на Чебоксары. Главное
10.06.2026 09:38:46 | ТАСС

В РСТ опровергли резкое падение спроса на туры в Крым из-за ситуации с бензином
10.06.2026 09:38:32 | ТАСС

Стало известно о возможном применении Украиной новой ракеты для удара по Чебоксарам
10.06.2026 09:38:06 | Lenta.ru

"Кион музыка": прослушивания Майкла Джексона выросли на 44% после фильма о нем
10.06.2026 09:36:21 | ТАСС

Минтранс обсуждает возможность поддержки РЖД в объеме 65 млрд рублей
10.06.2026 09:35:44 | ТАСС

В России впервые пациенту поставили устройство длительной поддержки сердца
10.06.2026 09:35:27 | ТАСС

Свыше 30 членов ИГ задержали в ходе спецоперации на юге Кыргызстана
10.06.2026 09:35:00 | Российская Газета

40-летняя Меган Фокс порадовала фанатов съемкой в обнажающем грудь наряде
10.06.2026 09:34:23 | Lenta.ru

Каллас объяснила причину отказа ЕС от ужесточения санкций против Израиля
10.06.2026 09:33:58 | Lenta.ru

Песков не стал говорить, будет ли Путин поздравлять Трампа с юбилеем
10.06.2026 09:33:49 | ТАСС

Варнава получает от 2,5 млн за корпоративы за рубежом и выдвигает жёсткий райдер
10.06.2026 09:33:31 | Life.ru

Варнава получает от 2,5 млн за корпоративы за рубежом и выдвигает жёстким райдер
10.06.2026 09:33:31 | Life.ru

Военкоры раскрыли подробности массированной ночной атаки по Украине
10.06.2026 09:33:19 | Lenta.ru

Португалия дала визы всем российским гребцам, обратившимся в посольство
10.06.2026 09:32:47 | ТАСС

«Каролина» сравняла счет в финале Кубка Стэнли
10.06.2026 09:32:23 | Lenta.ru

Стало известно о раненых при ударе ракет по городу России в тысяче километров от границы
10.06.2026 09:30:37 | Lenta.ru

Врач описал изменения в организме при употреблении одного яйца в день
10.06.2026 09:30:31 | Lenta.ru

Концерт солистов оркестра народных инструментов прошел в Русском доме в Риме
10.06.2026 09:30:22 | ТАСС

Минтранс начнет планирование инвестпрограммы РЖД по итогам полугодия
10.06.2026 09:30:19 | ТАСС

Мощные европейцы и давние лидеры Южной Америки. Главные фавориты ЧМ-2026
10.06.2026 09:30:00 | ТАСС

Раненый украинец сам вытащил осколки из тела из-за страха мобилизации
10.06.2026 09:30:00 | Российская Газета

В Камбодже заявили, что привержены достижению постоянного мира с Таиландом
10.06.2026 09:29:26 | ТАСС

При атаке БПЛА на Самарскую область пострадали три человека
10.06.2026 09:29:09 | Коммерсантъ

На Урале установили отцовство дочери участника спецоперации после его гибели
10.06.2026 09:28:54 | ТАСС

Москвичам пообещали жару и дожди
10.06.2026 09:28:13 | Lenta.ru

FT: авиакомпании могут сократить число рейсов зимой из-за роста цен на топливо
10.06.2026 09:27:49 | ТАСС

Зарплаты от 400 тысяч: Названа вакансия с самым высоким доходом в России
10.06.2026 09:25:13 | Life.ru

МИД Ирана призвал военных США покинуть страны Ближнего Востока
10.06.2026 09:24:33 | ТАСС

В Самарской области три человека пострадали при атаке БПЛА
10.06.2026 09:23:20 | Life.ru

Педофил пристал к первокласснику в вагоне метро Москвы
10.06.2026 09:21:53 | Lenta.ru

Раскрыта позиция Трампа по сделке с Ираном
10.06.2026 09:21:41 | Lenta.ru

Обязательные прививки для каждого жителя России назвали в Роспотребнадзоре
10.06.2026 09:21:25 | Lenta.ru

Жители Нарвы не смогут увидеть концерт 12 июня в Ивангороде
10.06.2026 09:19:35 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro