Погоди переезжать на дешёвую модель: считаем effective cost с учётом кэша

10.03.2026 08:00:22 | Хабр

Хабы: Блог компании Битрикс24, Искусственный интеллект

В сообществе часто пишут о том что KV-cache hit rate - один из главных приоритетов при оптимизации стоимости. Manus в той-самой статье про context engineering и своего агента, TikTok в кейсе про оптимизацию AI-агента для тестирования, AiSDR в статье про перестройку шаблонов генерации писем.
Стало интересно стало: а как это считается у MaaS-провайдеров? Я знаком со скидкой за кэш токены, но никогда не садился детально разбирать экономику кэша у OpenAI, Anthropic, Gemini, DeepSeek - с цифрами, сценариями, сравнением.

Сел считать. Первый же результат удивил: два запроса к одной и той же модели с одним и тем же объёмом токенов - разница в цене в 3 раза. Зависит только от того, попали ли токены в кэш.

Про то как KV-кэш устроен внутри - уже хорошо написано на Хабре, ссылки в конце. Здесь только про деньги и токены: как считать реальную стоимость и почему прайс-лист для этого не подходит только прайс-лист.

Подробнее

Читайте также

Новогодние страдания, или как я сдавал CPTS в 2026 году
10.03.2026 08:00:21 | Хабр

Как защититься от удаления в S3 с помощью Object Lock / WORM
10.03.2026 08:00:20 | Хабр

Project Valhalla: революция в памяти Java
10.03.2026 08:00:19 | Хабр

Stitches закрыт — да здравствует StyleX
10.03.2026 07:56:56 | Хабр

[Перевод] Разработчики должны быть слегка циничными
10.03.2026 07:45:53 | Хабр

Computer Vision модель в борьбе с галлюцинациями LLM. Оправданный оверинжиниринг?
10.03.2026 07:30:15 | Хабр

Почему поддержка знает о проблемах продукта больше, чем разработка
10.03.2026 07:28:59 | Хабр

Пять человек в компании должны сказать Ок, чтобы сменить мессенджер. Вот что убедит каждого из них
10.03.2026 07:27:00 | Хабр

Выход новых устройств Apple расстянется на весь год
10.03.2026 07:01:47 | ferra.ru

LLM Inside: выжимаем максимум из Decoder Attention на GPU
10.03.2026 07:01:15 | Хабр

Blueprint VM изнутри: ~80 инструкций, которые двигают вашу игру
10.03.2026 07:00:43 | Хабр

Время в BPMN
10.03.2026 07:00:43 | Хабр

Мифы про REST API. Часть 2
10.03.2026 06:59:15 | Хабр

Поколение JSON: цена удобных абстракций и упадок культуры ресурсов
10.03.2026 06:47:41 | Хабр

Наблюдаемость LLM-агентов: Часть 2. Разработка и отладка графа
10.03.2026 06:37:27 | Хабр

Простые проблемы, которые мы решали в ИИ-стартапе
10.03.2026 06:33:37 | Хабр

Интеграция «Честного знака» или законы Мерфи в разработке
10.03.2026 06:22:34 | Хабр

[Перевод] Сэм Альтман собрал больше денег, чем ВВП 140 стран. Их хватило на два года. Что будет дальше?
10.03.2026 06:22:27 | Хабр

Почему мы ненавидим, но так любим нейросети
10.03.2026 06:18:28 | Хабр

«Принеси-подай, отвали и не мешай»: что такое агентность и почему менеджеру её не хватает
10.03.2026 06:00:22 | Хабр

AI-агент с долгосрочной памятью: строю личного аналитика с Claude Code
10.03.2026 05:59:05 | Хабр

Мониторинг частоты упоминаний бренда в ChatGPT и Яндекс Алисе, карта ПДн вашего бизнеса — и еще 8 российских стартапов
10.03.2026 05:45:20 | Хабр

Воплощение it проекта в реальном производстве. Практический кейс из металлургии
10.03.2026 05:33:53 | Хабр

Конструктор табличных значений, UNNEST(), TABLE(), STRING_SPLIT(), JSON_TABLE() — замена временным таблицам в SQL
10.03.2026 05:28:41 | Хабр

Как уместить опыт в одностраничный PDF
10.03.2026 05:16:14 | Хабр

9 событий в мире ИИ, которые завирусились в соцсетях 24 февраля — 9 марта 2026 года
10.03.2026 05:10:42 | Хабр

Unreal Engine 5.4 + C++ + MacOS Tahoe + Android build = Build Successful
10.03.2026 03:15:56 | Хабр

Концепция кастомизированных ИИ-агентов как «виртуальных аватаров» человека
10.03.2026 01:19:21 | Хабр

Контракт вместо настроек: чего я жду от OLTP-БД
10.03.2026 01:07:46 | Хабр

Тёмная сторона крипты, аномалии и управление тысячами роботов
10.03.2026 00:24:42 | Хабр

Стики с эффектом Холла для неоригинального контроллера xbox 360
09.03.2026 22:00:32 | Хабр

Как построить DWDM-сеть в России
09.03.2026 21:57:55 | Хабр

От бронзы к золоту. Методика управления ETL-процессами через сквозную нумерацию пакетов с данными
09.03.2026 21:16:53 | Хабр

Lexometrica Ground Truth: бенчмарк LLM по российскому праву
09.03.2026 21:15:27 | Хабр

Lenovo показала концепт портативной консоли со складным экраном
09.03.2026 21:01:48 | ferra.ru

Смотреть все

НОВОСТИ

Эксперт Федоров: пропавшие на Колыме туристы сплавлялись по рекам средней сложности
07.07.2026 04:30:23 | ТАСС

Студент СПбГАСУ получил пять лет колонии за публичное оправдание терроризма
07.07.2026 04:24:56 | ТАСС

ВСУ создают ловушки для жителей Энергодара под видом «зелёного коридора»
07.07.2026 04:20:42 | Life.ru

На Колыме обследовали 52 км береговой полосы в поисках пропавших туристов
07.07.2026 04:18:23 | ТАСС

Силовики сообщили о потере ВСУ всех АЗС на основных маршрутах
07.07.2026 04:17:17 | Lenta.ru

ЛДПР предложила отменить НДФЛ для врачей с доходом до 100 тыс. рублей
07.07.2026 04:17:05 | ТАСС

Опрошенные россияне внесли низкий уровень жизни в список главных проблем детства
07.07.2026 04:12:47 | ТАСС

ПСЖ купил нового вратаря в конкуренты Сафонову
07.07.2026 04:10:12 | Life.ru

ВСУ за полторы недели лишились почти 40 АЗС
07.07.2026 04:05:00 | Lenta.ru

Netvision разработал нейросеть для выявления питбайков на дорогах
07.07.2026 04:04:59 | ТАСС

Глава МИД Бразилии заявил о возросшем риске военного вторжения США
07.07.2026 04:04:40 | ТАСС

ZALA: перелет дрона на 420 км открывает возможности для гибких грузоперевозок
07.07.2026 04:02:10 | ТАСС

ТАСС: у ВСУ на основных маршрутах в Сумской области не осталось АЗС
07.07.2026 04:00:57 | ТАСС

Марочко: ВС РФ закрепились на северо-восточных окраинах Казачьей Лопани
07.07.2026 04:00:56 | ТАСС

67-летняя Мадонна в корсете и чулках пришла на вечеринку
07.07.2026 04:00:46 | Lenta.ru

Придирчивая гостья была унижена администратором отеля за постоянные капризы
07.07.2026 04:00:33 | Lenta.ru

Массажист раскрыла 6 домашних спа-ритуалов, которые помогут разогнать лимфу
07.07.2026 04:00:00 | Life.ru

Geely представила новый крупный фастбек с мощным мотором и богатым оснащением
07.07.2026 04:00:00 | За рулем

У Колокольцева запланировано несколько двусторонних встреч в Нью-Йорке
07.07.2026 03:58:36 | ТАСС

Минпросвещения с 1 сентября отменило домашние задания в первых классах
07.07.2026 03:57:00 | Life.ru

Раскрыта новая цель ВС России после взятия Константиновки
07.07.2026 03:52:02 | Lenta.ru

Криштиану Роналду заявил, что подумает о своем будущем
07.07.2026 03:51:08 | ТАСС

В Google Maps обнаружили фашистские названия достопримечательностей Варшавы
07.07.2026 03:51:00 | Life.ru

Временные ограничения сняли в аэропорту Пензы
07.07.2026 03:50:26 | ТАСС

Командир Агалу: ВСУ деморализованы после потери Константиновки
07.07.2026 03:47:41 | ТАСС

При ракетном ударе ВСУ по Белгороду погиб мирный житель
07.07.2026 03:44:12 | Life.ru

Эксперт Федоров назвал основную опасность для пропавших на реках Колымы туристов
07.07.2026 03:42:50 | ТАСС

Основную опасность для пропавших на реках Колымы туристов представляли завалы
07.07.2026 03:42:50 | ТАСС

Под Белгородом погиб мирный житель при ракетном обстреле
07.07.2026 03:41:26 | Коммерсантъ

В Германии ввели ограничения на покупку яиц из-за их дефицита
07.07.2026 03:41:07 | Life.ru

Против ряда операторов АЗС возбудили дело из-за роста цен на бензин
07.07.2026 03:40:00 | За рулем

Все столичные аэропорты ввели ограничения на полеты
07.07.2026 03:37:48 | РБК

В ГД предложили запустить программу трейд-ин на российские электромобили
07.07.2026 03:37:04 | ТАСС

Роналду ушел в слезах после вылета с ЧМ-2026
07.07.2026 03:35:00 | Lenta.ru

В Дагестане отменили опасность атаки БПЛА
07.07.2026 03:34:54 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro