Погоди переезжать на дешёвую модель: считаем effective cost с учётом кэша

info@vsetut.pro

Стать автором

Вернуться

10.03.2026 08:00:22 | Хабр

Хабы: Блог компании Битрикс24, Искусственный интеллект

В сообществе часто пишут о том что KV-cache hit rate - один из главных приоритетов при оптимизации стоимости. Manus в той-самой статье про context engineering и своего агента, TikTok в кейсе про оптимизацию AI-агента для тестирования, AiSDR в статье про перестройку шаблонов генерации писем.
Стало интересно стало: а как это считается у MaaS-провайдеров? Я знаком со скидкой за кэш токены, но никогда не садился детально разбирать экономику кэша у OpenAI, Anthropic, Gemini, DeepSeek - с цифрами, сценариями, сравнением.

Сел считать. Первый же результат удивил: два запроса к одной и той же модели с одним и тем же объёмом токенов - разница в цене в 3 раза. Зависит только от того, попали ли токены в кэш.

Про то как KV-кэш устроен внутри - уже хорошо написано на Хабре, ссылки в конце. Здесь только про деньги и токены: как считать реальную стоимость и почему прайс-лист для этого не подходит только прайс-лист.

Подробнее

Читайте также

Новогодние страдания, или как я сдавал CPTS в 2026 году
10.03.2026 08:00:21 | Хабр

Как защититься от удаления в S3 с помощью Object Lock / WORM
10.03.2026 08:00:20 | Хабр

Project Valhalla: революция в памяти Java
10.03.2026 08:00:19 | Хабр

Stitches закрыт — да здравствует StyleX
10.03.2026 07:56:56 | Хабр

[Перевод] Разработчики должны быть слегка циничными
10.03.2026 07:45:53 | Хабр

Computer Vision модель в борьбе с галлюцинациями LLM. Оправданный оверинжиниринг?
10.03.2026 07:30:15 | Хабр

Почему поддержка знает о проблемах продукта больше, чем разработка
10.03.2026 07:28:59 | Хабр

Пять человек в компании должны сказать Ок, чтобы сменить мессенджер. Вот что убедит каждого из них
10.03.2026 07:27:00 | Хабр

Выход новых устройств Apple расстянется на весь год
10.03.2026 07:01:47 | ferra.ru

LLM Inside: выжимаем максимум из Decoder Attention на GPU
10.03.2026 07:01:15 | Хабр

Blueprint VM изнутри: ~80 инструкций, которые двигают вашу игру
10.03.2026 07:00:43 | Хабр

Время в BPMN
10.03.2026 07:00:43 | Хабр

Мифы про REST API. Часть 2
10.03.2026 06:59:15 | Хабр

Поколение JSON: цена удобных абстракций и упадок культуры ресурсов
10.03.2026 06:47:41 | Хабр

Наблюдаемость LLM-агентов: Часть 2. Разработка и отладка графа
10.03.2026 06:37:27 | Хабр

Простые проблемы, которые мы решали в ИИ-стартапе
10.03.2026 06:33:37 | Хабр

Интеграция «Честного знака» или законы Мерфи в разработке
10.03.2026 06:22:34 | Хабр

[Перевод] Сэм Альтман собрал больше денег, чем ВВП 140 стран. Их хватило на два года. Что будет дальше?
10.03.2026 06:22:27 | Хабр

Почему мы ненавидим, но так любим нейросети
10.03.2026 06:18:28 | Хабр

«Принеси-подай, отвали и не мешай»: что такое агентность и почему менеджеру её не хватает
10.03.2026 06:00:22 | Хабр

AI-агент с долгосрочной памятью: строю личного аналитика с Claude Code
10.03.2026 05:59:05 | Хабр

Мониторинг частоты упоминаний бренда в ChatGPT и Яндекс Алисе, карта ПДн вашего бизнеса — и еще 8 российских стартапов
10.03.2026 05:45:20 | Хабр

Воплощение it проекта в реальном производстве. Практический кейс из металлургии
10.03.2026 05:33:53 | Хабр

Конструктор табличных значений, UNNEST(), TABLE(), STRING_SPLIT(), JSON_TABLE() — замена временным таблицам в SQL
10.03.2026 05:28:41 | Хабр

Как уместить опыт в одностраничный PDF
10.03.2026 05:16:14 | Хабр

9 событий в мире ИИ, которые завирусились в соцсетях 24 февраля — 9 марта 2026 года
10.03.2026 05:10:42 | Хабр

Unreal Engine 5.4 + C++ + MacOS Tahoe + Android build = Build Successful
10.03.2026 03:15:56 | Хабр

Концепция кастомизированных ИИ-агентов как «виртуальных аватаров» человека
10.03.2026 01:19:21 | Хабр

Контракт вместо настроек: чего я жду от OLTP-БД
10.03.2026 01:07:46 | Хабр

Тёмная сторона крипты, аномалии и управление тысячами роботов
10.03.2026 00:24:42 | Хабр

Стики с эффектом Холла для неоригинального контроллера xbox 360
09.03.2026 22:00:32 | Хабр

Как построить DWDM-сеть в России
09.03.2026 21:57:55 | Хабр

От бронзы к золоту. Методика управления ETL-процессами через сквозную нумерацию пакетов с данными
09.03.2026 21:16:53 | Хабр

Lexometrica Ground Truth: бенчмарк LLM по российскому праву
09.03.2026 21:15:27 | Хабр

Lenovo показала концепт портативной консоли со складным экраном
09.03.2026 21:01:48 | ferra.ru

Смотреть все

НОВОСТИ

Названы десять поломок, которые водители готовы починить сами
28.03.2026 14:30:00 | За рулем

Звёзды фильма «Назад в будущее» сделали общее фото впервые за много лет
10.03.2026 12:28:07 | Life.ru

Появились новые данные о выжившем после недели с четырьмя мертвецами на горе Гроб
10.03.2026 12:27:23 | Life.ru

Рособрнадзор объявил предостережения трем вузам
10.03.2026 12:26:58 | ТАСС

В СМИ сообщили о намерении Зеленского вернуть внимание к Украине
10.03.2026 12:26:27 | Lenta.ru

Певец Xolidayboy не будет отказываться от псевдонима на латинице
10.03.2026 12:25:59 | ТАСС

Количество городов России, связанных с Санья авиарейсами, возросло до 11
10.03.2026 12:25:54 | ТАСС

Суд в Москве оштрафовал Ходорковского за нарушение правил деятельности иноагента
10.03.2026 12:25:43 | ТАСС

Politico: запасы газа в ЕС упали до необычно низкого уровня из-за холодной зимы
10.03.2026 12:25:43 | ТАСС

Автоэксперт оценил влияние русификации названий на цены и продажи машин
10.03.2026 12:25:16 | Life.ru

В Ульяновской области задержали организатора экстремистской организации
10.03.2026 12:25:04 | ТАСС

США заявили о масштабных потерях флота Ирана
10.03.2026 12:24:27 | Lenta.ru

Раскрыт план воров-«маркетплейсеров» по многомиллионному хищению из российского ПВЗ
10.03.2026 12:23:19 | Lenta.ru

В Калининградской области из-за аварии отключили водоснабжение на 22 улицах
10.03.2026 12:22:50 | ТАСС

В Генштабе ВСУ раскрыли цель боев за Бахмут
10.03.2026 12:22:50 | Lenta.ru

Свищев назвал единственно верным решение допустить россиян на Паралимпиаду
10.03.2026 12:22:40 | ТАСС

В Киеве родные пропавших без вести военных ВСУ вышли на митинг
10.03.2026 12:22:35 | ТАСС

Энергетик оценил шансы России вернуться на нефтегазовый рынок Евросоюза
10.03.2026 12:22:20 | Lenta.ru

ФАС оштрафовала ресурсоснабжающие организации на 17,76 млн рублей в 2025 году
10.03.2026 12:21:59 | Life.ru

ТАСС: Гросси на неделе посетит Россию
10.03.2026 12:21:56 | ТАСС

Ашапатов отметил перспективы российских спортсменов на Паралимпиаде
10.03.2026 12:20:50 | ТАСС

В ГД внесли соглашение о взаимном исполнении постановлений судов с Белоруссией
10.03.2026 12:20:41 | ТАСС

Индия не планирует ограничивать экспорт переработанной нефти
10.03.2026 12:19:06 | ТАСС

Обнаружен простой способ замедлить биологическое старение
10.03.2026 12:18:53 | Lenta.ru

Суд приостановил корпоративные права Redbriсk Investments в "Акроне"
10.03.2026 12:18:42 | ТАСС

В Приамурье пенсионерка отдала мошенникам 22 млн рублей
10.03.2026 12:18:08 | ТАСС

Цены на газ в Европе рухнули на 16% — до $567
10.03.2026 12:17:36 | Life.ru

Страну — партнера России накрыло катастрофическим дефицитом газа
10.03.2026 12:16:18 | Lenta.ru

Ведущие производители нефти на Ближнем Востоке резко снизили добычу
10.03.2026 12:16:11 | Lenta.ru

В Оренбуржье мужчину осудили за перевозку незаконно добытого золота
10.03.2026 12:16:06 | ТАСС

В ВСУ анонсировали «неожиданные» действия
10.03.2026 12:16:02 | Lenta.ru

Суд прекратил производство по иску об изъятии имущества Тимура Батрутдинова
10.03.2026 12:16:02 | ТАСС

Ольховский назвал уверенной игру Даниила Медведева на турнире в Индиан-Уэллсе
10.03.2026 12:15:57 | ТАСС

В Прикамье рассказали о состоянии выжившего в лесу туриста
10.03.2026 12:15:36 | ТАСС

Актрису "Склифосовского" Екатерину Ведунову и ее дочь похоронили в Балаково
10.03.2026 12:15:27 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro