Операция выполнена!
Закрыть
Хабы: Бизнес-модели

В течение последнего года мы запустили несколько продуктов с LLM-решениями на борту. При этом, несмотря на различия в моделях и масштабе, у них, у всех была общая черта — расчет стоимости использования ИИ-фичи на старте расходился с реальностью: иногда — в несколько раз, но, всегда — в сторону увеличения бюджета.

Сценарий был примерно таким: стоимость одного активного пользователя в ИИ-ассистенте на момент сметы выглядела отлично, мы закладывали ее в финансовую модель, защищали бюджет, запускали проект. А через полгода в проде реальная цена была уже в разы выше, несмотря на то, что все делалось «правильно»: кэширование, маршрутизация, мониторинг.

Этот материал о том, где и почему бюджет расходится с рекламной моделью. Статья получилась большой и подробной: в ней будут рабочие формулы, таблицы с расчетами, примеры ловушек и советы по оптимизации. 

Если читать лень, и нужен вывод, то вот он: декларативный прайс модели сам по себе никогда не даст точного ответа на вопрос, сколько будет стоить LLM-инструмент в разработке. Реальная экономика складывается из контекста, ретраев, RAG-пайплайна, кэширования, поведения пользователей, динамики нагрузки и постоянных изменений в самих моделях. Поэтому считать нужно не стоимость запроса в вакууме, а стоимость сценария — и регулярно пересчитывать ее заново. 

Если же хотите разобраться, как заявленные 0,06 доллара за запрос превращаются в реальные 0,15 доллара, читайте дальше!

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro