Операция выполнена!
Закрыть
Хабы: Python

Langfuse, помимо трассирования запросов, удобно использовать для prompt management и LLM-as-a-judge.  Но в закрытой корпоративной среде он упирается в простую вещь:  LF работает со статическим API key, а ваш LLM gateway — нет. То есть gateway требует короткоживущий JWT, а Langfuse не умеет его получать.  И в этот момент интеграция ломается.

Мы столкнулись именно с такой ситуацией. Модели self-hosted, OpenAI подобный API, но для доступа к нему на каждый запрос нужен JWT, который выдаётся централизованным провайдером. Langfuse в LLM Connection умеет передать API key и заголовки, но не сможет сам сходить в auth-сервис, получить временный токен и подставить его в запрос.

В этой статье я рассказываю о своем опыте решения этой проблемы на продакшен уровне.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro