Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться

Как мы строили eval и автоматизировали оптимизацию AI-агента для умного помощника

15.06.2026 08:00:50 | Хабр
Хабы: Блог компании Битрикс24, Искусственный интеллект

Привет! Меня зовут Алексей, я разработчик в Битрикс24. 

В первой части рассказывал про retrieval-часть нашего RAG для AI-помощника Марты: как мы перестраивали поиск по базе знаний, подбирали retrieval pipeline под продуктовую документацию и постепенно улучшали качество поиска через серию небольших экспериментов. Ещё разобрал, почему production RAG — это постоянная работа с retrieval, шумом и latency.

Сегодня  — как мы измеряли качество всей RAG-системы целиком. Расскажу про экспертный и синтетический датасеты, почему retrieval-метрики могут расходиться с реальным качеством ответов и как мы замкнули агентную петлю.

В конце покажу финальную картину метрик с замечаниями и поделюсь, какие полезные мысли появились во время работы.

Читать далее
Подробнее
Читайте также
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro