Как мы перестали мерить качество ответов RAG-поиска «на глаз» и начали нормально сравнивать

15.04.2026 08:40:22 | Хабр

Хабы: Блог компании Gramax, Искусственный интеллект, Open source, Анализ и проектирование систем, Программирование

Если вы делаете RAG-поиск по документации или базе знаний, то рано или поздно упираетесь в проблему: хорошо найти — это еще не хорошо ответить.

База знаний, RAG, найденные чанки, LLM строит ответ. Но пользователь не знает ни про DCG, ни про Recall@10, ни про чанки вообще. Он видит только то, что написано в итоговом ответе. А проблемы начинаются именно здесь: модель может что-то проигнорировать, ответить на другом языке, добавить что-то от себя или выдать уверенный текст с иероглифами посередине.

В прошлой статье мы разбирали, как улучшали сам retrieval: чанкование, метаданные, гибридный поиск, реранкинг. Но после того как с поиском более-менее разобрались, встал другой вопрос — как вообще понять, хороший ли ответ получает пользователь?

Привет, меня зовут Дима, я делаю ИИ-функции в Gramax. В этой статье расскажу, как мы выстроили методику оценки ответов RAG-поиска. Заодно поделюсь, какая модель прямо сейчас дает лучший результат на наших задачах.

Подробнее

Читайте также

Максимально эффективная интеграция ИИ в робототехнику
15.04.2026 08:36:20 | Хабр

В моде тёмно-красный: Android-производители присмотрелись к цветам iPhone 18
15.04.2026 08:18:35 | ferra.ru

RAG: Как собрать свой ретривер для особых случаев
15.04.2026 08:17:59 | Хабр

Как команда технических писателей начала мерить качество документации. Эволюция редакции на примере человечества
15.04.2026 08:12:17 | Хабр

[Перевод] «Большой взрыв ИИ»: из-за искусственного интеллекта компании перегружены кодом
15.04.2026 08:06:07 | Хабр

Диагностика ОРД: как выявить «хромые» места в документах, пока их не нашел регулятор
15.04.2026 08:05:15 | Хабр

Складные смартфоны в России стали покупать на треть чаще
15.04.2026 08:02:19 | ferra.ru

Сравнение TTS-моделей на реальных задачах бизнеса: голосовой бот и аудиоподкасты
15.04.2026 08:00:14 | Хабр

Неочевидные нюансы миграции с Docker на Podman
15.04.2026 08:00:13 | Хабр

[Перевод] Найдены звёзды нового класса: «остаток от слияния»
15.04.2026 07:53:10 | Хабр

Как я построил автоматизированный рекрутинг в Claude Code на базе Playwright и субагентов
15.04.2026 07:49:09 | Хабр

[Перевод] Революция в правосудии: как искусственный интеллект негласно меняет вынесение приговоров в США
15.04.2026 07:45:06 | Хабр

QA и Dev в командах разработки: есть ли правильная пропорция или всё зависит
15.04.2026 07:32:03 | Хабр

ChatGPT сексист? Как гендерные маркеры в промпте влияют на решение задач
15.04.2026 07:31:00 | Хабр

Когда «слишком сложно» – не повод отказывать в лечении. Случай из практики бариатрического хирурга
15.04.2026 07:17:53 | Хабр

Что российский рынок труда хочет от тебя в 2026 году: анализ более 100 тысяч вакансий hh.ru за первый квартал
15.04.2026 07:06:55 | Хабр

Чем позвонить с Эвереста? История и обзор спутниковой связи. Часть 1
15.04.2026 07:05:54 | Хабр

Как мы погрузились в теорию компиляторов и написали свой транслятор кода
15.04.2026 07:00:52 | Хабр

Дай нам силу, лунная… хотя нет, в нашем случае — «Призма данных»
15.04.2026 07:00:51 | Хабр

Свет вместо радиоволн: беспроводная связь со скоростью 360 Гбит/с
15.04.2026 07:00:07 | Хабр

Развивать выгоднее, чем нанимать
15.04.2026 06:55:09 | Хабр

[Перевод] Нейробиология воображения: мозг использует одни и те же нейронные коды для зрения и мысленной визуализации
15.04.2026 06:34:44 | Хабр

Ретрообзор планшета с проектором Lenovo Yoga Tablet 2 Pro
15.04.2026 06:30:47 | Хабр

Что такое вайбкодинг и где этому научиться
15.04.2026 06:24:47 | Хабр

Как вырасти на 30% на падающем рынке элитной недвижимости: синтетические конверсии и клиентские интервью
15.04.2026 06:01:42 | Хабр

Яндекс Мессенджер: мы всё время неправильно считали коменты?
15.04.2026 05:00:34 | Хабр

Десоциализация: почему одинокие кукухи отлетают первыми?
15.04.2026 04:41:37 | Хабр

Мониторинг Manticore Search в Grafana одной командой
15.04.2026 03:53:35 | Хабр

Что нам стоит мозг построить?
15.04.2026 03:43:05 | Хабр

Программисты опять не как все, даже выгорают по-особенному — разбираемся почему
15.04.2026 02:09:24 | Хабр

Суверенные криптокошельки и цифровые депозитарии: какой крипторынок ждет Россию
15.04.2026 01:07:40 | Хабр

Ракетный щит СССР
14.04.2026 23:28:35 | Хабр

Крипта не для бюджета, Дзен-монополия и новый рецепт для хакера
14.04.2026 23:02:29 | it-world

Tatung Einstein — краткий очерк
14.04.2026 22:07:28 | Хабр

Самым крепким телефоном Nothing признали свежий Phone 4a Pro
14.04.2026 22:05:53 | ferra.ru

Смотреть все

НОВОСТИ

Соглашение о сотрудничестве подписали РАН, ростовская Общественная палата и ФАДН
17.04.2026 20:38:15 | ТАСС

Беременную россиянку на приеме у врача отчитали за нижнее белье
17.04.2026 20:38:14 | Lenta.ru

Появились подробности о вооруженном нападении на сотрудника военной полиции в Петербурге
17.04.2026 20:38:01 | Lenta.ru

«Не жалею о сделанном»: Блогер Ремесло опубликовал первый пост после месячного содержания в психбольнице
17.04.2026 20:36:47 | Life.ru

Российские Су-30МКА сопроводили самолет Папы Римского
17.04.2026 20:36:11 | Lenta.ru

Судовладельцы скептично отнеслись к новостям об открытии Ормузского пролива
17.04.2026 20:34:39 | Lenta.ru

Вышедший из психбольницы Ремесло рассказал о приезде упомянувших Собчак медиков
17.04.2026 20:33:34 | Lenta.ru

В Удмуртии завели дело после наезда девочки на электросамокате на двух женщин
17.04.2026 20:32:20 | ТАСС

Людей с бессонницей призвали отказаться от нескольких фруктов на ночь
17.04.2026 20:31:25 | Lenta.ru

Пловчиха Ефимова призналась, что завидует футболистам и хоккеистам
17.04.2026 20:30:37 | ТАСС

В Адыгее неизвестные напали на двух подростков
17.04.2026 20:29:25 | ТАСС

Пенсионер попал в сильное течение на глазах у своей девушки в Таиланде и не выжил
17.04.2026 20:29:16 | Lenta.ru

ATS: Швейцария проведет референдум по смягчению запрета на экспорт вооружений
17.04.2026 20:29:09 | ТАСС

Мужчину отправили в тюрьму за контрабанду муравьев
17.04.2026 20:25:58 | Lenta.ru

Индия сможет отправить в Россию три тысячи военных
17.04.2026 20:25:00 | Российская Газета

Колесников: лишение российских спортсменов флага и гимна было нечестным
17.04.2026 20:24:18 | ТАСС

Стали известны пары полуфиналистов Кубка Гагарина
17.04.2026 20:24:18 | Life.ru

Эксперт Белый заявил о необходимости лекарственной терапии ожирения
17.04.2026 20:24:13 | ТАСС

Оверчук призвал бизнес РФ и Азербайджана использовать возможности сотрудничества
17.04.2026 20:23:38 | ТАСС

Звезда «Универа» сравнила сериал с «Друзьями»
17.04.2026 20:23:26 | Lenta.ru

Началась регистрация на сезон «Большой перемены» для старшеклассников и студентов СПО
17.04.2026 20:22:00 | Lenta.ru

Участок синей ветки метро от "Строгино" до "Пятницкого шоссе" закроют до 8 мая
17.04.2026 20:21:26 | ТАСС

Стал известен самый востребованный российский певец
17.04.2026 20:19:20 | Lenta.ru

Трамп анонсировал вывоз урана из Ирана в США
17.04.2026 20:19:00 | Lenta.ru

В районе метро "Щукинская" в Москве задерживаются трамваи
17.04.2026 20:18:53 | ТАСС

Нижегородского экс-депутата арестовали по обвинению в покушении на дачу взятки
17.04.2026 20:18:49 | ТАСС

Перечислены лучшие недорогие смартфоны
17.04.2026 20:18:48 | Lenta.ru

Москвичей окутает пронзительный холод
17.04.2026 20:17:46 | Lenta.ru

Житель Башкирии выследил измену школьницы по камере домофона
17.04.2026 20:17:21 | Life.ru

Малышева высмеяла ребенка с необычным именем и пристыдила его родителей
17.04.2026 20:17:15 | Lenta.ru

Букмекеры оценили выступление Сафонова в Лиге чемпионов
17.04.2026 20:15:32 | Lenta.ru

МВФ заявил о готовности оказать финансовую помощь Венесуэле
17.04.2026 20:14:49 | ТАСС

Американцы ничего не смогут сделать с Россией с помощью ракет, заявил Лукашенко
17.04.2026 20:13:14 | Life.ru

На черноморском побережье волонтеры спасли морскую свинью
17.04.2026 20:13:05 | Lenta.ru

Футболист Козлов рассказал, что согласился на переход в ЦСКА из-за Челестини
17.04.2026 20:12:44 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro