Как мы перестали мерить качество ответов RAG-поиска «на глаз» и начали нормально сравнивать

15.04.2026 08:40:22 | Хабр

Хабы: Блог компании Gramax, Искусственный интеллект, Open source, Анализ и проектирование систем, Программирование

Если вы делаете RAG-поиск по документации или базе знаний, то рано или поздно упираетесь в проблему: хорошо найти — это еще не хорошо ответить.

База знаний, RAG, найденные чанки, LLM строит ответ. Но пользователь не знает ни про DCG, ни про Recall@10, ни про чанки вообще. Он видит только то, что написано в итоговом ответе. А проблемы начинаются именно здесь: модель может что-то проигнорировать, ответить на другом языке, добавить что-то от себя или выдать уверенный текст с иероглифами посередине.

В прошлой статье мы разбирали, как улучшали сам retrieval: чанкование, метаданные, гибридный поиск, реранкинг. Но после того как с поиском более-менее разобрались, встал другой вопрос — как вообще понять, хороший ли ответ получает пользователь?

Привет, меня зовут Дима, я делаю ИИ-функции в Gramax. В этой статье расскажу, как мы выстроили методику оценки ответов RAG-поиска. Заодно поделюсь, какая модель прямо сейчас дает лучший результат на наших задачах.

Подробнее

Читайте также

Максимально эффективная интеграция ИИ в робототехнику
15.04.2026 08:36:20 | Хабр

В моде тёмно-красный: Android-производители присмотрелись к цветам iPhone 18
15.04.2026 08:18:35 | ferra.ru

RAG: Как собрать свой ретривер для особых случаев
15.04.2026 08:17:59 | Хабр

Как команда технических писателей начала мерить качество документации. Эволюция редакции на примере человечества
15.04.2026 08:12:17 | Хабр

[Перевод] «Большой взрыв ИИ»: из-за искусственного интеллекта компании перегружены кодом
15.04.2026 08:06:07 | Хабр

Диагностика ОРД: как выявить «хромые» места в документах, пока их не нашел регулятор
15.04.2026 08:05:15 | Хабр

Складные смартфоны в России стали покупать на треть чаще
15.04.2026 08:02:19 | ferra.ru

Сравнение TTS-моделей на реальных задачах бизнеса: голосовой бот и аудиоподкасты
15.04.2026 08:00:14 | Хабр

Неочевидные нюансы миграции с Docker на Podman
15.04.2026 08:00:13 | Хабр

[Перевод] Найдены звёзды нового класса: «остаток от слияния»
15.04.2026 07:53:10 | Хабр

Как я построил автоматизированный рекрутинг в Claude Code на базе Playwright и субагентов
15.04.2026 07:49:09 | Хабр

[Перевод] Революция в правосудии: как искусственный интеллект негласно меняет вынесение приговоров в США
15.04.2026 07:45:06 | Хабр

QA и Dev в командах разработки: есть ли правильная пропорция или всё зависит
15.04.2026 07:32:03 | Хабр

ChatGPT сексист? Как гендерные маркеры в промпте влияют на решение задач
15.04.2026 07:31:00 | Хабр

Когда «слишком сложно» – не повод отказывать в лечении. Случай из практики бариатрического хирурга
15.04.2026 07:17:53 | Хабр

Что российский рынок труда хочет от тебя в 2026 году: анализ более 100 тысяч вакансий hh.ru за первый квартал
15.04.2026 07:06:55 | Хабр

Чем позвонить с Эвереста? История и обзор спутниковой связи. Часть 1
15.04.2026 07:05:54 | Хабр

Как мы погрузились в теорию компиляторов и написали свой транслятор кода
15.04.2026 07:00:52 | Хабр

Дай нам силу, лунная… хотя нет, в нашем случае — «Призма данных»
15.04.2026 07:00:51 | Хабр

Свет вместо радиоволн: беспроводная связь со скоростью 360 Гбит/с
15.04.2026 07:00:07 | Хабр

Развивать выгоднее, чем нанимать
15.04.2026 06:55:09 | Хабр

[Перевод] Нейробиология воображения: мозг использует одни и те же нейронные коды для зрения и мысленной визуализации
15.04.2026 06:34:44 | Хабр

Ретрообзор планшета с проектором Lenovo Yoga Tablet 2 Pro
15.04.2026 06:30:47 | Хабр

Что такое вайбкодинг и где этому научиться
15.04.2026 06:24:47 | Хабр

Как вырасти на 30% на падающем рынке элитной недвижимости: синтетические конверсии и клиентские интервью
15.04.2026 06:01:42 | Хабр

Яндекс Мессенджер: мы всё время неправильно считали коменты?
15.04.2026 05:00:34 | Хабр

Десоциализация: почему одинокие кукухи отлетают первыми?
15.04.2026 04:41:37 | Хабр

Мониторинг Manticore Search в Grafana одной командой
15.04.2026 03:53:35 | Хабр

Что нам стоит мозг построить?
15.04.2026 03:43:05 | Хабр

Программисты опять не как все, даже выгорают по-особенному — разбираемся почему
15.04.2026 02:09:24 | Хабр

Суверенные криптокошельки и цифровые депозитарии: какой крипторынок ждет Россию
15.04.2026 01:07:40 | Хабр

Ракетный щит СССР
14.04.2026 23:28:35 | Хабр

Крипта не для бюджета, Дзен-монополия и новый рецепт для хакера
14.04.2026 23:02:29 | it-world

Tatung Einstein — краткий очерк
14.04.2026 22:07:28 | Хабр

Самым крепким телефоном Nothing признали свежий Phone 4a Pro
14.04.2026 22:05:53 | ferra.ru

Смотреть все

НОВОСТИ

Профессор Диесен заявил, что Россия жёстко ответила на теракт ВСУ в ЛНР
25.05.2026 05:08:15 | Life.ru

МО: корректировка с БПЛА сделала танк высокоточной артиллерийской установкой
25.05.2026 05:02:39 | ТАСС

Танки Т-80БВМ уничтожили пункты управления дронами ВСУ в Запорожской области
25.05.2026 05:02:33 | ТАСС

На Западе признали невозможным оправдать удар ВСУ по детям в ЛНР
25.05.2026 05:02:12 | Life.ru

Вертолетчики-североморцы отработали бомбометание по целям в Мурманской области
25.05.2026 05:02:02 | ТАСС

Тигр растерзал четырех собиравших листья женщин
25.05.2026 05:01:29 | Lenta.ru

ВСУ потеряли за сутки от действий "Запада" 67 тяжелых гексакоптеров
25.05.2026 05:01:27 | ТАСС

Названы лучшие позы для секса в жару
25.05.2026 05:01:26 | Lenta.ru

Группировка "Север" уничтожила за сутки 34 тяжелых боевых октокоптера
25.05.2026 05:00:37 | ТАСС

На Филиппинах при обрушении здания погибли 3 человека
25.05.2026 05:00:17 | ТАСС

На Дальнем Востоке стартовал пятый поток программы "Муравьев-Амурский 2030"
25.05.2026 04:59:36 | ТАСС

Житель Волчанска выжил, получив 20 ранений от дрона ВСУ, который преследовал его
25.05.2026 04:58:02 | Life.ru

Спасатели обследовали непроходимые тропы в поисках Усольцевых
25.05.2026 04:54:50 | ТАСС

Восемь человек заживо сгорели после аварии с автобусом в Бразилии
25.05.2026 04:52:39 | Life.ru

Удар ВСУ по российскому колледжу назвали смертным приговором для Киева
25.05.2026 04:49:00 | Lenta.ru

Президент Сербии сообщил о своей возможной отставке
25.05.2026 04:49:00 | Lenta.ru

Экспорт ликёра из ЕС в Россию достиг исторического максимума
25.05.2026 04:46:53 | Life.ru

Вучич заявил, что скоро может уйти в отставку
25.05.2026 04:45:00 | Российская Газета

На Украине не нашли тела 99% пропавших колумбийских наемников ВСУ
25.05.2026 04:44:00 | Российская Газета

Мирошник: Европа закрывает глаза на удары ВСУ по мирным жителям
25.05.2026 04:40:25 | Life.ru

Жалобы по делу Блиновской поступили во Второй кассационный суд
25.05.2026 04:36:53 | Life.ru

В Бурятии внедорожник въехал в дачный дом
25.05.2026 04:36:25 | ТАСС

Японский индекс Nikkei растет на 3% на фоне возможного соглашения США и Ирана
25.05.2026 04:36:02 | ТАСС

ВОЗ: Не менее 900 человек могли заразиться вирусом Эбола
25.05.2026 04:36:00 | Российская Газета

В США предупредили страны Прибалтики из-за России
25.05.2026 04:34:58 | Lenta.ru

В аэропорту Иваново ввели план «Ковёр»
25.05.2026 04:34:37 | Life.ru

Взрывы прогремели в нескольких городах Украины
25.05.2026 04:32:00 | Life.ru

В Приморье летом пройдут две экспедиции по поиску шхуны "Восток"
25.05.2026 04:31:51 | ТАСС

Иллюзионист Ури Геллер 50 лет назад видел замороженных пришельцев в бункере США
25.05.2026 04:29:35 | Life.ru

Мирный житель выжил после 20 ранений от дрона ВСУ
25.05.2026 04:28:29 | Lenta.ru

WP: сделка США и Ирана предусматривает отказ Тегерана от обогащенного урана
25.05.2026 04:26:14 | ТАСС

Судороги, улыбка и тело дугой: Врач рассказала, чем опасен столбняк и где его можно подхватить
25.05.2026 04:24:31 | Life.ru

FT узнала о планах ЕЦБ созвать срочное совещание из-за угрозы ИИ
25.05.2026 04:18:47 | РБК

Подполье заявило об особой жестокости мигрантов из ТЦК при мобилизации украинцев
25.05.2026 04:17:15 | ТАСС

Умные часы и геймпад чуть не устроили пожар в доме
25.05.2026 04:14:57 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro