Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой

14.08.2026 11:53:31 | Хабр

Хабы: Natural Language Processing, Машинное обучение, Искусственный интеллект, Поисковые технологии

В прошлой статье серии мы сжимали эмбеддинги и замеряли, насколько изменится выдача относительно полного fp32-поиска. Там это был правильный вопрос: ломает ли квантизация уже существующий retrieval.

Но у такого замера есть неприятное слепое пятно. Можно аккуратно сохранить 99% выдачи исходного эмбеддера и все равно плохо находить нужные документы на своем домене. Внешний бенчмарк, даже сильный, этого не гарантирует. BEIR как раз был создан, чтобы показать, насколько результаты retrieval меняются между разными задачами и доменами; один усредненный скор там не заменяет проверку на собственных данных.

Нужен свой eval set. И тут обычно возникает ложная развилка:

Читать далее

Подробнее

Читайте также

До ChatGPT когнитивным долгом управляли начальники. Теперь — все
14.08.2026 11:46:58 | Хабр

Как я перестал разрывать архитектуру на десяток документов — и сделал свой C4-редактор
14.08.2026 11:41:12 | Хабр

Tecno Pova 7 Ultra: «долгоиграющий» смартфон с выносливым процессором
14.08.2026 11:35:44 | ferra.ru

Как ИИ в строительстве помогает сберечь здоровье рабочих: кейс строительной компании
14.08.2026 11:33:40 | Хабр

Отчёт «Делимобиля» за квартал: выручка — 7,5 млрд рублей, убыток — 664 млн рублей
14.08.2026 11:31:19 | vc.ru

Цена, которой не существовало: две недели поиска бага, который не видел мониторинг
14.08.2026 11:30:33 | Хабр

Почему e2e тесты это круто, но никто их не пишет. На примере Laravel Dusk
14.08.2026 11:29:46 | Хабр

Итоги сезона DIY: луноход, бинарные часы и стоп‑сигнал в котельной
14.08.2026 11:20:48 | Хабр

Astryx: дизайн-система, которой может пользоваться AI-агент
14.08.2026 11:10:13 | Хабр

Как агентский ИИ перестраивает клиентский опыт
14.08.2026 11:09:05 | Хабр

Как не проиграть свою голову в битве с AI
14.08.2026 11:01:36 | Хабр

Как стать AI-разработчиком, если ты маркетолог? Моя история
14.08.2026 10:59:59 | Хабр

Наши книги о LLM: состояние дел по готовящимся новинкам
14.08.2026 10:46:12 | Хабр

Что важнее для игр: частота памяти, тайминги или процессор
14.08.2026 10:41:56 | Хабр

Klarna у Карла украла работу: история о том, как сначала уволили 700 человек, а потом вернули, заменив ИИ живыми людьми
14.08.2026 10:30:55 | Хабр

Пишем нативные аддоны для Node.js на Rust: что умеет NAPI-RS и где он правда нужен
14.08.2026 10:26:23 | Хабр

[Перевод] Куда подевался старый веб? Мы прошли по 657 607 ссылкам, чтобы разобраться
14.08.2026 10:19:38 | Хабр

Китайская CXMT почти догнала Samsung по качеству выпуска памяти DDR5
14.08.2026 10:17:59 | ferra.ru

X выложила на GitHub исходный код своей рекомендательной ленты и добавила инструмент для проверки аккаунта на «теневой бан»
14.08.2026 10:16:12 | vc.ru

Почему Agile убивает стратегию, когда его масштабируют
14.08.2026 10:15:02 | Хабр

Чужой код, свои патчи. Зачем компании инвестируют в open source
14.08.2026 10:14:59 | Хабр

Tymbal — нейросинтезатор на одном чипе
14.08.2026 10:02:20 | Хабр

Вайбкодинг и философский камень
14.08.2026 10:00:07 | Хабр

Почти 200° обзора: проверяем SOTA-модели оценки глубины на fisheye
14.08.2026 09:54:51 | Хабр

Маркетплейсы выступили за компенсации пострадавшему бизнесу
14.08.2026 09:45:03 | it-world

Восемь тысяч акций производителя роботов Unitree не выкупили на IPO
14.08.2026 09:31:33 | it-world

Почему производители аэротакси вдруг пошли в оборонку
14.08.2026 09:24:54 | Хабр

Спутник как VPS: честная история про космический SSH, TinySat и TriSat
14.08.2026 09:15:58 | Хабр

Сеть ИОЛА, MS-DOS и Pacman: эксперимент с сетевыми адаптерами 80-х
14.08.2026 09:05:57 | Хабр

Как не сломать LLM, пока защищаешь данные: под капотом Guardrails Filter
14.08.2026 08:52:56 | Хабр

Программируемые калькуляторы. Часть 4.2. «Лаборатория счетных машин доктора Вана. 300-я серия»
14.08.2026 08:49:26 | Хабр

День 1633: объём венчурных инвестиций в мире за первую половину 2026 года вырос в 2,2 раза, а в России — сократился на 48%
14.08.2026 08:39:43 | vc.ru

Предварительная трансляция макро в HomeLisp
14.08.2026 08:34:45 | Хабр

SpaceXAI Маска выпустила ИИ-модель Grok 4.6, которую тренировали на сложных задачах
14.08.2026 08:18:01 | ferra.ru

Пишем свой Native Filter плагин для Apache Superset: пошаговый рабочий туториал
14.08.2026 08:14:53 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Обломки БПЛА повредили 14 жилых домов в Петербурге
18.10.2026 09:32:02 | Life.ru

Новак: российский дизель в США будет экспортироваться на танкерах класса Aframax
18.10.2026 09:29:45 | ТАСС

В ГД не ждут массового перехода к ипотекам на "вторичку" среди семей
18.10.2026 09:28:06 | ТАСС

Беглов: В Петербурге один человек погиб и 5 пострадали из-за атаки БПЛА
18.10.2026 09:27:51 | Life.ru

В российском регионе уничтожили более 200 БПЛА
18.10.2026 09:27:39 | Lenta.ru

В Петербурге тушат пожары на нефтяном терминале и нефтебазе
18.10.2026 09:27:20 | ТАСС

ТАСС: атака БПЛА ВСУ на РФ ночью стала одной из самых массированных за год
18.10.2026 09:26:49 | ТАСС

В Белгородской области из-за атак ВСУ погибла женщина
18.10.2026 09:26:46 | ТАСС

Футболист "Локомотива" Бакаев отметил большую роль отца в своей жизни
18.10.2026 09:26:17 | ТАСС

Раскрыто количество уничтоженных БПЛА над Россией
18.10.2026 09:26:00 | Lenta.ru

Шохин: системы ПВО промпредприятий надо выстраивать с учетом долгосрочной перспективы
18.10.2026 09:25:23 | ТАСС

СКР возбудил дело о теракте после ударов ВСУ по Ленинградской области
18.10.2026 09:24:32 | Коммерсантъ

СК возбудил дело о теракте после налёта дронов ВСУ на Петербург и Ленобласть
18.10.2026 09:24:17 | Life.ru

Дизель из РФ поступит на рынок США через 15-20 дней после подписания контрактов
18.10.2026 09:23:36 | ТАСС

Над Курской областью за сутки сбили 133 БПЛА
18.10.2026 09:22:37 | ТАСС

Тревога в трёх уездах Литвы: Истребители вылетели на перехват неопознанного БПЛА
18.10.2026 09:22:33 | Life.ru

Мать главного тренера «Спартака» Жамнова умерла
18.10.2026 09:21:17 | Lenta.ru

В Петербурге из-за атаки БПЛА погиб человек
18.10.2026 09:20:38 | ТАСС

Дюбуа нокаутировал Уордли и защитил титул WBO
18.10.2026 09:20:19 | Lenta.ru

В Абакане женщина убила подругу возле ночного клуба
18.10.2026 09:19:59 | ТАСС

Мартинесу диагностировали перелом челюсти после столкновения в матче
18.10.2026 09:19:36 | Lenta.ru

Актер Кузнецов: российскому дубляжу не хватает профессионализма
18.10.2026 09:19:33 | ТАСС

Сафонов признан лучшим игроком матча ПСЖ
18.10.2026 09:18:42 | Lenta.ru

В Петербурге при атаке БПЛА повреждено 14 домов
18.10.2026 09:18:19 | ТАСС

Мичков набрал 50 очков в дебютном сезоне НХЛ
18.10.2026 09:17:43 | Lenta.ru

В порту АЭС "Фукусима-1" построят подводный барьер для блокирования почвы с цезием
18.10.2026 09:17:27 | ТАСС

«Запоздалое решение»: Американист объяснил, почему Трамп остановил санкции против РФ
18.10.2026 09:17:06 | Life.ru

«Нэшвилл» обыграл «Сент-Луис» и прервал серию поражений
18.10.2026 09:16:59 | Lenta.ru

ВСУ 111 раз атаковали Белгородскую область
18.10.2026 09:16:43 | ТАСС

Инстинкт культурного отдыха: Ещё один медведь забрёл в парк Гастелло в Кызыле
18.10.2026 09:16:33 | Life.ru

Месси оформил дубль в победе над «Атлантой»
18.10.2026 09:16:05 | Lenta.ru

Минэнерго: Россия не видит целесообразности в поставках электроэнергии из Китая
18.10.2026 09:16:04 | ТАСС

Минобороны доложило о групповых ударах по «Новой почте» в Ровно и судну у Одессы
18.10.2026 09:15:22 | Life.ru

Гамову ввели в Международный зал славы волейбола
18.10.2026 09:15:18 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro