Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой

14.08.2026 11:53:31 | Хабр

Хабы: Natural Language Processing, Машинное обучение, Искусственный интеллект, Поисковые технологии

В прошлой статье серии мы сжимали эмбеддинги и замеряли, насколько изменится выдача относительно полного fp32-поиска. Там это был правильный вопрос: ломает ли квантизация уже существующий retrieval.

Но у такого замера есть неприятное слепое пятно. Можно аккуратно сохранить 99% выдачи исходного эмбеддера и все равно плохо находить нужные документы на своем домене. Внешний бенчмарк, даже сильный, этого не гарантирует. BEIR как раз был создан, чтобы показать, насколько результаты retrieval меняются между разными задачами и доменами; один усредненный скор там не заменяет проверку на собственных данных.

Нужен свой eval set. И тут обычно возникает ложная развилка:

Читать далее

Подробнее

Читайте также

До ChatGPT когнитивным долгом управляли начальники. Теперь — все
14.08.2026 11:46:58 | Хабр

Как я перестал разрывать архитектуру на десяток документов — и сделал свой C4-редактор
14.08.2026 11:41:12 | Хабр

Tecno Pova 7 Ultra: «долгоиграющий» смартфон с выносливым процессором
14.08.2026 11:35:44 | ferra.ru

Как ИИ в строительстве помогает сберечь здоровье рабочих: кейс строительной компании
14.08.2026 11:33:40 | Хабр

Отчёт «Делимобиля» за квартал: выручка — 7,5 млрд рублей, убыток — 664 млн рублей
14.08.2026 11:31:19 | vc.ru

Цена, которой не существовало: две недели поиска бага, который не видел мониторинг
14.08.2026 11:30:33 | Хабр

Почему e2e тесты это круто, но никто их не пишет. На примере Laravel Dusk
14.08.2026 11:29:46 | Хабр

Итоги сезона DIY: луноход, бинарные часы и стоп‑сигнал в котельной
14.08.2026 11:20:48 | Хабр

Astryx: дизайн-система, которой может пользоваться AI-агент
14.08.2026 11:10:13 | Хабр

Как агентский ИИ перестраивает клиентский опыт
14.08.2026 11:09:05 | Хабр

Как не проиграть свою голову в битве с AI
14.08.2026 11:01:36 | Хабр

Как стать AI-разработчиком, если ты маркетолог? Моя история
14.08.2026 10:59:59 | Хабр

Наши книги о LLM: состояние дел по готовящимся новинкам
14.08.2026 10:46:12 | Хабр

Что важнее для игр: частота памяти, тайминги или процессор
14.08.2026 10:41:56 | Хабр

Klarna у Карла украла работу: история о том, как сначала уволили 700 человек, а потом вернули, заменив ИИ живыми людьми
14.08.2026 10:30:55 | Хабр

Пишем нативные аддоны для Node.js на Rust: что умеет NAPI-RS и где он правда нужен
14.08.2026 10:26:23 | Хабр

[Перевод] Куда подевался старый веб? Мы прошли по 657 607 ссылкам, чтобы разобраться
14.08.2026 10:19:38 | Хабр

Китайская CXMT почти догнала Samsung по качеству выпуска памяти DDR5
14.08.2026 10:17:59 | ferra.ru

X выложила на GitHub исходный код своей рекомендательной ленты и добавила инструмент для проверки аккаунта на «теневой бан»
14.08.2026 10:16:12 | vc.ru

Почему Agile убивает стратегию, когда его масштабируют
14.08.2026 10:15:02 | Хабр

Чужой код, свои патчи. Зачем компании инвестируют в open source
14.08.2026 10:14:59 | Хабр

Tymbal — нейросинтезатор на одном чипе
14.08.2026 10:02:20 | Хабр

Вайбкодинг и философский камень
14.08.2026 10:00:07 | Хабр

Почти 200° обзора: проверяем SOTA-модели оценки глубины на fisheye
14.08.2026 09:54:51 | Хабр

Маркетплейсы выступили за компенсации пострадавшему бизнесу
14.08.2026 09:45:03 | it-world

Восемь тысяч акций производителя роботов Unitree не выкупили на IPO
14.08.2026 09:31:33 | it-world

Почему производители аэротакси вдруг пошли в оборонку
14.08.2026 09:24:54 | Хабр

Спутник как VPS: честная история про космический SSH, TinySat и TriSat
14.08.2026 09:15:58 | Хабр

Сеть ИОЛА, MS-DOS и Pacman: эксперимент с сетевыми адаптерами 80-х
14.08.2026 09:05:57 | Хабр

Как не сломать LLM, пока защищаешь данные: под капотом Guardrails Filter
14.08.2026 08:52:56 | Хабр

Программируемые калькуляторы. Часть 4.2. «Лаборатория счетных машин доктора Вана. 300-я серия»
14.08.2026 08:49:26 | Хабр

День 1633: объём венчурных инвестиций в мире за первую половину 2026 года вырос в 2,2 раза, а в России — сократился на 48%
14.08.2026 08:39:43 | vc.ru

Предварительная трансляция макро в HomeLisp
14.08.2026 08:34:45 | Хабр

SpaceXAI Маска выпустила ИИ-модель Grok 4.6, которую тренировали на сложных задачах
14.08.2026 08:18:01 | ferra.ru

Пишем свой Native Filter плагин для Apache Superset: пошаговый рабочий туториал
14.08.2026 08:14:53 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Что важнее — цена или надежность? Водители раскрыли главный секрет выбора авто
17.10.2026 09:37:00 | За рулем

WSJ: Появление у России новых реактивных дронов застало Украину врасплох
17.10.2026 03:02:00 | Российская Газета

В Индии ИИ-агенты взломали системы компаний и получили доступ к секретным данным
17.10.2026 02:58:00 | Life.ru

В США заявили о близости разрыва отношений Трампа и Зеленского
17.10.2026 02:55:54 | Lenta.ru

В Евросоюзе призвали США принять «конец американского мира»
17.10.2026 02:55:10 | РБК

Пять самолетов турецкой авиакомпании развернулись на пути в Москву
17.10.2026 02:53:13 | Lenta.ru

Шрёдер назвал Евросоюз главным проигравшим после Украины в конфликте с РФ
17.10.2026 02:48:30 | Life.ru

Уволенный через 11 дней экс-чиновник Белого дома заявил о побитом рекорде
17.10.2026 02:41:31 | РБК

На Камчатке гид бросил 15 туристов без еды, воды и связи у вулкана
17.10.2026 02:40:31 | Life.ru

Группа конгрессменов хочет, чтобы дизельную сделку между РФ и США запретили
17.10.2026 02:36:00 | Российская Газета

Диетолог рассказала о пользе грецких орехов для здоровья сосудов
17.10.2026 02:33:00 | Lenta.ru

Пленный из ВСУ сообщил, что украинские солдаты месяцами ждали эвакуации
17.10.2026 02:30:58 | ТАСС

Мирошник рассказал о конвейере пыток в тайных тюрьмах ВСУ
17.10.2026 02:30:50 | Lenta.ru

Онищенко допустил техническую возможность пересадки головы человеку
17.10.2026 02:30:38 | ТАСС

Запросы Киева будут расти: фон дер Ляйен призвала ЕС и партнёров готовиться к новым расходам
17.10.2026 02:27:04 | Life.ru

Чехия раскрыла возможную сумму средств Украине из ЕС в 2027 году
17.10.2026 02:24:00 | Lenta.ru

"Россия" корректирует расписание полетов в связи с ограничениями в Москве
17.10.2026 02:17:07 | ТАСС

NYT описала Каракас без «смертей от Blackberry» и похищений
17.10.2026 02:16:43 | РБК

В США предупредили о проблемах с поставками оружия Украине из-за войны в Иране
17.10.2026 02:16:00 | Lenta.ru

В Конгрессе США добиваются блокировки сделки Трампа с Россией по дизелю
17.10.2026 02:11:00 | Life.ru

Мирошник: Киев запустил конвейер пыток в тайных тюрьмах и пытается это замолчать
17.10.2026 02:09:00 | Российская Газета

"Аэрофлот" корректирует расписание части рейсов
17.10.2026 02:07:59 | ТАСС

На Камчатке проверят информацию об оставленных в опасности туристах
17.10.2026 02:03:20 | ТАСС

Трамп заявил, что подтасовка выборов в США привела к конфликту на Украине
17.10.2026 02:03:10 | РБК

Марочко сообщил о попытках Киева сдержать ВС РФ под Купянском
17.10.2026 02:02:30 | ТАСС

ТАСС: ВСУ отводят силы под Славянск и Краматорск
17.10.2026 02:01:24 | ТАСС

На свалку от одного скачка: Эта техника первой ломается при перепадах напряжения
17.10.2026 02:00:00 | Life.ru

США передали РФ список компаний, которые готовы закупать российский дизель // Новак: Минэнерго США передало РФ список готовых к импорту дизеля компаний
17.10.2026 01:56:14 | Коммерсантъ

США передали РФ список компаний, которые готовы закупать российский дизель // Минэнерго США передало РФ список готовых к импорту дизельного топлива компаний
17.10.2026 01:56:14 | Коммерсантъ

В аэропортах Костромы, Шереметьево и Ярославля ввели ограничения
17.10.2026 01:55:44 | ТАСС

Конгрессмены внесли законопроект о блокировании сделки РФ и США по дизелю
17.10.2026 01:55:31 | ТАСС

Скандал в Испании: «Реал» потребовал отставки главы Ла Лиги из-за слов о пропаганде нацистов
17.10.2026 01:54:00 | Life.ru

NYT: отношения Трампа и Зеленского близки к разрыву
17.10.2026 01:51:47 | ТАСС

Педиатр предупредила о последствиях переноса школьных уроков на более позднее время
17.10.2026 01:51:04 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro