Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой

14.08.2026 11:53:31 | Хабр

Хабы: Natural Language Processing, Машинное обучение, Искусственный интеллект, Поисковые технологии

В прошлой статье серии мы сжимали эмбеддинги и замеряли, насколько изменится выдача относительно полного fp32-поиска. Там это был правильный вопрос: ломает ли квантизация уже существующий retrieval.

Но у такого замера есть неприятное слепое пятно. Можно аккуратно сохранить 99% выдачи исходного эмбеддера и все равно плохо находить нужные документы на своем домене. Внешний бенчмарк, даже сильный, этого не гарантирует. BEIR как раз был создан, чтобы показать, насколько результаты retrieval меняются между разными задачами и доменами; один усредненный скор там не заменяет проверку на собственных данных.

Нужен свой eval set. И тут обычно возникает ложная развилка:

Читать далее

Подробнее

Читайте также

До ChatGPT когнитивным долгом управляли начальники. Теперь — все
14.08.2026 11:46:58 | Хабр

Как я перестал разрывать архитектуру на десяток документов — и сделал свой C4-редактор
14.08.2026 11:41:12 | Хабр

Tecno Pova 7 Ultra: «долгоиграющий» смартфон с выносливым процессором
14.08.2026 11:35:44 | ferra.ru

Как ИИ в строительстве помогает сберечь здоровье рабочих: кейс строительной компании
14.08.2026 11:33:40 | Хабр

Отчёт «Делимобиля» за квартал: выручка — 7,5 млрд рублей, убыток — 664 млн рублей
14.08.2026 11:31:19 | vc.ru

Цена, которой не существовало: две недели поиска бага, который не видел мониторинг
14.08.2026 11:30:33 | Хабр

Почему e2e тесты это круто, но никто их не пишет. На примере Laravel Dusk
14.08.2026 11:29:46 | Хабр

Итоги сезона DIY: луноход, бинарные часы и стоп‑сигнал в котельной
14.08.2026 11:20:48 | Хабр

Astryx: дизайн-система, которой может пользоваться AI-агент
14.08.2026 11:10:13 | Хабр

Как агентский ИИ перестраивает клиентский опыт
14.08.2026 11:09:05 | Хабр

Как не проиграть свою голову в битве с AI
14.08.2026 11:01:36 | Хабр

Как стать AI-разработчиком, если ты маркетолог? Моя история
14.08.2026 10:59:59 | Хабр

Наши книги о LLM: состояние дел по готовящимся новинкам
14.08.2026 10:46:12 | Хабр

Что важнее для игр: частота памяти, тайминги или процессор
14.08.2026 10:41:56 | Хабр

Klarna у Карла украла работу: история о том, как сначала уволили 700 человек, а потом вернули, заменив ИИ живыми людьми
14.08.2026 10:30:55 | Хабр

Пишем нативные аддоны для Node.js на Rust: что умеет NAPI-RS и где он правда нужен
14.08.2026 10:26:23 | Хабр

[Перевод] Куда подевался старый веб? Мы прошли по 657 607 ссылкам, чтобы разобраться
14.08.2026 10:19:38 | Хабр

Китайская CXMT почти догнала Samsung по качеству выпуска памяти DDR5
14.08.2026 10:17:59 | ferra.ru

X выложила на GitHub исходный код своей рекомендательной ленты и добавила инструмент для проверки аккаунта на «теневой бан»
14.08.2026 10:16:12 | vc.ru

Почему Agile убивает стратегию, когда его масштабируют
14.08.2026 10:15:02 | Хабр

Чужой код, свои патчи. Зачем компании инвестируют в open source
14.08.2026 10:14:59 | Хабр

Tymbal — нейросинтезатор на одном чипе
14.08.2026 10:02:20 | Хабр

Вайбкодинг и философский камень
14.08.2026 10:00:07 | Хабр

Почти 200° обзора: проверяем SOTA-модели оценки глубины на fisheye
14.08.2026 09:54:51 | Хабр

Маркетплейсы выступили за компенсации пострадавшему бизнесу
14.08.2026 09:45:03 | it-world

Восемь тысяч акций производителя роботов Unitree не выкупили на IPO
14.08.2026 09:31:33 | it-world

Почему производители аэротакси вдруг пошли в оборонку
14.08.2026 09:24:54 | Хабр

Спутник как VPS: честная история про космический SSH, TinySat и TriSat
14.08.2026 09:15:58 | Хабр

Сеть ИОЛА, MS-DOS и Pacman: эксперимент с сетевыми адаптерами 80-х
14.08.2026 09:05:57 | Хабр

Как не сломать LLM, пока защищаешь данные: под капотом Guardrails Filter
14.08.2026 08:52:56 | Хабр

Программируемые калькуляторы. Часть 4.2. «Лаборатория счетных машин доктора Вана. 300-я серия»
14.08.2026 08:49:26 | Хабр

День 1633: объём венчурных инвестиций в мире за первую половину 2026 года вырос в 2,2 раза, а в России — сократился на 48%
14.08.2026 08:39:43 | vc.ru

Предварительная трансляция макро в HomeLisp
14.08.2026 08:34:45 | Хабр

SpaceXAI Маска выпустила ИИ-модель Grok 4.6, которую тренировали на сложных задачах
14.08.2026 08:18:01 | ferra.ru

Пишем свой Native Filter плагин для Apache Superset: пошаговый рабочий туториал
14.08.2026 08:14:53 | Хабр

Смотреть все

НОВОСТИ

Сгоревшие в Италии и Болгарии заводы были связаны с поставками оружия для ВСУ
14.08.2026 15:47:19 | Life.ru

Турецкий клуб предложил «Локомотиву» €28 млн за Батракова
14.08.2026 15:46:00 | Life.ru

Курс доллара поднялся выше 85 рублей
14.08.2026 15:42:09 | Lenta.ru

Так вот ты какой! В Московском зоопарке родился детёныш лесного северного оленя
14.08.2026 15:41:26 | Life.ru

Трофимов и Румянцева взяли золото юниорского ЧМ в смешанном дуэте
14.08.2026 15:41:08 | Life.ru

«Калашников» модернизирует тактический «КУБ»
14.08.2026 15:40:30 | Lenta.ru

«Галатасарай» снова сделал предложение «Локомотиву» по Батракову
14.08.2026 15:40:18 | Lenta.ru

Пропажей адвоката после угроз заинтересовались российские следователи
14.08.2026 15:39:30 | Lenta.ru

Женщина похудела на 95 килограммов и рассказала о «привилегиях красивых»
14.08.2026 15:39:11 | Lenta.ru

Депутат бундестага Мосдорф предостерег ЕС от провокаций против РФ в море
14.08.2026 15:39:00 | Российская Газета

Поставки пива из ЕС в Россию увеличились в 2,7 раза в июне
14.08.2026 15:37:44 | Life.ru

«Издевались, но они выстояли»: Советская гимнастка Иванова — о триумфе Мельниковой и Калмыковой на ЧЕ
14.08.2026 15:36:23 | Life.ru

Шойгу раскритиковал старые учебники за главы о «разбазаривании» природных ресурсов России
14.08.2026 15:36:18 | Lenta.ru

В Россию хлынуло польское и литовское пиво
14.08.2026 15:36:13 | Lenta.ru

Пожар произошел на территории строительного рынка в подмосковном Подольске
14.08.2026 15:35:48 | Коммерсантъ

Рынок труда остывает: В Москве и ряде регионов стало больше безработных
14.08.2026 15:34:51 | Life.ru

Белый дом подарил Рубио на 55-летие коллаж из 68 мемов с его «осознанием»
14.08.2026 15:34:44 | Life.ru

Врач объяснил причину боли в коленях перед дождем
14.08.2026 15:34:10 | Lenta.ru

Китай выдвинул требование Японии из-за визита Путина на Курилы
14.08.2026 15:34:00 | Lenta.ru

Терапевт назвала главные анализы для чекапа организма
14.08.2026 15:32:15 | Lenta.ru

«Это у них проблемы»: Сооснователь «Руки Вверх!» Потехин ответил на обвинения в алкоголизме
14.08.2026 15:32:03 | Life.ru

Рубио получил необычный подарок на день рождения от Трампа
14.08.2026 15:31:31 | Lenta.ru

Ключевая фигура в команде Трампа покинет Белый дом
14.08.2026 15:30:05 | Lenta.ru

В Норвегии раскритиковали предоставление нейтрального статуса Валиевой
14.08.2026 15:29:21 | Lenta.ru

Появилось видео обысков на рынке «Горбушка» в Москве
14.08.2026 15:28:15 | Life.ru

Часть россиян предупредили о восьмибалльном шторме и октябрьском холоде
14.08.2026 15:25:37 | Lenta.ru

Запрет русского языка в Литве ущемил украинцев
14.08.2026 15:25:16 | Lenta.ru

Звезда Comedy Woman рассказала о ДТП с мужем и доведшем ее до истерики звонке врача
14.08.2026 15:25:03 | Lenta.ru

«Страх смерти остановит»: Священник призвал ввести высшую меру наказания за педофилию
14.08.2026 15:23:34 | Life.ru

Путин проинформировал Совбез об итогах учений Тихоокеанского флота
14.08.2026 15:21:07 | Life.ru

Пассажира Ryanair затянуло в иллюминатор после столкновения самолета с птицами
14.08.2026 15:19:26 | Коммерсантъ

Россиянам назвали связь между возрастом машин и аварийностью
14.08.2026 15:19:04 | Lenta.ru

Французские политики начали жаловаться на вмешательство России в выборы
14.08.2026 15:18:22 | Lenta.ru

Стилист назвал россиянам самый модный принт в одежде на осень
14.08.2026 15:18:05 | Lenta.ru

МИД указал на одну деталь в решении Молдавии выслать российских дипломатов
14.08.2026 15:16:59 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro