Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Детектор был прав, разметка врала: как мы искали слепую зону LLM-судей и нашли ошибки в эталоне

08.07.2026 12:28:35 | Хабр

Хабы: Искусственный интеллект, Машинное обучение

Мы собрали training‑free детектор галлюцинаций из шести готовых языковых моделей, получили хорошие метрики и наткнулись на красивую загадку: группу примеров, которые все судьи единогласно считали корректными, хотя эталонная разметка помечала их как галлюцинации.

На первый взгляд это выглядело как универсальная слепая зона LLM‑as‑judge — переносимый и потенциально важный результат. Однако собственная процедура проверки показала обратное: большей части этих меток не удалось пройти сверку с первоисточником. Судьи всё это время были правы.

Эта статья не столько о детекторе и не о предполагаемой слепой зоне, сколько о процедуре проверки, которая в итоге поймала нас самих.

Читать далее

Подробнее

Читайте также

Как я научил LLM попадать в 1С с первого раза
08.07.2026 12:21:40 | Хабр

Не закрывайте глаза: неочевидные ошибки работы CRM-системы в компании
08.07.2026 12:17:59 | Хабр

AI-дайджест #2
08.07.2026 12:09:44 | Хабр

Загадочный робот-собака 1912 года, который все забыли
08.07.2026 12:00:58 | Хабр

В России предложили внедрять автономных роботов в огнеупорной промышленности
08.07.2026 11:58:01 | ferra.ru

Ваш бот всё ещё дёргает Telegram каждую секунду? Чиним архитектуру: вебхуки на FastAPI в контейнере
08.07.2026 11:53:58 | Хабр

Xiaomi анонсировала автомобильный суббренд Sky Nomad — первой моделью станет гибридный внедорожник
08.07.2026 11:32:12 | vc.ru

Infinix GT 50 Pro: холодный расчет, который видно
08.07.2026 11:20:00 | it-world

Дизайнеры не должны договариваться о том, как оформлять макеты. Как мы сформировали дизайн-стандарт
08.07.2026 11:18:00 | Хабр

Рынок труда перестал быть рынком кадрового голода. Но легче почему-то от этого не стало…
08.07.2026 11:10:43 | Хабр

Я собрал кнопку, которая сотрёт прогресс всех моих игроков. И до сих пор боюсь её нажать
08.07.2026 11:10:00 | Хабр

ИИ снова закрывается: почему нейросети оказались на грани блокировок
08.07.2026 11:00:23 | Хабр

Топ вопросов с NLP собеседований: обучение LLM, prompt-engineering и alignment
08.07.2026 10:59:18 | Хабр

СМИ: Агентство кибербезопасности США использовало ИИ Anthropic
08.07.2026 10:55:48 | ferra.ru

Учимся писать свой Prometheus exporter на Go с нуля. Часть 1
08.07.2026 10:30:06 | Хабр

Kodacode релиз v1.0. Новая модель Koda pro основанная на GLM 5.2
08.07.2026 10:19:59 | Хабр

[Перевод] Что такое сверхмассивные чёрные дыры, что о них знают астрономы и что пока не поняли
08.07.2026 10:19:20 | Хабр

Как я искал себе читалку и придумал новый формат электронных книг для изучающих язык
08.07.2026 10:15:20 | Хабр

Три пульсометра на одном графике: кто из них врёт
08.07.2026 10:13:01 | Хабр

Четыре штата США потребовали оштрафовать Meta* в общей сложности на $1,4 трлн за «формирование зависимости» от соцсетей у детей
08.07.2026 10:12:04 | vc.ru

Как я разработал легковесный Guardrails для русского языка
08.07.2026 10:05:27 | Хабр

Как маркетплейсы победили интернет-магазины и что будет дальше
08.07.2026 09:59:33 | Хабр

Нейросеть — плохой калькулятор, и это не баг
08.07.2026 09:59:06 | Хабр

Как я подключал к нейросетям своего деда, который распечатывает электронные письма
08.07.2026 09:55:02 | Хабр

Тридцать тысяч плиток: что я понял, неделю копаясь в каталогах ИИ-сервисов
08.07.2026 09:50:35 | Хабр

Разбираемся с лицензией Redis. И что выбрать продуктовой команде
08.07.2026 09:49:15 | Хабр

Терминал, чат и снова кнопки: почему интерфейсы нейросетей ходят по кругу
08.07.2026 09:46:58 | Хабр

2000+ развертываний в день: как мы строили DevOps-конвейер для 300 микросервисов и куда идем дальше
08.07.2026 09:35:56 | Хабр

Как мы автоматизировали реферальную программу и запустили цифровой сервис «Рекомендовать кандидата»
08.07.2026 09:35:06 | Хабр

Фотосессия по вашему фото через ИИ бесплатно
08.07.2026 09:31:47 | Хабр

[Перевод] Reflection замедляет ваш Java-код. Почему?
08.07.2026 09:23:32 | Хабр

Samsung проведёт презентацию Galaxy Unpacked 22 июля 2026 года — на ней представят новое поколение складных смартфонов и «умных» часов
08.07.2026 09:08:36 | vc.ru

Существуют ли во Вселенной скрытые измерения?
08.07.2026 09:01:13 | Хабр

DS MCP: как дать AI-агенту знание о вашей дизайн-системе
08.07.2026 09:00:12 | Хабр

ИИ задеплоит за тебя. А дежурить кто будет?
08.07.2026 08:58:32 | Хабр

Смотреть все

НОВОСТИ

В Москве на пересдачу ЕГЭ пришло пять выпускников, получивших 99 баллов
09.07.2026 12:17:33 | ТАСС

Что европейцам делать с револьверами от Эрдогана?
09.07.2026 12:17:00 | Российская Газета

В Подмосковье около 2,4 млн человек проверили свое здоровье с начала года
09.07.2026 12:16:59 | ТАСС

Готовивший теракт против военного с помощью дрона должен был пройти подготовку на Украине
09.07.2026 12:16:48 | ТАСС

Представитель группы "Звери" опровергла слухи об их уходе со сцены
09.07.2026 12:16:31 | ТАСС

В Кузбассе снизился ажиотажный спрос на бензин
09.07.2026 12:15:42 | ТАСС

Системы ПВО Кувейта сбили 4 ракеты и 10 БПЛА
09.07.2026 12:15:10 | ТАСС

Ticketland заявил о росте средней стоимости билетов в театр за год на 13%
09.07.2026 12:14:01 | ТАСС

На телах девочек, найденных в Туве, нет признаков насильственной смерти
09.07.2026 12:13:52 | ТАСС

В Москве перенесли на 1 августа запуск новых уличных зон "Острова мечты"
09.07.2026 12:12:57 | ТАСС

Fars: в МИД Ирана вызвали посла Великобритании
09.07.2026 12:11:58 | ТАСС

Porsche за первое полугодие 2026 года поставила на 16% меньше автомобилей
09.07.2026 12:11:36 | ТАСС

«Работают на пределе»: В Совфеде высоко оценили работу ФСБ после срыва серии крупных терактов
09.07.2026 12:11:24 | Life.ru

Умерла певица Бонни Тайлер
09.07.2026 12:11:19 | ТАСС

Скрывшегося после совершения убийств в Таганроге мужчину обнаружили в Ростове-на-Дону
09.07.2026 12:11:10 | ТАСС

Минобороны Украины признало провалы мобилизации после бунта во Львове
09.07.2026 12:11:03 | Life.ru

В Приангарье нашли тела мужчины и ребенка, пропавших во время сплава
09.07.2026 12:10:45 | ТАСС

Зеленский: Украина получит ракеты Patriot PAC-3 , но не буду раскрывать, когда
09.07.2026 12:09:53 | Life.ru

Минздрав будет использовать ИИ для раннего обнаружения рисков дефицита лекарств
09.07.2026 12:09:42 | ТАСС

Президент Ливана призвал Израиль прекратить огонь
09.07.2026 12:09:34 | ТАСС

Россиян накрыла «эпидемия» обмороков из-за отказа от отпусков
09.07.2026 12:09:20 | Life.ru

Слова «неоноклюз» и «трон» пробились в эфир Радио Судного дня
09.07.2026 12:09:07 | Life.ru

Украину предупредили о трудностях с производством ракет для Patriot
09.07.2026 12:08:08 | Lenta.ru

Голикова: мнения о воздействии продуктов питания на организм постоянно меняются
09.07.2026 12:07:57 | ТАСС

В Белоруссии назвали спокойной ситуацию на автозаправках
09.07.2026 12:07:42 | ТАСС

Агрессия в сторону Ирана — это блеф Трампа для друзей из НАТО, уверен политолог
09.07.2026 12:07:24 | Life.ru

В Краснодаре арестовали готовившего по заданию СБУ теракт против военного
09.07.2026 12:07:11 | ТАСС

Лукашенко рассказал, что на встрече с Мирзиёевым пили только сок
09.07.2026 12:06:47 | ТАСС

Махачкалинское "Динамо" выкупило права на Аларкона
09.07.2026 12:06:17 | ТАСС

ТАСС: ВФЛА оспорила в CAS решение World Athletics продлить отстранение россиян
09.07.2026 12:05:42 | ТАСС

Мужчина сорвал джекпот спустя 15 лет после выигрыша в ту же лотерею
09.07.2026 12:05:38 | Lenta.ru

В Новосибирской области при пожаре погибли три человека
09.07.2026 12:04:15 | ТАСС

Депутат Госдумы матом и криком ответил на вопрос об участии в СВО. После этого ему предложили сдать мандат и уйти на фронт
09.07.2026 12:02:55 | Lenta.ru

Пашинян договорился с Мишустиным по вопросу запрета на импорт товаров
09.07.2026 12:02:46 | Life.ru

Джастин Бибер присоединился к Мадонне и Шакире на финале ЧМ-2026
09.07.2026 12:02:39 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro