[Перевод] HUME — новый метод AB тестирования ИИ моделей в задачах анализа текста

08.05.2026 06:04:37 | Хабр

Хабы: Искусственный интеллект

Исследователи Сбера вместе с зарубежными исследователями создали специальный тест HUME, который оценивает, насколько хорошо люди и современные ИИ-модели справляются с анализом текста: классификацией, кластеризацией, поиском похожих текстов, ранжированием.

Кратко: Ученые создали тест, чтобы сравнить людей и самые современные ИИ-модели (те, которые переводят слова в числа — эмбеддинги) в заданиях на понимание смысла. И выяснили, что люди пока что умнее в "тонких" вещах, особенно с неродным для ИИ языком.

Проблема: Мы часто хвалим ИИ за высокие баллы в бенчмарках (тестах). Но как понять, хорош ли результат 85%? Может, для человека эта задача проще, и он справился бы на 95%? Или, наоборот, задача настолько сложна и запутана, что человек показал бы только 60%? Без "человеческого ориентира" цифры теряют смысл.

Авторы создали новый способ оценки (HUME — Human Evaluation Framework for Text Embeddings), который позволяет напрямую сравнить людей с ИИ-моделями в задачах анализа текста.

Результаты и выводы:

Подробнее

Читайте также

Математический анализ для разработчика: что действительно нужно понимать
08.05.2026 06:04:20 | Хабр

Как устроено взыскание дебиторской задолженности в арбитражном суде: сроки, этапы и узкие места процесса
08.05.2026 06:01:51 | Хабр

Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента
08.05.2026 06:00:50 | Хабр

Тёмные лошадки IT: пять человек, которые определяют индустрию, но о которых мало кто слышал
08.05.2026 06:00:50 | Хабр

Контроль пройден: почему в машиностроении уже недостаточно принципа «влезет / не влезет»
08.05.2026 06:00:41 | Хабр

[Перевод] История развития моделей прогнозирования погоды: полная версия
08.05.2026 05:59:12 | Хабр

Почему почти вся «защита» глаз от дисплеев — чистый маркетинг
08.05.2026 05:30:45 | Хабр

Почему нейросети — это тупик? Новый взгляд на архитектуру искусственного интеллекта
08.05.2026 05:24:01 | Хабр

Как у клиента с восемью продуктовыми командами мы построили AI Kit
08.05.2026 05:22:42 | Хабр

Привет, GT! Я сделал свой луноход и закрыл гештальт
08.05.2026 05:05:39 | Хабр

Как ускорить поиск фраз в Manticore Search
08.05.2026 04:57:57 | Хабр

Скрипач не нужен: Выживут ли музыканты в эпоху нейронок?
08.05.2026 03:30:24 | Хабр

Rust и Docker
08.05.2026 02:54:30 | Хабр

В России создали комплекс для ускоренного обучения ИИ для БПЛА
07.05.2026 23:59:46 | ferra.ru

Как Сетунь обогнала время и проиграла кремнию
07.05.2026 23:36:16 | Хабр

В России разработали зимнее биотопливо для дизельной техники
07.05.2026 23:18:26 | ferra.ru

Невидимый враг многопоточности: False Sharing и кэш-линии процессора
07.05.2026 23:15:58 | Хабр

Я созидатель, а ты ССД #1
07.05.2026 23:11:24 | Хабр

На Character.AI подали в суд за чат-ботов, которые выдают себя за врачей
07.05.2026 23:10:05 | ferra.ru

В России нашли ген, который мешает восстановлению после травм позвоночника
07.05.2026 22:32:26 | ferra.ru

Qualcomm подтвердила: наушники с XPAN (замена Bluetooth) выйдут очень скоро
07.05.2026 22:18:31 | ferra.ru

В России обсудили контроль ИИ при работе с архивами
07.05.2026 22:14:17 | ferra.ru

В Сеченовском университете создали систему доставки лекарств от рака через нос
07.05.2026 22:06:59 | ferra.ru

В Ростовской области расширят доступ к проводному интернету
07.05.2026 21:39:56 | ferra.ru

Apple разрешит людям самим выбирать, какая ИИ-модель будет работать в iOS 27
07.05.2026 21:10:03 | ferra.ru

Технотекст 8: длинные списки превращаются в элегантные шорт-листы
07.05.2026 20:46:58 | Хабр

Психологический фундамент для ИИ-трансформации: как HR-проект стал драйвером новой линейки услуг
07.05.2026 20:38:13 | Хабр

Упор на игры, камеры и экономию энергии: представлены Snapdragon 4 Gen 5 и 6 Gen 5
07.05.2026 20:18:26 | ferra.ru

Гравитационный модем: Как построить 100-гигабитный канал связи сквозь ядро Земли
07.05.2026 20:17:11 | Хабр

«Северсталь» запатентовала тоннель, который строят под дорогой без её перекрытия
07.05.2026 19:45:00 | ferra.ru

Библиотека SNMP на Go, зачем я создал еще одну и чем она может быть интересна
07.05.2026 19:21:01 | Хабр

Вероятно, последняя попытка сохранить интернет — «СтопЧебурнет»
07.05.2026 19:16:30 | Хабр

Один митинг, четыре реальности: почему умные люди на одной встрече слышат разные задачи
07.05.2026 19:15:41 | Хабр

Opus 4.7 vs GPT-5 vs DeepSeek V4-Pro: три агента строят TSS-CLI на Rust
07.05.2026 19:13:48 | Хабр

Как устроен словарь в CPython: compact dict, key sharing и что с ним делает free-threading
07.05.2026 19:10:48 | Хабр

Смотреть все

НОВОСТИ

ТАСС: суточная закачка газа в хранилища Европы находится на минимуме с 2011 года
07.08.2026 10:24:01 | ТАСС

Ливень с грозой может начаться в Москве после 15:00 мск
07.08.2026 10:23:49 | ТАСС

Бюллетень о защите детей в ходе СВО опубликовали еще на трех языках
07.08.2026 10:22:35 | ТАСС

В семейных МФЦ получили помощь более 160 тыс. семей
07.08.2026 10:22:35 | ТАСС

В Оренбурге девушка выпала с балкона 12 этажа
07.08.2026 10:22:14 | ТАСС

Reuters: транзит в Ормузском проливе на неделе сократился на треть
07.08.2026 10:22:10 | ТАСС

Российский турист перенес инфаркт в Шанхае и был спасен с помощью онлайн-переводчика
07.08.2026 10:19:13 | Lenta.ru

Двух рыбаков из Магадана осудили за незаконный оборот морепродуктов
07.08.2026 10:19:08 | ТАСС

ЦБ купил юани на 4,8 млрд рублей с расчетами 6 августа
07.08.2026 10:18:51 | ТАСС

Возгорания на складе Wildberries в Екатеринбурге удалось локализовать
07.08.2026 10:18:30 | Life.ru

Поддержавший ВСУ Иван Дорн заработал на курсах на русском языке
07.08.2026 10:18:17 | Lenta.ru

Грибной суп с картофелем: классический рецепт, крем-суп и сушёные грибы
07.08.2026 10:18:12 | Life.ru

КРДВ: новый микрорайон Владивостока обеспечит жильем сотрудников инвестпроектов
07.08.2026 10:18:10 | ТАСС

Жители трех регионов Украины остались без света
07.08.2026 10:18:09 | ТАСС

В России отреагировали на получение Украиной 200 миллиардов долларов от Запада
07.08.2026 10:18:04 | Lenta.ru

В Киргизии из-за непогоды закрыли сезон восхождения на пик Победы
07.08.2026 10:17:29 | ТАСС

Литва добивается от НАТО и ЕС допмер по защите критической инфраструктуры
07.08.2026 10:17:24 | ТАСС

В Индии объявили красный уровень опасности из-за ливней в Нью-Дели
07.08.2026 10:15:47 | ТАСС

Российский пенсионер обманул мошенников и подменил миллионы газетами
07.08.2026 10:15:42 | Lenta.ru

ТАСС: летчиков рухнувшего в Приангарье самолета допросили в роли свидетелей
07.08.2026 10:15:40 | ТАСС

РФ в I полугодии увеличила выручку от экспорта растворимого кофе почти на четверть
07.08.2026 10:15:36 | ТАСС

Первый этап строительства с РФ солнечной электростанции в Киргизии запустят 31 августа
07.08.2026 10:15:33 | ТАСС

Профессия, стаж и условия труда: Какие россияне имеют право на досрочную пенсию
07.08.2026 10:14:38 | Life.ru

ФСБ: сотрудники нелегальных криптообменников в Москве знали, что средства идут на Украину
07.08.2026 10:14:28 | ТАСС

Отстраненный за допинг Заболотный стал игроком клуба Медиалиги "СКА-Ростов"
07.08.2026 10:13:59 | ТАСС

Мишустин: ЕАЭС утвердит единые правила работы маркетплейсов
07.08.2026 10:13:24 | Life.ru

В самарском аэропорту задерживаются 24 рейса
07.08.2026 10:13:19 | ТАСС

ФСБ закрыла криптообменники в "Москва-сити", связанные с кол-центрами на Украине
07.08.2026 10:13:00 | Российская Газета

ФСБ в "Москва-сити" закрыла криптообменники, связанные с кол-центрами на Украине
07.08.2026 10:13:00 | Российская Газета

Оверчук заявил о намерении ЕАЭС вести переговоры о ЗСТ со странами Африки
07.08.2026 10:12:36 | ТАСС

Bloomberg: угроза картелей в Мексике может создать дефицит авокадо в США
07.08.2026 10:12:23 | ТАСС

В Челябинской области задержали сторонника украинских националистов
07.08.2026 10:11:53 | ТАСС

Ворвался в квартиру следом за ребёнком: На Сахалине ищут напавшего на 10-летнюю девочку
07.08.2026 10:10:28 | Life.ru

На Московскую область обрушится жара в плюс 35 градусов
07.08.2026 10:10:04 | Lenta.ru

В Самаре нашли пропавшего 1 августа мальчика
07.08.2026 10:09:59 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro