Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Тестирование LLM‑фичи: можно ли верить своему eval

15.10.2026 14:05:21 | Хабр

Хабы: Блог компании OTUS, Тестирование IT-систем, Искусственный интеллект, Машинное обучение, Карьера в IT-индустрии

Eval показывает 96% качества, тесты проходят, а после релиза LLM‑ассистент допускает критическую ошибку. Проблема может скрываться в самой системе оценки, которая пропускает опасные ответы и создаёт ложное ощущение надёжности. Разбираем семь ошибок тестирования LLM‑функций и способы построить eval, результатам которого действительно можно доверять.

Проверить свой eval

Подробнее

Читайте также

Слово знаю, а вспомнить не успеваю
15.10.2026 14:00:20 | Хабр

В России научились определять границы заплеска цунами без видимых следов
15.10.2026 13:48:22 | ferra.ru

Когда мигрень «играет не по правилам»: случай из практики невролога
15.10.2026 13:47:30 | Хабр

MCP-сервер с авторизацией: что мы сделали, чтобы это было безопасно
15.10.2026 13:35:41 | Хабр

«Яндекс Директ — всё? Протрезвев от performance, возвращаемся к маркетингу»
15.10.2026 13:30:25 | Хабр

7 шагов для подготовки инфраструктуры к высоким нагрузкам, атакам и сбоям
15.10.2026 13:30:01 | Хабр

Yandex Cloud не работает пятый день. Как мы с него переехали
15.10.2026 13:29:15 | Хабр

Как объяснить ребёнку, зачем учиться, если всё может сделать нейросеть
15.10.2026 13:26:25 | Хабр

Мессенджер с признаками параноидального расстройства
15.10.2026 13:23:27 | Хабр

Как запустить Super Mario Bros на Xiaomi Mi Band 4
15.10.2026 13:15:59 | Хабр

Банковские регуляторы США и Европы испугались роста киберугроз из-за ИИ
15.10.2026 13:11:06 | ferra.ru

Выручка Anthropic достигла $16,8 млрд в третьем квартале
15.10.2026 13:10:58 | ferra.ru

Я делаю Flora: соцсеть, где у сервера шифртекст, а у ленты открытая формула
15.10.2026 13:09:16 | Хабр

Федеральный суд США обязал возобновить программу розыгрыша грин-карт — о её приостановке рассказали в 2025 году
15.10.2026 13:06:23 | vc.ru

Почему маркетплейс строит свой поиск
15.10.2026 13:00:15 | Хабр

Сделала Million Dollar Homepage для творчества, но что‑то пошло не так
15.10.2026 12:49:39 | Хабр

MicroBuild: DOOM‑Style движок на AVR
15.10.2026 12:47:57 | Хабр

Облако, NAS или два внешних диска: что дешевле и надёжнее для 3 ТБ в 2026 году
15.10.2026 12:44:09 | Хабр

Ученые АлтГУ запатентовали метод поиска изображений на древних изваяниях
15.10.2026 12:42:15 | ferra.ru

543 уязвимости в индустриальном стандарте: отлавливаем бреши в FFmpeg
15.10.2026 12:38:45 | Хабр

GENATATOR: учим языковые модели для ДНК восстанавливать структуру генов
15.10.2026 12:38:17 | Хабр

Грабли Microsoft 365, о которые я споткнулся, пока делал «админку поверх админки»
15.10.2026 12:29:27 | Хабр

DSP на ADAU1701 (версия 2): разработка, устройство, плюсы и минусы
15.10.2026 12:19:35 | Хабр

Выбор SIEM: что на самом деле решает. Опрос
15.10.2026 12:16:57 | Хабр

Как фронтенд‑команде сделать мобильное приложение без нативных разработчиков
15.10.2026 12:15:00 | Хабр

Машина БЭСМ-6 и оценка её производительности в эмуляторе
15.10.2026 11:58:49 | Хабр

«Т-Банк» отменил комиссии за переводы в Таиланд по номеру счёта через SWIFT
15.10.2026 11:43:52 | vc.ru

Дельты, Jinja и HTML в сводных таблицах SuperSet
15.10.2026 11:41:33 | Хабр

В Новосибирске разработали рентгеноконтрастный состав для эмболизации сосудов
15.10.2026 11:40:53 | ferra.ru

Phygital в стоматологии: SPLAT представила экспресс-диагностику на базе компьютерного зрения
15.10.2026 11:40:21 | it-world

[Перевод] Облако в 1600 км, которое ежедневно появляется на Марсе, подчиняется невиданной на Земле «экзотической физике»
15.10.2026 11:34:47 | Хабр

Психологический профиль предпринимателя. Выраженные паттерны и что с этим делать
15.10.2026 11:24:55 | Хабр

Flaky на заказ: стенд для тренировки стабильных e2e-тестов на Playwright
15.10.2026 11:12:01 | Хабр

Базовый Redmi K100 прошёл сертификацию в Китае. Он получит зарядку мощностью 100 Вт
15.10.2026 11:11:15 | ferra.ru

Почему раньше Windows переустанавливали каждые полгода, а теперь можно годами жить на одной
15.10.2026 11:02:11 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Звезда сериала «Слово пацана» Рузиль Минекаев с женой узнали пол второго ребёнка
15.10.2026 19:47:42 | Life.ru

Джинсы Tom Ford с дырами на ягодицах вызвали ажиотаж в сети
15.10.2026 19:46:08 | Lenta.ru

Два человека погибли при пожаре в ангаре в Подольске
15.10.2026 19:44:05 | Коммерсантъ

Поляки из-за наркотиков похитили украинца, били его молотком и обливали кипятком
15.10.2026 19:44:00 | Российская Газета

Дом футболиста «Бетиса» Антони ограбили во время матча с «Порту»
15.10.2026 19:43:37 | Life.ru

Хватает за интимные места и уезжает: «Педальный маньяк» терроризирует девушек в Омске
15.10.2026 19:42:52 | Life.ru

Москвичей предупредили о туманных днях
15.10.2026 19:42:41 | Lenta.ru

SANA: на северо-востоке Сирии из-за нападения произошел пожар на газопроводе
15.10.2026 19:39:41 | ТАСС

В Якутске создадут Арктический медиахаб с участием Mash: Проект стал результатом работы профильной группы Госдумы
15.10.2026 19:39:23 | Life.ru

Денис Арапов рассказал о создании Арктического медиахаба с участием Mash
15.10.2026 19:39:23 | Life.ru

Путин поинтересовался, как проект нового моста скажется на облике Петербурга
15.10.2026 19:38:17 | ТАСС

Минпромторг проработает регулирование онлайн-мониторинга промпредприятий
15.10.2026 19:38:12 | ТАСС

Строительство дата-центров в отработанных угольных карьерах назвали слишком дорогим
15.10.2026 19:36:57 | Lenta.ru

Путин призвал заниматься вопросами репродуктивного здоровья в России
15.10.2026 19:36:25 | ТАСС

"Газпром энергохолдинг" за девять месяцев снизил выработку электроэнергии на 5%
15.10.2026 19:36:07 | ТАСС

Путин призвал серьёзно относиться к репродуктивному здоровью россиян
15.10.2026 19:35:20 | Life.ru

The Atlantic: Сделка Путина и Трампа лишила Киев главной надежды на победу
15.10.2026 19:35:14 | Life.ru

Запасы нефти в США за неделю снизились на 8,6 млн баррелей
15.10.2026 19:35:05 | ТАСС

Путин в шутку призвал не спекулировать на строительстве Петербурга на болоте
15.10.2026 19:35:00 | ТАСС

Названы любимые направления китайских туристов в России
15.10.2026 19:34:00 | Lenta.ru

Российские дзюдоисты получили приглашение на открытый чемпионат Белоруссии
15.10.2026 19:33:07 | ТАСС

Мадуро и его жена отвергли новые обвинения на заседании суда в Нью-Йорке
15.10.2026 19:32:46 | ТАСС

Индийский бизнес оценил потенциал товарооборота с РФ в $500 млрд за три года
15.10.2026 19:32:33 | ТАСС

Растрату подсчитают заочно // Начался процесс по делу бывшего зампреда «Роснано»
15.10.2026 19:32:28 | Коммерсантъ

Лавров: премия "Евразия" способствует созданию мира и безопасности континента
15.10.2026 19:32:05 | ТАСС

В ФРГ арестовали четырех человек за кражу более 25 тыс. литров дизтоплива
15.10.2026 19:31:36 | ТАСС

Time опубликовал обложку с фотографией нового гендиректора Apple
15.10.2026 19:31:22 | ТАСС

В Петербурге мошенники убедили пенсионерку отдать им 3 млн рублей
15.10.2026 19:30:14 | ТАСС

«Сделали свой выбор и пошли вон»: Политолог высмеял восторг Лёвы* из «Би-2» от молдавского паспорта
15.10.2026 19:30:03 | Life.ru

Не ты проиграл — тебя «слили»? Block Blast заподозрили в манипуляциях ради рекламы
15.10.2026 19:29:55 | Life.ru

Минсельхоз рассмотрит дополнительные меры регулирования импорта молока
15.10.2026 19:29:31 | ТАСС

Инфантино извинился за продажу прав на проведение чемпионата мира
15.10.2026 19:28:59 | Lenta.ru

Россиянам назвали основные признаки заболевания суставов
15.10.2026 19:28:21 | Lenta.ru

Диетолог раскрыла неприятные последствия отказа от жиров
15.10.2026 19:27:55 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro