Могут ли LLM находить flaky‑тесты по одному только коду теста? Разбор одного исследования

15.05.2026 16:30:55 | Хабр

Хабы: Блог компании OTUS, Тестирование IT-систем, Искусственный интеллект, Машинное обучение

Flaky‑тесты сложно ловить даже привычными инженерными методами: они ломают CI, подрывают доверие к автотестам и часто воспроизводятся только тогда, когда уже никто не понимает почему. Кажется логичным поручить такую задачу LLM: показать модели код теста и попросить определить, насколько он подозрительный.

В статье разбираем исследование, где этот подход проверили на практике, и смотрим, почему хорошие метрики на датасете ещё не означают, что модель действительно понимает природу flaky‑поведения.

Читать разбор

Подробнее

Читайте также

Опус от Claude Opus «Рефлексия о промпт-инжиниринге»
15.05.2026 16:26:23 | Хабр

В японской Исикаве откроется аэропорт в стиле Pokemon — так Nintendo решила помочь экономике префектуры восстановиться после землетрясения в 2024 году
15.05.2026 16:19:05 | vc.ru

Космический шредер: куда на самом деле деваются ваши биты информации в чёрной дыре?
15.05.2026 16:15:38 | Хабр

Сравнение моделей конкурентности JVM языков: Нужен ли еще ThreadPool после coroutines, ZIO и Virtual Threads?
15.05.2026 16:12:19 | Хабр

Корпоративная архитектура: 6 антипаттернов и как их избежать
15.05.2026 16:11:52 | Хабр

Все мы родом из наших мультфильмов
15.05.2026 16:11:48 | Хабр

В iOS 27 дадут настраивать кнопки камеры
15.05.2026 16:08:02 | ferra.ru

СМИ: OpenAI подаст в суд на Apple из-за интеграции ChatGPT в iOS
15.05.2026 16:06:23 | ferra.ru

12 анализов, которые стоит сдать до того, как что-то заболит
15.05.2026 16:00:51 | Хабр

РЭЦ объявил отбор логистических операторов для компенсации расходов на экспорт
15.05.2026 15:55:00 | ferra.ru

3a: Формат и тулинг для создания ASCII-анимаций
15.05.2026 15:45:04 | Хабр

Почему social-продукты умирают пустыми
15.05.2026 15:21:34 | Хабр

В России создали стенд для изучения радиационного старения детекторов
15.05.2026 15:20:16 | ferra.ru

Я заколебался искать запятую в коде бота — и написал библиотеку, чтобы диалоги жили в YAML
15.05.2026 15:10:10 | Хабр

При импортозамещении ПО в компании нашли скрытый канал утечки данных за несколько лет
15.05.2026 15:10:00 | ferra.ru

Как сделать процессор Российским
15.05.2026 15:00:57 | Хабр

Как произведенные за рубежом процессоры становятся российскими?
15.05.2026 15:00:57 | Хабр

«Ъ»: российские маркетплейсы в апреле 2026 года лишились до 10% трафика на мобильных платформах — в деньгах они могли потерять до 7 млрд рублей
15.05.2026 14:49:25 | vc.ru

Почему проекты превращаются в спагетти даже у хороших программистов
15.05.2026 14:45:50 | Хабр

GoPro сдулась и ищет кому бы продаться
15.05.2026 14:38:40 | it-world

Кэш результатов запросов в Postgres Pro: как ускорить часто выполняющиеся запросы и разгрузить базу
15.05.2026 14:30:40 | Хабр

Как E-POS решил проблему долгих онлайн-возвратов: реализация и выгоды
15.05.2026 14:15:45 | Хабр

ИИ-компания Маска xAI выпустила помощника для программистов
15.05.2026 14:11:50 | ferra.ru

Amazon опровергла слухи о разработке смартфона с ИИ
15.05.2026 14:08:02 | ferra.ru

Розница высокой доступности: как геораспределенная ИТ-инфраструктура защищает выручку
15.05.2026 14:01:47 | Хабр

Чинить нельзя откладывать: как мы приоритизируем баги в B2B-продукте
15.05.2026 14:00:59 | Хабр

ISO 12207:2026: как читать стандарт жизненного цикла ПО и что с ним делать команде
15.05.2026 13:45:02 | Хабр

Кейс Avito Ads: как студия портретов на холсте получила 332 квал. лида и окупила вложения на 232% за 1-й месяц
15.05.2026 13:38:47 | Хабр

СУБД Tantor Postgres 18: обзор улучшений для 1С
15.05.2026 13:30:38 | Хабр

Трудности обучения, или Когда безопасники отключили интернет
15.05.2026 13:30:29 | Хабр

Как запечатать Docker в образ, которому не нужен интернет
15.05.2026 13:30:29 | Хабр

Полный гайд по каналам обмена сообщениями: от теории к реальным кейсам
15.05.2026 13:10:32 | Хабр

Как избежать утечек памяти во Flutter
15.05.2026 13:03:38 | Хабр

Btrfs и btrbk: лёгкий и быстрый инкрементальный бэкап сервера и домашнего ПК
15.05.2026 13:01:10 | Хабр

Notion + RAG + Telegram: архитектура AI-копирайтера для сети ресторанов
15.05.2026 13:00:09 | Хабр

Смотреть все

НОВОСТИ

Лавров сообщил о долге Армении по взносам в ОДКБ
10.06.2026 14:28:37 | Life.ru

«Бред космического масштаба»: Захарова обрушилась на Зеленского из-за запрета русских книг
10.06.2026 14:28:26 | Life.ru

Трамп пригрозил Ирану расплатой
10.06.2026 14:26:50 | Lenta.ru

Вор в законе наделил криминальным статусом россиянина и подвел его под статью
10.06.2026 14:26:46 | Lenta.ru

ФЛССР обсудила сотрудничество с министром спорта Сербии в Белграде
10.06.2026 14:26:24 | ТАСС

ВС РФ уничтожили ударами дронов два танка ВСУ в Краматорске
10.06.2026 14:26:19 | ТАСС

В Госдуме прокомментировали идею о депортации студентов за неуспеваемость
10.06.2026 14:26:18 | Lenta.ru

При пожаре в жилом доме в московском Солнцеве пострадали три человека
10.06.2026 14:26:10 | Life.ru

Во Владимире загорелись автобус и бензовоз
10.06.2026 14:24:46 | ТАСС

Свобода вместо 19 лет колонии: Юрист объяснил, как Миримской удалось добиться УДО
10.06.2026 14:24:14 | Life.ru

В "Художественном" представят второй эпизод программы про образ Москвы в кино
10.06.2026 14:24:10 | ТАСС

В Москве хотели подорвать автомобиль сотрудника научно-производственного предприятия. Задержаны двое подростков
10.06.2026 14:24:08 | Lenta.ru

Посол РФ поблагодарил соотечественников во Франции за поддержку России
10.06.2026 14:23:53 | ТАСС

На горячую линию главврача в Подмосковье поступило более 145 тыс. звонков
10.06.2026 14:23:18 | ТАСС

Блок "Сильная Армения" еще не решил, войдет ли в состав нового парламента
10.06.2026 14:21:06 | ТАСС

Президент Финляндии призвал к диалогу с Путиным
10.06.2026 14:21:02 | Lenta.ru

Раскрыт неочевидный фактор повышенного риска варикоза
10.06.2026 14:20:29 | Lenta.ru

Лолита нашла замену сексу
10.06.2026 14:20:00 | Lenta.ru

Дедушка отомстил за сбитого кота, устроив фаер-шоу с машиной лихача
10.06.2026 14:20:00 | Life.ru

ГД увеличивает состав наблюдательных советов автономных учреждений РФ
10.06.2026 14:19:34 | ТАСС

В аэропорту Калининграда задержали 23 рейса
10.06.2026 14:19:29 | ТАСС

Считающий себя ребёнком мужчина пытался проникнуть в детский сад в Подмосковье
10.06.2026 14:18:23 | Life.ru

Премьер Ирака получил приглашение Путина на Форум экспортеров газа
10.06.2026 14:18:14 | ТАСС

Лавров высказался о переговорах с Евросоюзом по Украине
10.06.2026 14:18:00 | Lenta.ru

Захарова: В Евросоюзе не ждут Армению
10.06.2026 14:17:56 | Life.ru

«Послушать — мы послушаем»: Британия, Франция и ФРГ умоляют Лаврова о встрече
10.06.2026 14:17:55 | Life.ru

"Пари НН" должен подтвердить участие в Единой лиге ВТБ до 15 июня
10.06.2026 14:17:48 | ТАСС

Mercedes договорился о создании системы ПВО с поставщиком дронов на Украину
10.06.2026 14:17:00 | Lenta.ru

Главы МИД стран ОДКБ подписали документы в ходе заседания в Казани
10.06.2026 14:16:49 | ТАСС

Германия и Франция выступили за временные ограничения для Украины при голосовании в ЕС
10.06.2026 14:16:35 | Lenta.ru

В Грозном автомобиль влетел в пожарное депо, двое спасателей погибли
10.06.2026 14:16:28 | Life.ru

Россиянка месяц фотографировалась с трупом дочери
10.06.2026 14:16:00 | Lenta.ru

В Москве простились с заслуженной артисткой РФ Жуковской
10.06.2026 14:16:00 | ТАСС

В России спрогнозировали ситуацию на рынке парковочных мест в новостройках
10.06.2026 14:15:55 | Lenta.ru

В Чебоксарах начали восстанавливать поврежденные сети после ракетной атаки
10.06.2026 14:15:17 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro