Могут ли LLM находить flaky‑тесты по одному только коду теста? Разбор одного исследования

15.05.2026 16:30:55 | Хабр

Хабы: Блог компании OTUS, Тестирование IT-систем, Искусственный интеллект, Машинное обучение

Flaky‑тесты сложно ловить даже привычными инженерными методами: они ломают CI, подрывают доверие к автотестам и часто воспроизводятся только тогда, когда уже никто не понимает почему. Кажется логичным поручить такую задачу LLM: показать модели код теста и попросить определить, насколько он подозрительный.

В статье разбираем исследование, где этот подход проверили на практике, и смотрим, почему хорошие метрики на датасете ещё не означают, что модель действительно понимает природу flaky‑поведения.

Читать разбор

Подробнее

Читайте также

Опус от Claude Opus «Рефлексия о промпт-инжиниринге»
15.05.2026 16:26:23 | Хабр

В японской Исикаве откроется аэропорт в стиле Pokemon — так Nintendo решила помочь экономике префектуры восстановиться после землетрясения в 2024 году
15.05.2026 16:19:05 | vc.ru

Космический шредер: куда на самом деле деваются ваши биты информации в чёрной дыре?
15.05.2026 16:15:38 | Хабр

Сравнение моделей конкурентности JVM языков: Нужен ли еще ThreadPool после coroutines, ZIO и Virtual Threads?
15.05.2026 16:12:19 | Хабр

Корпоративная архитектура: 6 антипаттернов и как их избежать
15.05.2026 16:11:52 | Хабр

Все мы родом из наших мультфильмов
15.05.2026 16:11:48 | Хабр

В iOS 27 дадут настраивать кнопки камеры
15.05.2026 16:08:02 | ferra.ru

СМИ: OpenAI подаст в суд на Apple из-за интеграции ChatGPT в iOS
15.05.2026 16:06:23 | ferra.ru

12 анализов, которые стоит сдать до того, как что-то заболит
15.05.2026 16:00:51 | Хабр

РЭЦ объявил отбор логистических операторов для компенсации расходов на экспорт
15.05.2026 15:55:00 | ferra.ru

3a: Формат и тулинг для создания ASCII-анимаций
15.05.2026 15:45:04 | Хабр

Почему social-продукты умирают пустыми
15.05.2026 15:21:34 | Хабр

В России создали стенд для изучения радиационного старения детекторов
15.05.2026 15:20:16 | ferra.ru

Я заколебался искать запятую в коде бота — и написал библиотеку, чтобы диалоги жили в YAML
15.05.2026 15:10:10 | Хабр

При импортозамещении ПО в компании нашли скрытый канал утечки данных за несколько лет
15.05.2026 15:10:00 | ferra.ru

Как сделать процессор Российским
15.05.2026 15:00:57 | Хабр

Как произведенные за рубежом процессоры становятся российскими?
15.05.2026 15:00:57 | Хабр

«Ъ»: российские маркетплейсы в апреле 2026 года лишились до 10% трафика на мобильных платформах — в деньгах они могли потерять до 7 млрд рублей
15.05.2026 14:49:25 | vc.ru

Почему проекты превращаются в спагетти даже у хороших программистов
15.05.2026 14:45:50 | Хабр

GoPro сдулась и ищет кому бы продаться
15.05.2026 14:38:40 | it-world

Кэш результатов запросов в Postgres Pro: как ускорить часто выполняющиеся запросы и разгрузить базу
15.05.2026 14:30:40 | Хабр

Как E-POS решил проблему долгих онлайн-возвратов: реализация и выгоды
15.05.2026 14:15:45 | Хабр

ИИ-компания Маска xAI выпустила помощника для программистов
15.05.2026 14:11:50 | ferra.ru

Amazon опровергла слухи о разработке смартфона с ИИ
15.05.2026 14:08:02 | ferra.ru

Розница высокой доступности: как геораспределенная ИТ-инфраструктура защищает выручку
15.05.2026 14:01:47 | Хабр

Чинить нельзя откладывать: как мы приоритизируем баги в B2B-продукте
15.05.2026 14:00:59 | Хабр

ISO 12207:2026: как читать стандарт жизненного цикла ПО и что с ним делать команде
15.05.2026 13:45:02 | Хабр

Кейс Avito Ads: как студия портретов на холсте получила 332 квал. лида и окупила вложения на 232% за 1-й месяц
15.05.2026 13:38:47 | Хабр

СУБД Tantor Postgres 18: обзор улучшений для 1С
15.05.2026 13:30:38 | Хабр

Трудности обучения, или Когда безопасники отключили интернет
15.05.2026 13:30:29 | Хабр

Как запечатать Docker в образ, которому не нужен интернет
15.05.2026 13:30:29 | Хабр

Полный гайд по каналам обмена сообщениями: от теории к реальным кейсам
15.05.2026 13:10:32 | Хабр

Как избежать утечек памяти во Flutter
15.05.2026 13:03:38 | Хабр

Btrfs и btrbk: лёгкий и быстрый инкрементальный бэкап сервера и домашнего ПК
15.05.2026 13:01:10 | Хабр

Notion + RAG + Telegram: архитектура AI-копирайтера для сети ресторанов
15.05.2026 13:00:09 | Хабр

Смотреть все

НОВОСТИ

Российские борцы выиграли 27 медалей на юниорском чемпионате Европы
13.07.2026 13:33:33 | Life.ru

Магнитные бури 13–15 июля: Градус тревоги в ИКИ РАН растёт. Когда мстительное Солнце нанесёт новый удар?
13.07.2026 13:33:00 | Life.ru

В Польше заявили о намерении закупить американское оружие на $150 млрд
13.07.2026 13:32:23 | ТАСС

На месте атаки БПЛА под Истрой работают экстренные службы
13.07.2026 13:31:52 | ТАСС

МОК готов помочь спортсменам из РФ с оформлением виз на мировые соревнования
13.07.2026 13:31:27 | Life.ru

Артиллеристы РФ бьют по спрятавшейся в домах в Красном Лимане пехоте ВСУ
13.07.2026 13:31:13 | ТАСС

ВТБ видит в I полугодии рост спроса на комбо-ипотеку среди россиян
13.07.2026 13:31:11 | ТАСС

Россия заметно нарастила вывоз агропродукции
13.07.2026 13:30:41 | Lenta.ru

Путин дал гражданство РФ автору дизайна BMW X6 Леклерку
13.07.2026 13:29:49 | ТАСС

Кардиолог раскрыл идеальное артериальное давление для здоровья сердца
13.07.2026 13:29:48 | Lenta.ru

Врач перечислил регионы России с высоким риском клещевого энцефалита
13.07.2026 13:29:18 | Life.ru

Предсказано влияние смерти сенатора Грэма на санкционную политику США
13.07.2026 13:29:00 | Lenta.ru

Власти Литвы настаивают на сносе недостроенного Дома Москвы
13.07.2026 13:28:49 | ТАСС

Самая дорогая компания Азии добилась рекордной выручки
13.07.2026 13:28:07 | Lenta.ru

Стало известно о многомиллионном долге Тимура Родригеза по алиментам
13.07.2026 13:28:00 | Lenta.ru

Болельщики создали петицию с требованием исключить сборную Аргентины с ЧМ
13.07.2026 13:27:56 | ТАСС

Алиев: Байден стремился к конфликтам на Южном Кавказе
13.07.2026 13:27:38 | ТАСС

В шести муниципалитетах Липецкой области объявлена угроза атаки БПЛА
13.07.2026 13:26:54 | ТАСС

Спиваков ушел в отпуск перед возвращением на сцену
13.07.2026 13:26:34 | ТАСС

Алиев: азербайджанский газ может пойти из Сирии в соседние страны
13.07.2026 13:26:32 | ТАСС

В Москве число сделок на вторичном рынке жилья выросло на 21% в июне
13.07.2026 13:26:15 | ТАСС

Премьер Грузии назвал условие дальнейшего сотрудничества с ПА ОБСЕ
13.07.2026 13:25:27 | Lenta.ru

Сенатор Волошин: кадровые перестановки в Киеве нужны для иллюзии изменений
13.07.2026 13:23:43 | ТАСС

Франция вслед за ФРГ вызвала российского посла из-за обвинений в кибератаках
13.07.2026 13:23:28 | Life.ru

Названа цена экономической независимости Запада от Китая, и это колоссальная сумма
13.07.2026 13:23:27 | Life.ru

Названа цена экономической независимости Запада от Китая и это колоссальная сумма
13.07.2026 13:23:27 | Life.ru

Иран уничтожил военную инфраструктуру США в Бахрейне и радары в Омане
13.07.2026 13:22:14 | Life.ru

Иран уничтожили военную инфраструктуру США в Бахрейне и радары в Омане
13.07.2026 13:22:14 | Life.ru

В Приморье рядом с обрушившимся мостом продолжают купаться люди
13.07.2026 13:22:00 | ТАСС

Стало известно о худшем кризисе в НАТО за всю историю альянса
13.07.2026 13:21:09 | Lenta.ru

"Домклик": спрос на готовое жилье от собственников вырос в 3,4 раза за год
13.07.2026 13:21:07 | ТАСС

Набор мигрантов из Таджикистана для работы в России ускорился
13.07.2026 13:21:05 | Lenta.ru

Bloomberg: саммит НАТО указал на более глубокую неприязнь Трампа к альянсу
13.07.2026 13:20:40 | ТАСС

В Челябинской области шторм нарушил электроснабжение более 800 домов
13.07.2026 13:20:28 | ТАСС

В ЦИК рассказали, может ли иноагент баллотироваться в Госдуму
13.07.2026 13:20:23 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro