История одного зелёного теста: 97,8% mutation score и баг, который месяцами жил в проде

05.07.2026 07:53:18 | Хабр

Хабы: Ненормальное программирование, Тестирование IT-систем

Небольшой инженерный постмортем про то, как метрики качества тестов дружно молчали, пока пользователь не прислал скриншот с очевидной ошибкой. И почему ни строчное покрытие, ни мутационное тестирование этот класс багов поймать не могли в принципе.

У меня есть внутренний дашборд, который собирает список рабочих копий проекта (git worktree) и показывает по каждой последнюю активность. В какой-то момент пришло сообщение: «разные ветки, а последнее сообщение и время везде одинаковые». Я открыл дашборд — и правда: каждая копия отображалась пять раз подряд, с идентичными данными. При этом тесты были зелёные, строчное покрытие — сто процентов, а мутационный прогон по этому куску показывал 97,8%. То есть все три метрики, которым принято доверять, дружно сказали «всё хорошо».

Подробнее

Читайте также

Хватит винить HR: почему «плохие рекрутёры» — самый удобный, но неверный ответ на кризис найма
05.07.2026 07:14:12 | Хабр

Старый трансивер эфир не испортит. Часть 3. Умощняемся
05.07.2026 06:40:22 | Хабр

Категории типов. Часть 8.1. Вертикальная композиция эффектов
05.07.2026 06:21:38 | Хабр

Книга среднего уровня — 1
05.07.2026 05:52:13 | Хабр

Удобрение из микроводорослей на дымовом газе повысило всхожесть рапса до 97%
05.07.2026 02:55:00 | ferra.ru

БПЛА пролетел 430 км через Курильскую гряду c помощью системы «Геокосмос»
05.07.2026 01:25:00 | ferra.ru

В России запатентовали систему адаптивного фрезерования для роботов
04.07.2026 23:56:53 | ferra.ru

В России создали биореактор с водорослями для дыхания в космосе
04.07.2026 23:55:00 | ferra.ru

Taskbar с живыми превью работающих приложений (олдскул на NET11)
04.07.2026 23:14:01 | Хабр

СПбГУ и HeadHunter запустят программы подготовки ИТ-кадров
04.07.2026 22:37:05 | ferra.ru

В России создадут наземный «лунный полигон» для тренировок космонавтов
04.07.2026 22:25:00 | ferra.ru

Cloudflare начнёт блокировать ботов, которые собирают данные с сайтов для ИИ
04.07.2026 22:10:29 | ferra.ru

Mix Hub в свой VST3-плагин: анализ конфликтов между дорожками
04.07.2026 22:02:54 | Хабр

К 2030 году российские грузовые беспилотники будут преодолевать до 1000 км
04.07.2026 21:55:48 | ferra.ru

Два self-hosted S3, которые доверяют друг другу: DataSafeS3 v1.1.0
04.07.2026 21:47:07 | Хабр

В Индии найм ИИ-специалистов вырос на фоне снижения общего числа ИТ-вакансий
04.07.2026 21:36:41 | ferra.ru

Учёный СО РАН: при переменной облачности УФ-излучение опаснее, чем в ясную погоду
04.07.2026 20:55:00 | ferra.ru

«Мегафон» и «Эн+ Телеком» расширят цифровую инфраструктуру в Сибири
04.07.2026 20:35:19 | ferra.ru

В Сеть утекли рендеры умных очков Samsung Galaxy Glasses со всех сторон
04.07.2026 20:10:30 | ferra.ru

Microsoft создаст компанию за $2,5 млрд для помощи бизнесу с внедрением ИИ
04.07.2026 19:54:43 | ferra.ru

Минцифры России расширит свои полномочия в сфере ИИ
04.07.2026 19:28:36 | ferra.ru

Студент КБГУ создал VR-стартап для борьбы с тревогой и паникой
04.07.2026 19:25:00 | ferra.ru

Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту
04.07.2026 18:53:13 | Хабр

Почему в 2026 году Sega Saturn все-таки победила PlayStation (или внесите огнетушитель)
04.07.2026 18:30:27 | Хабр

Опыт Москвы с цифровым двойником в строительстве внедрят в регионах РФ
04.07.2026 18:12:25 | ferra.ru

Apple заказала 10 миллионов складных iPhone Ultra — СМИ
04.07.2026 18:10:34 | ferra.ru

Игра проигравшего
04.07.2026 18:05:22 | Хабр

Студентка МАИ создала камеру, которая голосом называет номер автобуса слабовидящим
04.07.2026 17:55:00 | ferra.ru

Разработчик, покажи мне свой skill.md! Рефакторинг легаси
04.07.2026 17:43:09 | Хабр

Геостатистика в QGIS без SAGA: кригинг на чистом NumPy
04.07.2026 17:38:31 | Хабр

Используем старый Mikrotik как сигнализацию
04.07.2026 17:37:20 | Хабр

GitHub стал однообразнее после появления ChatGPT?
04.07.2026 17:36:23 | Хабр

Физики создали новую экзотическую форму материи: «море Ферми»
04.07.2026 17:33:11 | Хабр

Иллюзия безопасности, или как ваши сотрудники прямо сейчас обучают конкурентов
04.07.2026 17:04:40 | Хабр

Переоценённый король
04.07.2026 16:52:47 | Хабр

Смотреть все

НОВОСТИ

В Германии назвали потерю каждого истребителя F-16 серьёзным ударом для ВСУ
31.07.2026 03:47:00 | Life.ru

Эксперт Кульчин заявил о необходимости создания новых метеостанций в России
31.07.2026 03:43:29 | ТАСС

«Грандиозный шаг». Трамп заявил о достижении соглашения о полном разоружении ХАМАС
31.07.2026 03:40:00 | Lenta.ru

Риск обезвоживания и нагрузка на организм: Почему мы сильнее потеем в жару после айс-кофе
31.07.2026 03:40:00 | Life.ru

Индекс Nikkei вырос на 3,5% на фоне возможной валютной интервенции
31.07.2026 03:39:00 | ТАСС

Депутат Останина предостерегла молодых мужчин от луксмаксинга
31.07.2026 03:37:50 | ТАСС

На Украине раскрыли издевательства в ВСУ при поддержке Сырского
31.07.2026 03:37:00 | Lenta.ru

В Грузии назвали соседнюю страну причиной масштабного блэкаута
31.07.2026 03:35:17 | Life.ru

Эксперт Сафонов объяснил, кому и насколько повысят пенсии с 1 августа
31.07.2026 03:35:13 | ТАСС

Подполье: из жителей Украины со связями в РФ штампуют "шпионов" для отчетности
31.07.2026 03:34:41 | ТАСС

Цены на бензин упали в 23 регионах России
31.07.2026 03:32:30 | Lenta.ru

WSJ: американские компании пожертвовали более $800 млн на проекты Трампа
31.07.2026 03:32:20 | ТАСС

Совладелец DNS Алексеев прокомментировал пожар на складе во Владивостоке
31.07.2026 03:31:22 | ТАСС

Россиянка описала особенности иностранных квартир словами «нам трудно привыкнуть»
31.07.2026 03:30:47 | Lenta.ru

Трамп усомнился в передаче Украине лицензии на производство Patriot
31.07.2026 03:29:28 | Life.ru

Мирошник обвинил Украину в попытке втянуть НАТО в прямой конфликт с РФ
31.07.2026 03:28:44 | ТАСС

Мирошник заявил, что Украина пытается втянуть НАТО в прямой конфликт с РФ
31.07.2026 03:28:44 | ТАСС

Трамп заявил, что Совет мира достиг договоренности о полном разоружении ХАМАС
31.07.2026 03:28:00 | Российская Газета

Онищенко не поддержал идею введения выходного дня 1 сентября
31.07.2026 03:27:19 | ТАСС

Трамп усомнился в передаче Киеву лицензии на ракеты для Patriot
31.07.2026 03:25:00 | Lenta.ru

Насмерть придавленного воротами в Петербурге мальчика похоронили в Ингушетии
31.07.2026 03:22:51 | Life.ru

Трамп считает возможной нормализацию отношений Саудовской Аравии и Израиля
31.07.2026 03:22:04 | ТАСС

Мошенники от лица соседей рассылают ВПО через файлы со "срочным видео"
31.07.2026 03:20:47 | ТАСС

В российских аэропортах появятся места для выгула собак-проводников
31.07.2026 03:19:28 | ТАСС

Площадь пожара на складе во Владивостоке составила 5 тыс. кв. м
31.07.2026 03:19:05 | ТАСС

Пожар на складе во Владивостоке локализовали
31.07.2026 03:19:05 | ТАСС

Эксперт Кулаков объяснил, повлияет ли землетрясение в Японии на Россию
31.07.2026 03:18:18 | ТАСС

В Ростовской области эвакуировали дом из-за разрушений от прилета БПЛА
31.07.2026 03:17:32 | Коммерсантъ

Во Владивостоке на пожаре склада DNS работает прокурор Первореченского района
31.07.2026 03:16:54 | ТАСС

Эксперт Козловская назвала претендента на звание "слово года"
31.07.2026 03:14:17 | ТАСС

Рютте сообщил об активации систем НАТО из-за воздушного объекта в Польше
31.07.2026 03:14:00 | Life.ru

Врач Зайнетдинова назвала частые триггеры мигрени
31.07.2026 03:10:32 | ТАСС

Невролог Зайнетдинова рассказала, как выявить триггеры мигрени
31.07.2026 03:10:32 | ТАСС

На ВДНХ пройдет фестиваль российских вин
31.07.2026 03:09:52 | ТАСС

Аэропорт Нижнекамска приостановил прием и выпуск самолетов
31.07.2026 03:08:00 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro