Как мы отлавливаем флаки-тесты в СУБД Platform V Pangolin. Показываю бэкенд решения

info@vsetut.pro

О проекте

Вернуться

03.07.2024 12:49:22 | Хабр

Хабы: Блог компании Сбер, Тестирование IT-систем, IT-инфраструктура, Управление разработкой

Красные тесты — это неприятно, но есть кое-что похуже — тесты, которые то красные, то зеленые. С флаки-тестами сталкивается каждый продукт. И чем больше вы тестируете, тем больше мучительных выяснений, какие тесты — флаки, а какие — нет.

Меня зовут Александр Милов, я отвечаю за тестирование в Platform V Pangolin — это основная СУБД в Сбере, специальная сборка PostgreSQL, созданная для хранения и обработки данных в высоконагруженных приложениях.

Мы начали делать Pangolin в 2019 году. Долгое время флаки-тесты анализировались вручную, а информация о них передавалась от тестировщика к тестировщику каждую неделю. По мере роста числа тестов это перестало быть возможным (одно дело — отслеживать так 5–10 тестов, другое — 30–50). Сейчас мы запускаем 5000 тестов, и в таких масштабах за всеми флаки не уследишь без автоматизации.

Поэтому полгода назад мы сделали свой ~~велосипед~~ флаки-анализатор. Я покажу основные его детали под капотом. Надеюсь, это будет полезно командам тестирования, которые раздумывают о похожем инструменте. Прошу под кат.

Подробнее