Почему ваши dbt-тесты врут, или Зачем дата-инженеру статистика

info@vsetut.pro

Стать автором

Вернуться

13.02.2026 08:21:19 | Хабр

Хабы: Data Engineering, Big Data

Привет! Меня зовут Черняховский Денис и я Data Engineer. Я достаточно подолжительное время работаю с данными и увлекаюсь математической статистикой. Совсем недавно решил поискать в интернете, как другие опытные дата инженеры исследуют качество данных при помощи статистики, и обнаружил, что никак ..... пум пум пум. А далее обнаружил, что проблема уходит корнями гораздо глубже, чем может показаться.

В этой статье я постараюсь рассказать:
- Почему дата инженерам необходимо использовать статистику и почему ни ее не используют
- Проведем тесты на реальных примерах данных
- Разберем проблему межпрофессионального разрыва компетенций между дата инженерами и аналитиками

Почему инженеру данных стоит использовать статистику?

Разберем, какой базовый набор проверок/валидаций использует типочный дата инженер, да и аналитик тоже:

Типичный чек-лист на проде:
- NOT NULL
- UNIQUE
- REFERENTIAL INTEGRITY
- row_count_today >= row_count_yesterday
- max(updated_at) >= now() – 1h
- revenue > 0

Это бинарные правила, либо сломалось, либо нет. Те же, кто работает с качеством данных, ежедневно сталкивается с проблемой, когда бинарные проверки не показывают проблем, но аналитики и заказчик прибегают с горящими глазами и кричат, что все сломано.

А статистика — это вероятностное мышление, статистика всегда покажет проблему и покажет ее первой, если данная проблема имеет место быть.

Почему инженеры не используют статистику в валидации данных?

Статистика «не орёт», когда что-то пошло не так
Пример:
- COUNT(*) = 0 АЛЕРТ
- mean + 3σ уехало «Ну… вроде странно, но не факт»
- В прод-эксплуатации любят чёткие сигналы, а не «подозрения».

Подробнее

Читайте также

Редизайн Telegram: как Павел Дуров вновь разозлил пользователей
13.02.2026 08:20:32 | Хабр

Розовый шум, беруши и нарушение сна
13.02.2026 08:10:39 | Хабр

Знакомство с ретро-ПК. Оживляем раритетный Pentium-200
13.02.2026 08:06:04 | Хабр

GenAI против реальности: что охотнее смотрят люди на примере контента о камчатских снегопадах
13.02.2026 08:05:54 | Хабр

Что нужно, чтобы начать регистрацию товарного знака в 2026 году, не потерять деньги, месяцы и само обозначение?
13.02.2026 08:02:14 | Хабр

«Потрачено», или как мы полюбили игры с кривым переводом
13.02.2026 08:00:58 | Хабр

Естественные преобразования. Часть 2
13.02.2026 07:51:28 | Хабр

API под прицелом: Три типа «трупов» (Shadow, Orphan, Zombie) и одна новая надежда
13.02.2026 07:49:52 | Хабр

День 1451: внешний долг России впервые за 20 лет превысил $60 млрд, саудовская Midad подписала договор о покупке зарубежных активов «Лукойла»
13.02.2026 07:46:29 | vc.ru

Мертвые не кусаются, но светятся: как работает приложение Локатор в iOS в 2026 году
13.02.2026 07:45:49 | Хабр

3D-мозаики и скульптуры из кубиков Рубика
13.02.2026 07:29:12 | Хабр

Хочу учиться: где и как получить ИБ-образование и знания
13.02.2026 07:22:08 | Хабр

Паттерн Transactional Outbox — обеспечиваем консистентность между микросервисами на примере Java
13.02.2026 07:15:38 | Хабр

Управляем облаком, не привлекая внимания пользователей: разбор примеров из жизни One-cloud
13.02.2026 07:12:32 | Хабр

О промышленных скоростных методах пайки печатных плат и не только
13.02.2026 07:05:33 | Хабр

Практическое применение eBPF: serverless-платформа с поддержкой TCP-приложений
13.02.2026 07:02:30 | Хабр

Как материя становится антиматерией: тайна формулы Эйлера
13.02.2026 06:56:33 | Хабр

Почему Code Review тормозит разработку и что с этим делать
13.02.2026 06:52:10 | Хабр

Как защитить ключи LUKS с помощью Рутокен ЭЦП 3.0 и алгоритмов ГОСТ Р 34.10-2012. Часть 3
13.02.2026 06:43:24 | Хабр

[Перевод] Самая большая ложь об ИИ
13.02.2026 06:42:47 | Хабр

Почему выгорание у ИТ-специалистов не лечится отпуском и сменой работы
13.02.2026 06:16:14 | Хабр

Как я написал AI-генератор коротких видео (Shorts/Reels) на Python с Clean Architecture
13.02.2026 06:03:47 | Хабр

«Я слишком стар для этого… джуна». Карьерный переход 2026: как сменить профессию и не сломаться
13.02.2026 06:00:03 | Хабр

Я отвечаю за процессы и репутацию (SERM)
13.02.2026 05:54:00 | Хабр

5 техник тест-дизайна, которые реально спрашивают на собеседованиях
13.02.2026 05:45:57 | Хабр

1C AI Autofill — опенсорс‑расширение 1С для заполнения описаний и реквизитов номенклатуры с помощью ИИ
13.02.2026 05:30:23 | Хабр

trackOpBits во Vue 3: как битовые маски ускоряют ReactiveEffect
13.02.2026 05:15:48 | Хабр

Game Engine 3 — создание игр и приложений без кода
13.02.2026 05:01:45 | Хабр

Всё, что нужно знать о CRM: что такое CRM-система, как выбрать и обзор популярных сервисов
13.02.2026 05:00:39 | Хабр

Как мы научились определять продвинутые автоответчики
13.02.2026 04:31:31 | Хабр

Сигнализация своими руками на Arduino
13.02.2026 04:16:50 | Хабр

От идеи к экосистеме: Как я строю свой opensource-проект mute для пентеста
13.02.2026 01:40:16 | Хабр

Защита для домашнего сервера — настраиваем защиту через VPN-доступ за один вечер
12.02.2026 23:33:35 | Хабр

Электрика DIY CO2-лазерного станка с ЧПУ
12.02.2026 23:25:24 | Хабр

Анатомия FPV-дрона на столе. Обзор учебного стенда FPV-Lab и опыт внедрения
12.02.2026 22:27:54 | Хабр

Смотреть все

НОВОСТИ

Вербное воскресенье в 2026 году: смысл и традиции православного праздника
13.04.2026 00:10:00 | Lenta.ru

В Киеве ТЭЦ-6 разрушена на 80%
06.04.2026 17:41:24 | ТАСС

В Мордовии паводковые воды подтопили 5 домов и 274 приусадебных участка
06.04.2026 17:40:52 | ТАСС

Пассажиры задержанного в Стамбуле рейса вылетели на резервном самолете в Москву
06.04.2026 17:40:09 | ТАСС

Чем известен корабль USS Tripoli, который атаковали иранцы
06.04.2026 17:40:00 | Российская Газета

Гана объявила бойкот саммиту в Лондоне из-за игнорирования африканских интересов
06.04.2026 17:39:00 | Российская Газета

«Корка хлеба на весь день»: Тутберидзе шокировала откровением о борьбе с весом
06.04.2026 17:38:58 | Life.ru

Россияне устроили протест в аэропорту Стамбула после отмены рейсов
06.04.2026 17:38:47 | Life.ru

Российские бойцы прикрыли БТР-82А «кустами» и «Контактом»
06.04.2026 17:38:27 | Lenta.ru

Лыжница Пеклецова рассказала о своем главном желании
06.04.2026 17:38:14 | Lenta.ru

The Globe and Mail: Трамп отказался от идеи включения Канады в состав США
06.04.2026 17:38:03 | ТАСС

На Украине сотрудник ТЦК задекларировал золото в слитках и наличные на $219 тыс.
06.04.2026 17:37:59 | ТАСС

Найден способ уменьшить число аварий с электросамокатами
06.04.2026 17:37:07 | Lenta.ru

Иран ударил по американскому десантному кораблю с 5000 моряков на борту
06.04.2026 17:36:11 | Life.ru

В Дагестане восстановили газоснабжение трех населенных пунктов
06.04.2026 17:35:35 | ТАСС

На Украине заявили о полном крахе военной стратегии Зеленского
06.04.2026 17:35:26 | Lenta.ru

Названы причины обратимых проблем с памятью
06.04.2026 17:34:41 | Lenta.ru

Подарок от кабмина: 11 регионов освободили от долгов на 10 млрд рублей
06.04.2026 17:34:23 | Life.ru

Россиянка отпинала ногами знакомую и попала на видео
06.04.2026 17:34:16 | Lenta.ru

Сирия продлила запрет на полеты в своем воздушном пространстве
06.04.2026 17:33:32 | ТАСС

СРНА: сын Трампа в ближайшее время посетит Республику Сербскую
06.04.2026 17:33:21 | ТАСС

Силовики: «Золотая судья» Хахалева была замужем за лидером ОПГ
06.04.2026 17:33:02 | Life.ru

Жилью россиян предрекли уменьшение
06.04.2026 17:32:33 | Lenta.ru

Лыжница Пеклецова оценила работу Вяльбе на посту президента ФЛГР
06.04.2026 17:32:09 | ТАСС

В ДНР ожидаются масштабные отключения электроэнергии после атак ВСУ
06.04.2026 17:31:57 | ТАСС

Эксперт Гладилин назвал "Науку 0+" мировым эталоном в популяризации исследований
06.04.2026 17:31:55 | ТАСС

Эксперт Лю: запуск CSST на орбиту "Тяньгуна" ускорит поиски темной энергии
06.04.2026 17:31:16 | ТАСС

Можно ли брать питомца на работу: плюсы, минусы и как организовать офисную жизнь с собакой или кошкой
06.04.2026 17:30:00 | Life.ru

Новый лидер Ирана Хаменеи, которого «похоронил» Трамп, впервые попал на видео
06.04.2026 17:29:54 | Life.ru

КДК РФС рассмотрит интервью тренера махачкалинского "Динамо" Евсеева
06.04.2026 17:29:29 | ТАСС

Дело против мирового судьи из Кабардино-Балкарии передали в суд
06.04.2026 17:29:18 | ТАСС

Водители праворульных авто могут получить несправедливый штраф из-за пассажиров
06.04.2026 17:28:38 | Life.ru

В Индии цены на зерно остаются стабильными на фоне конфликта на Ближнем Востоке
06.04.2026 17:27:32 | ТАСС

В Дербентский район Дагестана прибыли сотни волонтеров
06.04.2026 17:27:27 | ТАСС

Звезду «Универа» внесли в базу данных «Миротворца»
06.04.2026 17:26:56 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro