Почему ваши dbt-тесты врут, или Зачем дата-инженеру статистика

info@vsetut.pro

Стать автором

Вернуться

13.02.2026 08:21:19 | Хабр

Хабы: Data Engineering, Big Data

Привет! Меня зовут Черняховский Денис и я Data Engineer. Я достаточно подолжительное время работаю с данными и увлекаюсь математической статистикой. Совсем недавно решил поискать в интернете, как другие опытные дата инженеры исследуют качество данных при помощи статистики, и обнаружил, что никак ..... пум пум пум. А далее обнаружил, что проблема уходит корнями гораздо глубже, чем может показаться.

В этой статье я постараюсь рассказать:
- Почему дата инженерам необходимо использовать статистику и почему ни ее не используют
- Проведем тесты на реальных примерах данных
- Разберем проблему межпрофессионального разрыва компетенций между дата инженерами и аналитиками

Почему инженеру данных стоит использовать статистику?

Разберем, какой базовый набор проверок/валидаций использует типочный дата инженер, да и аналитик тоже:

Типичный чек-лист на проде:
- NOT NULL
- UNIQUE
- REFERENTIAL INTEGRITY
- row_count_today >= row_count_yesterday
- max(updated_at) >= now() – 1h
- revenue > 0

Это бинарные правила, либо сломалось, либо нет. Те же, кто работает с качеством данных, ежедневно сталкивается с проблемой, когда бинарные проверки не показывают проблем, но аналитики и заказчик прибегают с горящими глазами и кричат, что все сломано.

А статистика — это вероятностное мышление, статистика всегда покажет проблему и покажет ее первой, если данная проблема имеет место быть.

Почему инженеры не используют статистику в валидации данных?

Статистика «не орёт», когда что-то пошло не так
Пример:
- COUNT(*) = 0 АЛЕРТ
- mean + 3σ уехало «Ну… вроде странно, но не факт»
- В прод-эксплуатации любят чёткие сигналы, а не «подозрения».

Подробнее

Читайте также

Редизайн Telegram: как Павел Дуров вновь разозлил пользователей
13.02.2026 08:20:32 | Хабр

Розовый шум, беруши и нарушение сна
13.02.2026 08:10:39 | Хабр

Знакомство с ретро-ПК. Оживляем раритетный Pentium-200
13.02.2026 08:06:04 | Хабр

GenAI против реальности: что охотнее смотрят люди на примере контента о камчатских снегопадах
13.02.2026 08:05:54 | Хабр

Что нужно, чтобы начать регистрацию товарного знака в 2026 году, не потерять деньги, месяцы и само обозначение?
13.02.2026 08:02:14 | Хабр

«Потрачено», или как мы полюбили игры с кривым переводом
13.02.2026 08:00:58 | Хабр

Естественные преобразования. Часть 2
13.02.2026 07:51:28 | Хабр

API под прицелом: Три типа «трупов» (Shadow, Orphan, Zombie) и одна новая надежда
13.02.2026 07:49:52 | Хабр

День 1451: внешний долг России впервые за 20 лет превысил $60 млрд, саудовская Midad подписала договор о покупке зарубежных активов «Лукойла»
13.02.2026 07:46:29 | vc.ru

Мертвые не кусаются, но светятся: как работает приложение Локатор в iOS в 2026 году
13.02.2026 07:45:49 | Хабр

3D-мозаики и скульптуры из кубиков Рубика
13.02.2026 07:29:12 | Хабр

Хочу учиться: где и как получить ИБ-образование и знания
13.02.2026 07:22:08 | Хабр

Паттерн Transactional Outbox — обеспечиваем консистентность между микросервисами на примере Java
13.02.2026 07:15:38 | Хабр

Управляем облаком, не привлекая внимания пользователей: разбор примеров из жизни One-cloud
13.02.2026 07:12:32 | Хабр

О промышленных скоростных методах пайки печатных плат и не только
13.02.2026 07:05:33 | Хабр

Практическое применение eBPF: serverless-платформа с поддержкой TCP-приложений
13.02.2026 07:02:30 | Хабр

Как материя становится антиматерией: тайна формулы Эйлера
13.02.2026 06:56:33 | Хабр

Почему Code Review тормозит разработку и что с этим делать
13.02.2026 06:52:10 | Хабр

Как защитить ключи LUKS с помощью Рутокен ЭЦП 3.0 и алгоритмов ГОСТ Р 34.10-2012. Часть 3
13.02.2026 06:43:24 | Хабр

[Перевод] Самая большая ложь об ИИ
13.02.2026 06:42:47 | Хабр

Почему выгорание у ИТ-специалистов не лечится отпуском и сменой работы
13.02.2026 06:16:14 | Хабр

Как я написал AI-генератор коротких видео (Shorts/Reels) на Python с Clean Architecture
13.02.2026 06:03:47 | Хабр

«Я слишком стар для этого… джуна». Карьерный переход 2026: как сменить профессию и не сломаться
13.02.2026 06:00:03 | Хабр

Я отвечаю за процессы и репутацию (SERM)
13.02.2026 05:54:00 | Хабр

5 техник тест-дизайна, которые реально спрашивают на собеседованиях
13.02.2026 05:45:57 | Хабр

1C AI Autofill — опенсорс‑расширение 1С для заполнения описаний и реквизитов номенклатуры с помощью ИИ
13.02.2026 05:30:23 | Хабр

trackOpBits во Vue 3: как битовые маски ускоряют ReactiveEffect
13.02.2026 05:15:48 | Хабр

Game Engine 3 — создание игр и приложений без кода
13.02.2026 05:01:45 | Хабр

Всё, что нужно знать о CRM: что такое CRM-система, как выбрать и обзор популярных сервисов
13.02.2026 05:00:39 | Хабр

Как мы научились определять продвинутые автоответчики
13.02.2026 04:31:31 | Хабр

Сигнализация своими руками на Arduino
13.02.2026 04:16:50 | Хабр

От идеи к экосистеме: Как я строю свой opensource-проект mute для пентеста
13.02.2026 01:40:16 | Хабр

Защита для домашнего сервера — настраиваем защиту через VPN-доступ за один вечер
12.02.2026 23:33:35 | Хабр

Электрика DIY CO2-лазерного станка с ЧПУ
12.02.2026 23:25:24 | Хабр

Анатомия FPV-дрона на столе. Обзор учебного стенда FPV-Lab и опыт внедрения
12.02.2026 22:27:54 | Хабр

Смотреть все

НОВОСТИ

Вербное воскресенье в 2026 году: смысл и традиции православного праздника
13.04.2026 00:10:00 | Lenta.ru

Лыжник Большунов считает, что способен брать любые вершины
05.04.2026 12:23:07 | ТАСС

Песков: членство в ЕАЭС дает возможность Армении развиваться повышенными темпами
05.04.2026 12:22:08 | ТАСС

ЦАХАЛ сообщил о новой волне ударов по объектам "Хезболлах" в Бейруте
05.04.2026 12:21:53 | ТАСС

В военном учебном заведении Москвы произошло задымление на чердаке
05.04.2026 12:20:47 | Life.ru

Россиян заверили в отсутствии планов по 12-часовому рабочему дню и шестидневке
05.04.2026 12:20:11 | Lenta.ru

Путин сообщил о 276 открытых месторождениях полезных ископаемых за год
05.04.2026 12:19:39 | Life.ru

Вучич: Сербия может ограничить экспорт продовольствия на фоне кризиса
05.04.2026 12:19:26 | ТАСС

ВС РФ за сутки поразили объекты энергетической и топливной инфраструктуры ВСУ
05.04.2026 12:18:11 | ТАСС

ВС РФ нанесли поражение живой силе и технике бригады охраны Генштаба ВСУ в ДНР
05.04.2026 12:17:43 | ТАСС

Большунов рассказал, что испытывал нехватку мотивации в начале сезона
05.04.2026 12:17:39 | ТАСС

ВСУ за сутки потеряли в зоне СВО свыше 1 215 военных
05.04.2026 12:16:55 | ТАСС

Российские силы ПВО за сутки сбили 293 украинских БПЛА
05.04.2026 12:16:09 | ТАСС

Замгендиректора «Арены Химки» рассказал, как в Подмосковье готовят «химкинских Месси»
05.04.2026 12:16:09 | Life.ru

В Минобороны назвали причину задымления в здании военного училища в Москве
05.04.2026 12:16:03 | ТАСС

В Севастополе расчёты ПВО отражают атаку ВСУ, сбито пять дронов
05.04.2026 12:15:43 | Life.ru

Тегеран назвал ложью слова Трампа о спасении лётчика сбитого истребителя F-15
05.04.2026 12:14:02 | Life.ru

В Москве к концу следующей недели ожидаются метель и мокрый снег
05.04.2026 12:13:09 | ТАСС

Москвичей предупредили о барической пиле уже на следующей неделе
05.04.2026 12:12:55 | Life.ru

Стилист назвала неправильный бюстгальтер причиной сутулости у женщин
05.04.2026 12:11:45 | Life.ru

Политолог заявил, что Трамп проиграл тарифную битву и скоро потеряет Конгресс
05.04.2026 12:10:20 | Life.ru

Безвизовый режим между Россией и Китаем захотели продлить навсегда
05.04.2026 12:10:00 | Lenta.ru

С 1 апреля вступили в силу законы о снижении долговой нагрузки на россиян
05.04.2026 12:09:59 | Life.ru

CyBC: посольство Кипра в Израиле повреждено осколками ракеты
05.04.2026 12:07:45 | ТАСС

Генерал-полковник Бувальцев: лазерная имитация боя хорошо зарекомендовала себя в ходе СВО
05.04.2026 12:07:27 | ТАСС

Бурляев назвал "предателем Отечества" режиссера Таланкина
05.04.2026 12:06:45 | ТАСС

На сербском участке российского газопровода в Венгрию найдена бомба
05.04.2026 12:06:34 | Life.ru

«Дала мне по физиономии»: Дмитрий Дибров рассказал о скандале с бывшей женой из-за «баб» в Ростове
05.04.2026 12:06:07 | Life.ru

В Дагестане задерживаются поезда
05.04.2026 12:05:18 | ТАСС

Муфи счастлив, что сборной Марокко присудили победу в Кубке Африки
05.04.2026 12:05:16 | ТАСС

Отравитесь в два счёта: Врач объяснила, почему нельзя медлить с обработкой свежей рыбы
05.04.2026 12:04:15 | Life.ru

Эксперта по делу о радиостанциях «Эрика» для Росгвардии заподозрили в некомпетентности
05.04.2026 12:03:17 | Коммерсантъ

Война на Ближнем Востоке угрожает экономике и уровню жизни в Африке
05.04.2026 12:02:00 | Российская Газета

Вучич: Возле трубопровода, поставляющего газ из РФ в Венгрию, нашли взрывчатку
05.04.2026 12:01:00 | Российская Газета

В Москве загорелся военный институт
05.04.2026 12:01:00 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro