Операция выполнена!
Закрыть
Хабы: Блог компании Lamoda Tech, Хранение данных, Data Engineering, Big Data

Привет, Хабр! Меня зовут Илья Лысенко, я работаю в команде платформы данных Lamoda и занимаюсь пайплайнами продуктовой аналитики и качеством данных.

Полтора года назад мы открыли дашборд и увидели график отклоненных строк, идущий отвесно вверх: больше миллиона событий в день перестали проходить валидацию.

Источник событий молча поменял формат критического поля, а downstream-потребители, аналитики и дата-сайентисты, об этом даже не подозревали.

Вариантов действий в такой ситуации обычно два. Остановить пайплайн и разбираться – значит терять данные, пока чиним. Ехать дальше – значит отдавать потребителям некачественные данные. Оба ведут к просадкам в качестве анализа и моделей, которые зависят от данных источника. К счастью, нам выбирать не пришлось: третий вариант мы к тому моменту строили уже несколько лет.

Если у вашего пайплайна есть DLQ (Dead Letter Queue, очередь недоставленных сообщений), вспомните, когда вы в последний раз оттуда что-то доставали. Часто записи падают в DLQ, и на этом их история заканчивается. У нас процесс устроен по-другому. Запись, не прошедшая проверку качества, не удаляется: она паркуется в отдельном хранилище, откуда ее можно вернуть – целиком и без дублей.

Расскажу, как такой пайплайн устроен, и разберу тот самый кейс: с февраля 2025 года в reject ушло порядка 500 миллионов строк, и каждая в итоге доехала до потребителей.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro