Миграция с Polling на Debezium

11.03.2026 13:35:51 | Хабр

Хабы: Блог компании Wildberries & Russ, Go, PostgreSQL

Привет, Хабр! Меня зовут Ибрагим и я бэкенд-разработчик в команде, которая разрабатывает C2C-площадку в Wildberries — раздел, где пользователи могут продавать друг другу товары через объявления. За каждым объявлением и заказом стоит набор данных, который аналитики используют для отслеживания метрик платформы: жизненный цикл объявлений, конверсии, статусы заказов.

Чтобы эти данные попадали в ClickHouse к аналитикам, нам нужна была надёжная синхронизация из PostgreSQL. Долгое время она работала через polling-сервис — и какое-то время нас это устраивало. Но по мере роста платформы проблемы стали проявляться всё чаще: данные терялись, лаг репликации достигал нескольких минут, а нагрузка на базу росла вместе с объёмами.

Когда проблема стала достаточно ощутимой, мы с тимлидом начали смотреть в сторону CDC — он подсветил Debezium как подходящий инструмент, я взял реализацию на себя: написал Go-сервис, развернул всю инфраструктуру локально и протестировал. Далее описал девопсам всю схему и мы развернули инфраструктуру на виртуалках. В этой статье расскажу, что из этого вышло.

Подробнее

Читайте также

Управление изменениями в крупных компаниях: обновляем PLM-систему по Коттеру
11.03.2026 13:29:09 | Хабр

Космонавт Кононенко: МКС может бесперебойно работать годами
11.03.2026 13:29:01 | ferra.ru

Domain-Driven Design: полный гайд по моделированию домена в 2026 году
11.03.2026 13:23:54 | Хабр

Приложение падало на старте. Мы теряли 5% пользователей. Разбор кейса FanBattle
11.03.2026 13:21:10 | Хабр

ИИ-генератор видео Sora «скрестят» с ChatGPT из-за падения интереса
11.03.2026 13:20:01 | ferra.ru

К чему приводит дождь из денег, или Почему печать, транспортировка и ввод налички гораздо сложнее, чем кажется
11.03.2026 13:15:17 | Хабр

OSINT, соцсети и большие данные: как BigData меняет разведку, бизнес и приватность людей. Интервью с Андреем Масаловичем
11.03.2026 13:13:57 | Хабр

[Перевод] Фукусима, любовь моя: 15 лет непрекращающейся катастрофы
11.03.2026 13:13:20 | Хабр

Дмитрий Песков советует переходить в МАХ
11.03.2026 13:06:01 | it-world

OpenAPI уже доказал Doc as Code. Теперь ИИ делает это обязательным
11.03.2026 13:04:31 | Хабр

Защитимся от вирусов радикально и навсегда
11.03.2026 13:01:48 | Хабр

Обзор новинки ИБП Smart-Save Online SRV G2
11.03.2026 12:56:43 | Хабр

Необычный заказ: разработка под CP/M
11.03.2026 12:49:58 | Хабр

АСУТП на молочном заводе и я: 2004 — настоящее время
11.03.2026 12:49:52 | Хабр

Samsung Galaxy S26 поделится новой функцией камеры с прошлогодними флагманами
11.03.2026 12:48:12 | ferra.ru

FinOps на практике: фаза Optimize. Как оптимизировать расходы на облако без ущерба для бизнеса
11.03.2026 12:47:31 | Хабр

Как сделать двунаправленный бесконечный скролл в React
11.03.2026 12:45:46 | Хабр

Схема Функциональной структуры (по ГОСТ)
11.03.2026 12:41:09 | Хабр

Telegram потеряет рекламодателей, но не аудиторию
11.03.2026 12:27:00 | it-world

Claude Cowork: полный гайд по настройке и использованию AI-агента в 2026 году
11.03.2026 12:19:59 | Хабр

Анатомия зловреда: разбираем логику работы хитрого вредоноса
11.03.2026 12:15:44 | Хабр

Сколько стоит создание статьи для коммерческой компании и что нужно учесть при выборе подрядчика для такой задачи
11.03.2026 12:05:09 | Хабр

Заплати 35% налога за бесплатную рассрочку: история популярного фейка в Telegram
11.03.2026 12:00:42 | Хабр

[Перевод] Google занял денег на сто лет вперёд. Ради ИИ. Это уверенность или безумие?
11.03.2026 11:58:27 | Хабр

Мой опыт в перепродаже товаров с маркетплейсов: почему этот бизнес скоро перестанет хромать благодаря ИИ
11.03.2026 11:58:27 | Хабр

Петербургские инженеры нашли способ снизить стоимость строительства АЭС
11.03.2026 11:53:25 | ferra.ru

Почему промышленная робототехника выбирает полную интеграцию ROS2
11.03.2026 11:51:37 | Хабр

YouTube в 2025 году обогнал по выручке Paramount, Warner Bros. и медиа-подразделение Disney
11.03.2026 11:46:31 | vc.ru

YouTube в 2025 году обогнал по выручке Paramount, Warner Bros. и медиаподразделение Disney
11.03.2026 11:46:31 | vc.ru

Фазостабильные тестовые кабельные сборки в моей СВЧ лаборатории
11.03.2026 11:43:34 | Хабр

Одна ошибка — и ты ошибся. Провалы во внедрении ESM / ITSM-систем
11.03.2026 11:41:48 | Хабр

В России предложили способ извлечения золота из электронных отходов
11.03.2026 11:29:21 | ferra.ru

Внутренне устройство CP/M: копаемся в исходном коде
11.03.2026 11:15:37 | Хабр

Платежные потоки между Россией и Китаем продолжают расти
11.03.2026 11:13:02 | it-world

Нейросеть Kling 3.0: Гайд, промпты и примеры генерации видео. Создаем ролики в России без VPN
11.03.2026 11:08:55 | Хабр

Смотреть все

НОВОСТИ

Въехавший в толпу на Урале водитель заявил, что перепутал педали
11.06.2026 08:25:20 | ТАСС

Московский Политех вошел в производственную цепочку беспилотной отрасли
11.06.2026 08:25:16 | ТАСС

В "Авито авто" рассказали, какие новые китайские автомобили в РФ стали доступнее
11.06.2026 08:25:03 | ТАСС

Чесноков надеется, что Даниил Медведев хорошо сыграет травяной сезон
11.06.2026 08:24:57 | ТАСС

В Конотопе фиксируют повреждения инфраструктуры и перебои с газом
11.06.2026 08:23:35 | ТАСС

Александр Буйнов перенёс ишемический инсульт
11.06.2026 08:23:10 | Life.ru

Свердловская прокуратура проверяет перевозящие пассажиров компании
11.06.2026 08:22:30 | ТАСС

Названа причина ДТП с протаранившим толпу россиян автобусом
11.06.2026 08:21:12 | Lenta.ru

Страны ЕС захотели лишить Каллас должности
11.06.2026 08:20:54 | Lenta.ru

Российские дзюдоисты тренируются с монголами перед турниром Большого шлема
11.06.2026 08:20:50 | ТАСС

Названия городов-героев сорвали с мемориала в Армении и выбросили в мусор
11.06.2026 08:20:50 | Life.ru

В польском Сейме разгорелся скандал из-за слов замминистра-украинца об УПА
11.06.2026 08:20:00 | Российская Газета

Названа истинная причина визита Си Цзиньпина в КНДР
11.06.2026 08:19:21 | Lenta.ru

Россию на "Миссис Мира" в США представит 31-летняя москвичка
11.06.2026 08:19:13 | ТАСС

В Севастополе потушили пожар в здании панорамы после атаки ВСУ
11.06.2026 08:19:07 | ТАСС

Дмитриев анонсировал встречу с Уиткоффом и Кушнером
11.06.2026 08:18:31 | Life.ru

Следствие запросит арест водителю автобуса и директору ТК после ДТП на Урале
11.06.2026 08:18:05 | ТАСС

Дмитриев: многие европейские компании сигнализируют о желании вернуться в РФ
11.06.2026 08:18:01 | ТАСС

Минтранс и "Росатом" готовят модель финансовой окупаемости Трансарктического коридора
11.06.2026 08:15:35 | ТАСС

Из-за пожара в Приангарье погибла женщина с сыном
11.06.2026 08:15:12 | ТАСС

Чиновница избежала 17 лет тюрьмы за секс с другом сына. Всё происходило при детях
11.06.2026 08:14:09 | Life.ru

В США бывшая мэр избежала 17 лет тюрьмы за секс с другом сына на глазах у своих детей
11.06.2026 08:14:09 | Life.ru

Онищенко предупредил о росте кишечных инфекций в августе
11.06.2026 08:13:45 | Life.ru

Дмитриев анонсировал встречу с Уиткоффом и Кушнером в июне
11.06.2026 08:13:00 | ТАСС

Двукратного обладателя Кубка России Торопа внесли в базу "Миротворца"
11.06.2026 08:12:02 | ТАСС

Бикович считает русскую литературу естественной частью культурного воспитания
11.06.2026 08:10:47 | ТАСС

Директор компании, чей автобус влетел в толпу на Урале, нарушал режим труда и отдыха
11.06.2026 08:10:35 | ТАСС

Глава НЦФМ: человек сможет жить до 120 лет благодаря новым открытиям в медицине
11.06.2026 08:10:26 | ТАСС

Над Брянской областью за ночь уничтожили 90 украинских БПЛА
11.06.2026 08:10:10 | ТАСС

СК возбудил дела на водителя и директора компании после ДТП в Екатеринбурге
11.06.2026 08:09:40 | Life.ru

Глава НЦФМ отметил успешное развитие проекта создания цифровой копии человека
11.06.2026 08:08:19 | ТАСС

Глава НЦФМ: проект создания цифровой копии человека успешно развивается
11.06.2026 08:08:19 | ТАСС

Находящиеся в ПВР жители смогут проголосовать на выборах в Госдуму
11.06.2026 08:07:52 | ТАСС

Глава НЦФМ призвал регуляторно поддерживать конкуренцию среди систем ИИ
11.06.2026 08:06:47 | ТАСС

Москвичам рассказали о рекордной погоде на День России
11.06.2026 08:06:16 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro