Миграция с Polling на Debezium

11.03.2026 13:35:51 | Хабр

Хабы: Блог компании Wildberries & Russ, Go, PostgreSQL

Привет, Хабр! Меня зовут Ибрагим и я бэкенд-разработчик в команде, которая разрабатывает C2C-площадку в Wildberries — раздел, где пользователи могут продавать друг другу товары через объявления. За каждым объявлением и заказом стоит набор данных, который аналитики используют для отслеживания метрик платформы: жизненный цикл объявлений, конверсии, статусы заказов.

Чтобы эти данные попадали в ClickHouse к аналитикам, нам нужна была надёжная синхронизация из PostgreSQL. Долгое время она работала через polling-сервис — и какое-то время нас это устраивало. Но по мере роста платформы проблемы стали проявляться всё чаще: данные терялись, лаг репликации достигал нескольких минут, а нагрузка на базу росла вместе с объёмами.

Когда проблема стала достаточно ощутимой, мы с тимлидом начали смотреть в сторону CDC — он подсветил Debezium как подходящий инструмент, я взял реализацию на себя: написал Go-сервис, развернул всю инфраструктуру локально и протестировал. Далее описал девопсам всю схему и мы развернули инфраструктуру на виртуалках. В этой статье расскажу, что из этого вышло.

Подробнее

Читайте также

Управление изменениями в крупных компаниях: обновляем PLM-систему по Коттеру
11.03.2026 13:29:09 | Хабр

Космонавт Кононенко: МКС может бесперебойно работать годами
11.03.2026 13:29:01 | ferra.ru

Domain-Driven Design: полный гайд по моделированию домена в 2026 году
11.03.2026 13:23:54 | Хабр

Приложение падало на старте. Мы теряли 5% пользователей. Разбор кейса FanBattle
11.03.2026 13:21:10 | Хабр

ИИ-генератор видео Sora «скрестят» с ChatGPT из-за падения интереса
11.03.2026 13:20:01 | ferra.ru

К чему приводит дождь из денег, или Почему печать, транспортировка и ввод налички гораздо сложнее, чем кажется
11.03.2026 13:15:17 | Хабр

OSINT, соцсети и большие данные: как BigData меняет разведку, бизнес и приватность людей. Интервью с Андреем Масаловичем
11.03.2026 13:13:57 | Хабр

[Перевод] Фукусима, любовь моя: 15 лет непрекращающейся катастрофы
11.03.2026 13:13:20 | Хабр

Дмитрий Песков советует переходить в МАХ
11.03.2026 13:06:01 | it-world

OpenAPI уже доказал Doc as Code. Теперь ИИ делает это обязательным
11.03.2026 13:04:31 | Хабр

Защитимся от вирусов радикально и навсегда
11.03.2026 13:01:48 | Хабр

Обзор новинки ИБП Smart-Save Online SRV G2
11.03.2026 12:56:43 | Хабр

Необычный заказ: разработка под CP/M
11.03.2026 12:49:58 | Хабр

АСУТП на молочном заводе и я: 2004 — настоящее время
11.03.2026 12:49:52 | Хабр

Samsung Galaxy S26 поделится новой функцией камеры с прошлогодними флагманами
11.03.2026 12:48:12 | ferra.ru

FinOps на практике: фаза Optimize. Как оптимизировать расходы на облако без ущерба для бизнеса
11.03.2026 12:47:31 | Хабр

Как сделать двунаправленный бесконечный скролл в React
11.03.2026 12:45:46 | Хабр

Схема Функциональной структуры (по ГОСТ)
11.03.2026 12:41:09 | Хабр

Telegram потеряет рекламодателей, но не аудиторию
11.03.2026 12:27:00 | it-world

Claude Cowork: полный гайд по настройке и использованию AI-агента в 2026 году
11.03.2026 12:19:59 | Хабр

Анатомия зловреда: разбираем логику работы хитрого вредоноса
11.03.2026 12:15:44 | Хабр

Сколько стоит создание статьи для коммерческой компании и что нужно учесть при выборе подрядчика для такой задачи
11.03.2026 12:05:09 | Хабр

Заплати 35% налога за бесплатную рассрочку: история популярного фейка в Telegram
11.03.2026 12:00:42 | Хабр

[Перевод] Google занял денег на сто лет вперёд. Ради ИИ. Это уверенность или безумие?
11.03.2026 11:58:27 | Хабр

Мой опыт в перепродаже товаров с маркетплейсов: почему этот бизнес скоро перестанет хромать благодаря ИИ
11.03.2026 11:58:27 | Хабр

Петербургские инженеры нашли способ снизить стоимость строительства АЭС
11.03.2026 11:53:25 | ferra.ru

Почему промышленная робототехника выбирает полную интеграцию ROS2
11.03.2026 11:51:37 | Хабр

YouTube в 2025 году обогнал по выручке Paramount, Warner Bros. и медиа-подразделение Disney
11.03.2026 11:46:31 | vc.ru

YouTube в 2025 году обогнал по выручке Paramount, Warner Bros. и медиаподразделение Disney
11.03.2026 11:46:31 | vc.ru

Фазостабильные тестовые кабельные сборки в моей СВЧ лаборатории
11.03.2026 11:43:34 | Хабр

Одна ошибка — и ты ошибся. Провалы во внедрении ESM / ITSM-систем
11.03.2026 11:41:48 | Хабр

В России предложили способ извлечения золота из электронных отходов
11.03.2026 11:29:21 | ferra.ru

Внутренне устройство CP/M: копаемся в исходном коде
11.03.2026 11:15:37 | Хабр

Платежные потоки между Россией и Китаем продолжают расти
11.03.2026 11:13:02 | it-world

Нейросеть Kling 3.0: Гайд, промпты и примеры генерации видео. Создаем ролики в России без VPN
11.03.2026 11:08:55 | Хабр

Смотреть все

НОВОСТИ

В армии Молдавии раз в три месяца происходит ЧП со смертельным исходом
11.05.2026 15:56:54 | ТАСС

Посольство РФ назвало нелепыми заявления о якобы вмешательстве России в выборы Армении
11.05.2026 15:56:19 | ТАСС

Пашинян пообещал углублять отношения с РФ, несмотря на «дискомфортные моменты»
11.05.2026 15:54:32 | Life.ru

ADAC: в ФРГ цена за литр дизеля первые с начала марта опустилась ниже €2
11.05.2026 15:54:07 | ТАСС

Посольство РФ: санкции Британии против молодежных организаций основаны на искажении фактов
11.05.2026 15:53:16 | ТАСС

Saudi Aramco: восстановление рынка займет месяцы, даже если Ормуз откроют сейчас
11.05.2026 15:51:43 | ТАСС

SANA: двое военных ВС Сирии погибли при нападении в провинции Хасеке
11.05.2026 15:50:32 | ТАСС

Гутерриш заявил о кризисе легитимности Совета Безопасности ООН
11.05.2026 15:49:16 | ТАСС

Пашинян не счел нужным реагировать на угрозы Зеленского в адрес РФ
11.05.2026 15:48:27 | ТАСС

«Нужен солдат обученный»: Лукашенко призвал армию готовиться к боям на земле
11.05.2026 15:46:53 | Life.ru

СевГУ удивлен, что Британия ввела санкции лишь спустя 12 лет его работы
11.05.2026 15:46:11 | ТАСС

Первый танкер с нефтью из Азербайджана может прибыть в Японию уже 12 мая
11.05.2026 15:46:00 | Российская Газета

Силовики под крики «Позор!» начали штурм монастыря УПЦ в Киевской области
11.05.2026 15:42:14 | Life.ru

Нидерландский политолог Пейл назвал главное препятствие для мира на Украине
11.05.2026 15:41:18 | ТАСС

Пашинян объяснил отсутствие реакции на русофобские выпады Зеленского
11.05.2026 15:40:47 | Life.ru

Пасечник присвоил звание Героя ЛНР двум российским офицерам
11.05.2026 15:40:24 | ТАСС

Судьбу пассажиров лайнера со вспышкой хантавируса раскрыли
11.05.2026 15:39:04 | Lenta.ru

Радио Судного дня передало ещё два странных сообщения-шифра
11.05.2026 15:38:00 | Life.ru

Спустя 80 лет у бывшего нациста нашли картину погибшего еврейского коллекционера
11.05.2026 15:37:00 | Российская Газета

Bild: на юго-западе ФРГ при пожаре в тюрьме пострадали девять человек
11.05.2026 15:36:17 | ТАСС

Bild: при пожаре в тюрьме на юго-западе ФРГ пострадали девять человек
11.05.2026 15:36:17 | ТАСС

Стоимость фьючерса на серебро растет более чем на 3,3%
11.05.2026 15:35:07 | ТАСС

Из-за ледохода в Бодайбо закрыли детсады и перевели школьников на удалёнку
11.05.2026 15:34:55 | Life.ru

Медведя не обманешь: Спасатель назвала опасные ошибки при встрече с хищником
11.05.2026 15:34:13 | Life.ru

Британия национализирует компанию British Steel
11.05.2026 15:34:01 | ТАСС

На Павелецком вокзале произошел пожар в хозяйственном здании
11.05.2026 15:31:37 | ТАСС

Диетолог назвала болезнь, при которой полезно есть сыр
11.05.2026 15:30:46 | Life.ru

Талалаев получил «Серебряную лань» как лучший тренер сезона
11.05.2026 15:29:20 | Life.ru

Раскрыты корыстные причины попыток Зеленского восстановить отношения с Грузией
11.05.2026 15:29:00 | Lenta.ru

В Греции начали расследование после обнаружения начиненного взрывчаткой БЭКа
11.05.2026 15:29:00 | Российская Газета

В Минобороны Украины заявили о наличии госструктуры для изучения НЛО
11.05.2026 15:28:47 | ТАСС

Не только расслабление: Врач объяснила, как массаж улучшает цвет лица и тонус кожи
11.05.2026 15:28:17 | Life.ru

Литва выделит 40 военных и гражданских специалистов для операции в Ормузском проливе
11.05.2026 15:27:06 | ТАСС

Бизнес «Квартета И» принёс почти 300 млн рублей чистой выручки в 2025 году
11.05.2026 15:26:22 | Life.ru

ATV: следующим высоким представителем в БиГ может стать европейский дипломат Жофре
11.05.2026 15:26:12 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro