Операция выполнена!

info@vsetut.pro

Стать автором

Вернуться

Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1

25.06.2026 09:31:51 | Хабр

Хабы: PostgreSQL, DevOps, Хранение данных

Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая архитектура для этого не подходит.

Проект был разбит на множество микросервисов, каждый из которых хранил данные в собственной PostgreSQL-базе. Чтобы строить сквозные отчеты, информацию нужно было где-то объединять.

На тот момент аналитика уже работала через ETL: раз в сутки Airflow восстанавливал общую PostgreSQL из ежедневных бекапов, а Redash выполнял запросы уже к ней. Решение было надежным и не требовало нагрузки на production, но для real-time оно не годилось — в лучшем случае отчеты показывали состояние системы на начало дня.

Читать далее

Подробнее

Читайте также

Как понять, что перед вами СХД, которая заслуживает доверия?
25.06.2026 09:31:19 | Хабр

«РБПО для бедных»: проверяем CI/CD-конвейер на реальных уязвимостях
25.06.2026 09:25:17 | Хабр

ИИ фото онлайн: сделать фотосессию нейросетью и генерацию реалистичных изображений и снимков
25.06.2026 09:00:49 | Хабр

В ожидании ремейка: за что мы любим серию игр про Макса Пэйна
25.06.2026 09:00:15 | Хабр

Что такое HDI-платы и как их оптимально проектировать
25.06.2026 09:00:14 | Хабр

Как гуманитарию найти первую работу в IT
25.06.2026 08:56:53 | Хабр

Алгоритм реверса Python-вирусов и вредоносных утилит для начинающих аналитиков
25.06.2026 08:53:22 | Хабр

Как выбрать эмбеддинг для проекта
25.06.2026 08:51:12 | Хабр

Почему вам выдали Fable 5 вместо Mythos — а потом забрали и его
25.06.2026 08:44:57 | Хабр

File-based apps в .NET 10
25.06.2026 08:41:09 | Хабр

PyOffline2: простой офлайн-менеджер для Python-пакетов без лишней головной боли
25.06.2026 08:39:04 | Хабр

Развернул Gemma 4 31B на одной 4090 48GB — и проверил, нужен ли Q8
25.06.2026 08:38:48 | Хабр

День 1583: средняя доходность долгосрочных банковских вкладов после снижения ключевой ставки опустилась до 11% годовых
25.06.2026 08:29:32 | vc.ru

Автопилот Tesla стал причиной смерти женщины. Компания обвиняет водителя
25.06.2026 08:10:18 | ferra.ru

Как протестировать более 40 UI-компонентов за минуту: ускоряем скриншот-тесты
25.06.2026 08:00:01 | Хабр

Нечестный обзор ИИ-агентов. Кто действительно смог реализовать Depixelizing Pixel Art?
25.06.2026 08:00:01 | Хабр

Как двое договариваются о секрете, крича на всю площадь: алгоритм Диффи-Хеллмана без формул
25.06.2026 08:00:00 | Хабр

Тап по тысяче точек за O(log n): QuadTree и сферическая геометрия в гео-соцсети
25.06.2026 07:53:57 | Хабр

И вновь уроки про deadlock-и
25.06.2026 07:51:34 | Хабр

Не только развлечения: какие приемы игрового дизайна используют современные рекламные кампании
25.06.2026 07:50:15 | Хабр

Исследования показывают, что нас, возможно, окружают триллионы сознательных существ — и это не люди
25.06.2026 07:44:26 | Хабр

Регион выхода — это инфраструктура, а не настройка у пользователя
25.06.2026 07:31:53 | Хабр

Вебинар «mTLS для Java сервисов в Kubernetes»
25.06.2026 07:19:37 | Хабр

Ад позадачного сопровождения
25.06.2026 07:17:33 | Хабр

Переделка системы автоматизации в коттедже: ошибки прошлого интегратора, доработки, результат
25.06.2026 07:00:19 | Хабр

SLO as Code — нельзя верить людям
25.06.2026 06:59:43 | Хабр

[Перевод] Agentic SAMM: безопасная разработка, когда разработчик больше не только человек
25.06.2026 06:53:40 | Хабр

Спутниковая связь в симуляторе NS-3. Часть 8
25.06.2026 06:24:11 | Хабр

Как я решил проблему ввода спецсимволов без запоминания кучи клавиатурных сокращений
25.06.2026 06:16:31 | Хабр

[Перевод] Каждый кадр должен быть идеальным
25.06.2026 06:08:02 | Хабр

80% мирового HBM. Как Корея захватила рынок памяти для ИИ
25.06.2026 06:04:08 | Хабр

Охота на эксплойты: зачем и как это делать специалистам по ИБ
25.06.2026 06:01:07 | Хабр

Как компания по тюнингу внедорожников перешла из Excel и Telegram в единую систему управления задачами
25.06.2026 06:01:06 | Хабр

Как эволюционировал ИИ в разработке и что теперь нужно уметь начинающему программисту
25.06.2026 06:00:06 | Хабр

Инциденты под контролем: дежурный бот, MAX и путь к SRE-помощнику
25.06.2026 06:00:05 | Хабр

Смотреть все

НОВОСТИ

Набирающий популярность в РФ кроссовер получит полный привод: новая модификация
20.12.2026 06:40:00 | За рулем

Политик Фронмайер: Мерц рискует эскалацией в отношениях с Россией
22.10.2026 10:04:00 | Российская Газета

Слил координаты Черноморского флота через WhatsApp: Жителю Севастополя грозит пожизненное
22.10.2026 10:03:14 | Life.ru

Родственники попавших под ограничения скрывающихся за рубежом смогут получать пособия
22.10.2026 10:02:47 | ТАСС

Трусову пригласили выступить на этапе Гран-при в США, Семененко - в Финляндии
22.10.2026 10:02:10 | ТАСС

Россияне предпочли брать с собой на отдых в отели бутерброды ради экономии
22.10.2026 10:01:46 | Lenta.ru

WP: Белый дом потребовал возобновить стройку заграждений на границе с Мексикой
22.10.2026 10:01:15 | ТАСС

На Байкале нашли древнейшую приманку для рыбы
22.10.2026 10:00:56 | Lenta.ru

Слышала голос 17 секунд: Потерявшая дочерей мать сказала, что было перед смертью
22.10.2026 10:00:00 | Российская Газета

Под российский удар попал мост Южный в Киеве для перевозки военных грузов
22.10.2026 09:59:56 | Life.ru

Ректор ВГИК: ИИ сократил разработку анимации до недели
22.10.2026 09:59:19 | ТАСС

В Крыму задержан подозреваемый в передаче сведений о Черноморском флоте // ФСБ: агент СБУ из Севастополя собирал сведения о Черноморском флоте России
22.10.2026 09:58:58 | Коммерсантъ

В Калужской области завели дело после нападения собаки на ребенка
22.10.2026 09:58:55 | ТАСС

Одна из крупнейших атак на Москву и пострадавший в Липецке. Последствия налетов БПЛА
22.10.2026 09:58:54 | ТАСС

В Риме прошло награждение лауреатов VIII Международной Пушкинской премии
22.10.2026 09:57:00 | Российская Газета

В России создают альтернативу системе слежения за дикими животными Argos
22.10.2026 09:55:29 | Ведомости

В России разработали переносную РСЗО с амортизаторами
22.10.2026 09:54:48 | Lenta.ru

Главу РКК наградили медалью ордена "За заслуги перед Отечеством" II степени
22.10.2026 09:54:37 | ТАСС

В России заявили о переходе граждан на продукты меньшего объема
22.10.2026 09:54:02 | Lenta.ru

Украина потратила на содержание ВСУ $246 миллиардов с 2022 года
22.10.2026 09:53:53 | Life.ru

В АдГ заявили о нежелании немцев эскалации в отношениях с Россией
22.10.2026 09:53:42 | ТАСС

iPhone Duo сразился с Samsung Galaxy Z Fold8, Huawei Pura X Max и Xiaomi 18 Fold
22.10.2026 09:53:38 | iXBT.com

В Госдуме анонсировали обмен телами погибших между Россией и Украиной
22.10.2026 09:53:36 | РБК

Политик Мема заявил об угрозах из-за призывов к миру
22.10.2026 09:52:35 | ТАСС

Путин наградил Григоренко и Савельева орденами «За заслуги перед Отечеством»
22.10.2026 09:52:21 | Life.ru

Раскрыты подробности о зарезавшей экс-возлюбленного в Москве вебкам-модели
22.10.2026 09:52:06 | Lenta.ru

ФСБ разоблачила собиравшего данные о Черноморском флоте агента
22.10.2026 09:52:02 | Lenta.ru

Путин наградил Екатерину Андрееву орденом "За заслуги перед Отечеством"
22.10.2026 09:51:33 | ТАСС

ВС РФ ударили по «Хладокомбинату № 3» в Киеве, где производили боеприпасы Hornet
22.10.2026 09:51:31 | Life.ru

Макрон проведет совещание с внутренней разведкой перед новыми протестами
22.10.2026 09:50:46 | ТАСС

Россия ударила по мосту через Днепр в Киеве
22.10.2026 09:50:13 | РБК

Губерниев жестко ответил на желание шведов сорвать выступление российских лыжников на ЧМ
22.10.2026 09:50:10 | Lenta.ru

В Киеве переговоры с ЕС описали фразой «станет очень сложно»
22.10.2026 09:50:08 | Lenta.ru

Капсула времени на колесах: в РФ продают Газель 1997 года с пробегом 35 тыс. км
22.10.2026 09:50:00 | За рулем

Появились подробности о зарезавшей молодого человека ножом модели в Москве
22.10.2026 09:50:00 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro