Kafka, таксономии и удаление событий: как исключить обработку неактуальных сообщений

15.05.2026 09:23:47 | Хабр

Хабы: Java, Apache, Микросервисы, Распределённые системы, Big Data

В рамках задачи по обработке XBRL-таксономий возникло требование: если таксономия удалена до обработки событий расчёта кэша, эти события не должны приводить к созданию данных для уже неактуальной сущности.

На первый взгляд кажется, что достаточно найти соответствующие сообщения и удалить их из Kafka topic. Но Kafka хранит данные как commit log, поэтому точечное удаление сообщений по версии таксономии или другому бизнес-признаку оказывается небезопасным.

В статье рассмотрим, почему прямое удаление сообщений не подошло, какие варианты были рассмотрены и как в итоге был применён комбинированный подход: стабильный Kafka key, tombstone-сообщения, compact/delete policy и проверка состояния таксономии на стороне consumer.

Разберём решение

Подробнее

Читайте также

Об организации труда ИИ-агентов
15.05.2026 09:21:26 | Хабр

Минфин сообщил о внедрении ИИ в работу правительства
15.05.2026 09:17:09 | ferra.ru

Ускорение запросов в PostgreSQL: три рычага оптимизации и практический разбор
15.05.2026 09:12:18 | Хабр

[Перевод] Иголка в стоге сена: как LLM помогают искать уязвимости
15.05.2026 09:10:52 | Хабр

Эксперимент: как pgpro_pwr помог проверить настройки PostgreSQL 17
15.05.2026 09:10:33 | Хабр

AI-ассистент для вайб-кодинга — он не лучше, он(и) … с другой планеты
15.05.2026 09:08:32 | Хабр

Геймификация продуктивности: как не забросить таск-менеджер через неделю
15.05.2026 09:05:12 | Хабр

Оверклокинг умер, да здравствует андервольтинг: как современные процессоры перестали разгонять и начали оптимизировать
15.05.2026 09:00:36 | Хабр

Что такое MCP. Как работает киллер-фича современности под капотом
15.05.2026 08:59:48 | Хабр

Шесть аудиторий вашей карьеры: пятеро за моим столом
15.05.2026 08:52:29 | Хабр

В России подготовят правила для внедрения ИИ в строительстве
15.05.2026 08:49:13 | ferra.ru

Полезный гнев природы: разрушение метана во время извержения вулкана
15.05.2026 08:45:02 | Хабр

Обзор российских ИИ-платформ корпоративного уровня: изучаем архитектуру SimpleOne GenAI, BPMSoft AI, ELMA Cortex
15.05.2026 08:36:30 | Хабр

Подорожает ли облако в России в 2026 году. Спойлер: уже подорожало, и это только начало
15.05.2026 08:31:29 | Хабр

В Google Translate появится живой перевод без интернета
15.05.2026 08:24:38 | ferra.ru

Какой подход к предсказанию последовательности стоит выбрать
15.05.2026 08:24:14 | Хабр

День 1541: объём денег на срочных вкладах россиян в марте 2026 года сократился на 290 млрд рублей — впервые с осени 2023-го
15.05.2026 08:22:55 | vc.ru

Переговорное мышление
15.05.2026 08:20:16 | Хабр

Криптографический алгоритм «Криптонита» S3G-5G для безопасности сетей 5G прошёл этап согласования в ТК 26
15.05.2026 08:16:26 | Хабр

[Перевод] Фотографическая память — это миф: вот что на самом деле говорят исследования о работе памяти
15.05.2026 08:13:25 | Хабр

Каналы и авторизация в Centrifugo: как безопасно подключить real-time в Laravel
15.05.2026 08:01:08 | Хабр

[Перевод] Mission Impossible: как добиться 0 рекомпозиций в сложном кастомном UI
15.05.2026 08:00:20 | Хабр

Трудности перевода: почему LLM не умеют писать нормальные докстринги на русском и как это исправить
15.05.2026 08:00:20 | Хабр

Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMax
15.05.2026 08:00:19 | Хабр

Devise в Ruby on Rails
15.05.2026 07:57:18 | Хабр

Теряет ли OpenAI деньги на подписках и другие прикидки на салфетке
15.05.2026 07:54:49 | Хабр

Что я узнал, делая прототип банкового чата с ИИ
15.05.2026 07:53:05 | Хабр

NeuroXess. Исследуем мозговой чип из Китая, вживленный уже 54 реципиентам
15.05.2026 07:51:13 | Хабр

Цифровой двойник Атома: как процесс симуляции меняет профессию инженера
15.05.2026 07:46:09 | Хабр

Телеграм-бот переклички автовладельцев на Kotlin Native
15.05.2026 07:43:17 | Хабр

Сравнение моделей конкурентности JVM языков: Kotlin coroutines, ZIO runtime и Clojure
15.05.2026 06:57:21 | Хабр

Гиперэкономия на токенах с API SpeShu.AI: как работает новое кэширование
15.05.2026 06:56:29 | Хабр

Я написал свой DNS-резолвер на Go вместо того, чтобы взять Unbound. Вот почему и что из этого вышло
15.05.2026 06:50:55 | Хабр

Шахматные программы II. Отсечения
15.05.2026 06:33:22 | Хабр

CTE в PostgreSQL: как писать сложные запросы просто
15.05.2026 06:30:44 | Хабр

Смотреть все

НОВОСТИ

Убитых «мясником Зеленского» братьев перед смертью пытали несколько дней
14.07.2026 16:54:00 | Life.ru

Москвичам рассказали о препятствии на пути к теплу
14.07.2026 16:53:02 | Lenta.ru

"ВХ": Армия РФ прорубает коридор до Харькова, ВСУ начинают паниковать
14.07.2026 16:53:00 | Российская Газета

Время до конца жизни на Земле подсчитали
14.07.2026 16:52:32 | Lenta.ru

Цена размещения акций "Россетей" в рамках допэмиссии составит 50 копеек
14.07.2026 16:52:31 | ТАСС

В Евросоюзе забили тревогу из-за опасной экономической проблемы
14.07.2026 16:51:43 | Lenta.ru

«С бомбой в груди»: Кардиохирурги Сеченовки спасли пациентов с «‎разрывом сердца»
14.07.2026 16:50:42 | Life.ru

Минюст РФ опубликовал законопроект о переходе на реестровую модель услуг ЗАГС
14.07.2026 16:50:15 | ТАСС

В Глазове половину оставшихся без света домов подключили к электричеству
14.07.2026 16:49:13 | ТАСС

«Косые взгляды»: Замкомандира из «Ахмата» с наградами не пустили в московское кафе
14.07.2026 16:48:29 | Life.ru

Мост за 170 миллиардов рублей построят в российском регионе
14.07.2026 16:46:10 | Lenta.ru

Белавиа корректирует расписание транзитных полетов в пределах московского авиаузла
14.07.2026 16:45:22 | ТАСС

«Очередной обман»: В России раскрыли хитрый план Запада по вводу войск на Украину
14.07.2026 16:44:59 | Life.ru

Вуз Петербурга ввел единовременные выплаты абитуриентам до 100 тыс. рублей
14.07.2026 16:44:51 | ТАСС

Свириденко может возглавить Офис президента, Буданов* — Минобороны Украины
14.07.2026 16:44:47 | Life.ru

Россияне рассказали, с какой зарплаты открывается дверь в богатство
14.07.2026 16:44:37 | Life.ru

Главы Роскосмоса и NASA встретились с онкобольными детьми на космодроме Байконур
14.07.2026 16:44:12 | ТАСС

Баканов пожелал успеха экипажу предстоящей миссии к МКС
14.07.2026 16:44:08 | ТАСС

Костя Цзю прибыл на очную ставку с бизнесменом в полицию из-за кражи 7 млн
14.07.2026 16:43:45 | Life.ru

"Союз МС-29" отправится на орбиту с рисунками индийских школьников
14.07.2026 16:43:34 | ТАСС

В ЛНР рассказали о состоянии пострадавшей при обрушении подъезда в Краснодоне
14.07.2026 16:43:02 | ТАСС

Handelsblatt: Германия может купить самолеты A400M и оснастить их ракетами Taurus
14.07.2026 16:42:15 | ТАСС

В Харькове произошел новый взрыв
14.07.2026 16:42:15 | ТАСС

Шурыгиной грозит до 6 лет колонии за распространение порнографии, заявила юрист
14.07.2026 16:41:59 | Life.ru

МИД Финляндии в беседе с послом России не привел доказательств кибератак
14.07.2026 16:41:34 | ТАСС

Солист «Три дня дождя» отправился в рехаб после скандального концерта
14.07.2026 16:41:30 | Lenta.ru

На юге Ростовской области отменили беспилотную опасность
14.07.2026 16:39:17 | ТАСС

Армии двух постсоветских стран прошли по Парижу
14.07.2026 16:38:38 | Lenta.ru

Николаев заявил Путину, что возведение моста через Лену вошло в активную фазу
14.07.2026 16:38:23 | Life.ru

Число совершивших деяния террористического характера подростков выросло вдвое
14.07.2026 16:37:52 | ТАСС

Число подростков, совершивших деяния террористического характера, выросло вдвое
14.07.2026 16:37:52 | ТАСС

Привычная приправа оказалась защитником суставов от разрушения
14.07.2026 16:37:35 | Lenta.ru

Во Франции перед национальным праздником задержали 188 человек
14.07.2026 16:37:28 | ТАСС

Стало известно, почему Мелони проигнорировала саммит «коалиции желающих» и ни о чём не жалеет
14.07.2026 16:37:26 | Life.ru

В Южной Корее могут посадить в тюрьму очередного экс-президента
14.07.2026 16:36:00 | Российская Газета

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro