Kafka, таксономии и удаление событий: как исключить обработку неактуальных сообщений

15.05.2026 09:23:47 | Хабр

Хабы: Java, Apache, Микросервисы, Распределённые системы, Big Data

В рамках задачи по обработке XBRL-таксономий возникло требование: если таксономия удалена до обработки событий расчёта кэша, эти события не должны приводить к созданию данных для уже неактуальной сущности.

На первый взгляд кажется, что достаточно найти соответствующие сообщения и удалить их из Kafka topic. Но Kafka хранит данные как commit log, поэтому точечное удаление сообщений по версии таксономии или другому бизнес-признаку оказывается небезопасным.

В статье рассмотрим, почему прямое удаление сообщений не подошло, какие варианты были рассмотрены и как в итоге был применён комбинированный подход: стабильный Kafka key, tombstone-сообщения, compact/delete policy и проверка состояния таксономии на стороне consumer.

Разберём решение

Подробнее

Читайте также

Об организации труда ИИ-агентов
15.05.2026 09:21:26 | Хабр

Минфин сообщил о внедрении ИИ в работу правительства
15.05.2026 09:17:09 | ferra.ru

Ускорение запросов в PostgreSQL: три рычага оптимизации и практический разбор
15.05.2026 09:12:18 | Хабр

[Перевод] Иголка в стоге сена: как LLM помогают искать уязвимости
15.05.2026 09:10:52 | Хабр

Эксперимент: как pgpro_pwr помог проверить настройки PostgreSQL 17
15.05.2026 09:10:33 | Хабр

AI-ассистент для вайб-кодинга — он не лучше, он(и) … с другой планеты
15.05.2026 09:08:32 | Хабр

Геймификация продуктивности: как не забросить таск-менеджер через неделю
15.05.2026 09:05:12 | Хабр

Оверклокинг умер, да здравствует андервольтинг: как современные процессоры перестали разгонять и начали оптимизировать
15.05.2026 09:00:36 | Хабр

Что такое MCP. Как работает киллер-фича современности под капотом
15.05.2026 08:59:48 | Хабр

Шесть аудиторий вашей карьеры: пятеро за моим столом
15.05.2026 08:52:29 | Хабр

В России подготовят правила для внедрения ИИ в строительстве
15.05.2026 08:49:13 | ferra.ru

Полезный гнев природы: разрушение метана во время извержения вулкана
15.05.2026 08:45:02 | Хабр

Обзор российских ИИ-платформ корпоративного уровня: изучаем архитектуру SimpleOne GenAI, BPMSoft AI, ELMA Cortex
15.05.2026 08:36:30 | Хабр

Подорожает ли облако в России в 2026 году. Спойлер: уже подорожало, и это только начало
15.05.2026 08:31:29 | Хабр

В Google Translate появится живой перевод без интернета
15.05.2026 08:24:38 | ferra.ru

Какой подход к предсказанию последовательности стоит выбрать
15.05.2026 08:24:14 | Хабр

День 1541: объём денег на срочных вкладах россиян в марте 2026 года сократился на 290 млрд рублей — впервые с осени 2023-го
15.05.2026 08:22:55 | vc.ru

Переговорное мышление
15.05.2026 08:20:16 | Хабр

Криптографический алгоритм «Криптонита» S3G-5G для безопасности сетей 5G прошёл этап согласования в ТК 26
15.05.2026 08:16:26 | Хабр

[Перевод] Фотографическая память — это миф: вот что на самом деле говорят исследования о работе памяти
15.05.2026 08:13:25 | Хабр

Каналы и авторизация в Centrifugo: как безопасно подключить real-time в Laravel
15.05.2026 08:01:08 | Хабр

[Перевод] Mission Impossible: как добиться 0 рекомпозиций в сложном кастомном UI
15.05.2026 08:00:20 | Хабр

Трудности перевода: почему LLM не умеют писать нормальные докстринги на русском и как это исправить
15.05.2026 08:00:20 | Хабр

Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMax
15.05.2026 08:00:19 | Хабр

Devise в Ruby on Rails
15.05.2026 07:57:18 | Хабр

Теряет ли OpenAI деньги на подписках и другие прикидки на салфетке
15.05.2026 07:54:49 | Хабр

Что я узнал, делая прототип банкового чата с ИИ
15.05.2026 07:53:05 | Хабр

NeuroXess. Исследуем мозговой чип из Китая, вживленный уже 54 реципиентам
15.05.2026 07:51:13 | Хабр

Цифровой двойник Атома: как процесс симуляции меняет профессию инженера
15.05.2026 07:46:09 | Хабр

Телеграм-бот переклички автовладельцев на Kotlin Native
15.05.2026 07:43:17 | Хабр

Сравнение моделей конкурентности JVM языков: Kotlin coroutines, ZIO runtime и Clojure
15.05.2026 06:57:21 | Хабр

Гиперэкономия на токенах с API SpeShu.AI: как работает новое кэширование
15.05.2026 06:56:29 | Хабр

Я написал свой DNS-резолвер на Go вместо того, чтобы взять Unbound. Вот почему и что из этого вышло
15.05.2026 06:50:55 | Хабр

Шахматные программы II. Отсечения
15.05.2026 06:33:22 | Хабр

CTE в PostgreSQL: как писать сложные запросы просто
15.05.2026 06:30:44 | Хабр

Смотреть все

НОВОСТИ

Балицкий сообщил о высокой дроновой активности в Мелитопольском округе
10.06.2026 23:48:04 | Life.ru

В Запорожской области ограничили перевозку организованных детских групп
10.06.2026 23:43:39 | Life.ru

Макрон заявил об участии Зеленского в саммите G7
10.06.2026 23:43:00 | Lenta.ru

Трамп провел заседание в Ситуационной комнате для обсуждения новых ударов по Ирану
10.06.2026 23:40:46 | Lenta.ru

Трамп заявил, что на чемпионат мира в США попадут лишь "правильные" иностранцы
10.06.2026 23:40:00 | Российская Газета

ТАСС: самолет-заправщик США второй вечер летает у границ Ирана
10.06.2026 23:39:35 | ТАСС

Два мирных жителя ранены при ударе дрона ВСУ по авто в Белгородской области
10.06.2026 23:39:35 | Life.ru

Пострадавшим и родственникам погибших в ДТП в Екатеринбурге окажут помощь
10.06.2026 23:39:32 | ТАСС

ВСУ начали массированную атаку на российский регион
10.06.2026 23:38:59 | Lenta.ru

Во Франции раскрыли состояние Зеленского
10.06.2026 23:37:00 | Lenta.ru

Зеленский предложил Прибалтике сделку по дронам
10.06.2026 23:35:00 | Lenta.ru

Украина впервые забронировала долгосрочные мощности газового терминала в Европе
10.06.2026 23:35:00 | Lenta.ru

Над Крымом и Севастополем сбили 10 БПЛА
10.06.2026 23:33:48 | ТАСС

Делегация РФ в Вене: спонсорами убийства россиян являются участники "коалиции дронов"
10.06.2026 23:31:20 | ТАСС

На фасаде Дома правительства зажглась подсветка ко Дню России
10.06.2026 23:29:57 | ТАСС

Омбудсмен Украины ушёл от ответа на вопрос об объятиях при передаче пленных
10.06.2026 23:27:33 | Life.ru

На Украине признали падение эффективности ПВО
10.06.2026 23:24:11 | Lenta.ru

Торги на Нью-Йоркской бирже закрылись снижением индексов после слов Трампа по Ирану
10.06.2026 23:23:59 | ТАСС

НКО смогут на "Госуслугах" подтверждать свои соцсети
10.06.2026 23:23:27 | ТАСС

Папа Римский освятил самую высокую башню храма Святого Семейства в Барселоне
10.06.2026 23:20:42 | ТАСС

В Башкирии задержали банду, оформлявшую SIM-карты на погибших бойцов СВО
10.06.2026 23:19:12 | Life.ru

Шуваев обсудил с Хуснуллиным развитие опорных населенных пунктов Белгородской области
10.06.2026 23:18:11 | ТАСС

Постпред Ирана при ООН призвал Трампа воздержаться от угроз Тегерану
10.06.2026 23:13:41 | ТАСС

Постпред при ООН: президенту США стоит воздержаться от угроз в адрес Ирана
10.06.2026 23:13:41 | ТАСС

В Ингушетии устанавливают двуязычные указатели для сохранения родного языка
10.06.2026 23:10:01 | ТАСС

Sky: полиция Белфаста применила водомет для разгона антимигрантских протестов
10.06.2026 23:09:54 | ТАСС

Стоимость фьючерса на золото опустилась ниже $4 100 впервые с 24 ноября
10.06.2026 23:08:35 | ТАСС

Стоимость фьючерса на золото опустилась ниже $4 100 впервые с 24 ноября 2025 года
10.06.2026 23:08:35 | ТАСС

В историческом центре Ростова-на-Дону загорелись два дома
10.06.2026 23:07:22 | ТАСС

В восьми округах Херсонской области восстановили подачу электричества
10.06.2026 23:06:27 | Life.ru

ОП: число негосударственных организаций - поставщиков соцуслуг выросло на 7%
10.06.2026 23:03:01 | ТАСС

В Горловке при атаке ВСУ пострадал мужчина
10.06.2026 23:02:52 | ТАСС

Корстин: ЦСКА является неудобным соперником для УНИКСа в решающих стадиях
10.06.2026 23:02:27 | ТАСС

Путин поприветствовал участников и гостей форума «ШУМ»
10.06.2026 23:00:45 | Life.ru

Создана интерактивная "карта профессий" Старой Руссы XVII века
10.06.2026 23:00:31 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro