Операция выполнена!
Закрыть
info@vsetut.pro
Стать автором
Вернуться

Дедупликация строк на доставщике логов: сравниваем OpenTelemetry, Vector, vlagent, Fluent Bit Grafana Alloy и Filebeat

21.09.2026 05:40:10 | Хабр
Хабы: Системное администрирование

Один и тот же стек трейс, напечатанный 50 тысяч раз, не сделает расследование инцидентов в 50 тысяч раз полезнее. Зато он честно увеличит сетевой трафик, объем хранения и время на извлечение данных.

Решение выглядит очевидно: включить дедупликацию в агенте. Но под дедупликацией у разных лог-шипперов скрываются разные вещи. Один агрегирует повторы и сохраняет их количество, другой молча оставляет только первую запись, третий умеет лишь ограничить частоту, а четвёртый показывает уникальные строки только в интерфейсе — после того как все дубли уже попали в хранилище.

Меня зовут Антон Касимов, я работаю в Gals Software, веду авторский телеграм по наблюдаемости Мониторим ИТ и я сравнил пять известных лог-шипперов (мог бы назвать их популярными, но это субъективно):

- OpenTelemetry Collector

- Vector

- vlagent

- Fluent Bit

- Grafana Alloy

- Filebeat

А затем прогнал через них одинаковый поток данных. Агентов, которые действительно умеют в дедупликацию оказалось два: OpenTelemetry Collector и Vector. У Fluent Bit задачу можно решить скриптом, а у Filebeat, vlagent и Alloy встроенного механизма дедупликации вообще не оказалось.

Вперёд!

Читать далее
Подробнее
Читайте также
НОВОСТИ

ВСЕ НОВОСТИ
ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro

Copyright © 2026 - vsetut.pro