[Перевод] Как Uber масштабировал репликацию данных, чтобы ежедневно перемещать петабайты

15.02.2026 12:45:13 | Хабр

Хабы: Программирование, Data Engineering, IT-инфраструктура, Анализ и проектирование систем, Высоконагруженные системы

Uber держит огромные объёмы данных сразу в своих дата-центрах и в облаке, поэтому их нужно постоянно и быстро копировать между регионами для аналитики и аварийного восстановления.

Когда объём таких копирований вырос до петабайта в день, оказалось, что система тормозит не на самой передаче данных, а на подготовке задач и служебных накладных расходах. Команда переработала процесс так, чтобы тяжелая подготовительная рутина выполнялась ближе к месту запуска задач, а ключевые этапы шли параллельно.

Для маленьких копирований они убрали лишние запуски отдельных процессов/контейнеров, чтобы не тратить время на старт пустой работы. В итоге пропускная способность репликации выросла примерно в 5 раз и стала стабильнее, а перенос данных в облако пошёл заметно быстрее

Подробнее

Читайте также

HackTheBox. Прохождение Bashed. Для новичков. Ультра-легкий
15.02.2026 12:42:00 | Хабр

Мобильная разработка за неделю #619 (9 — 15 февраля)
15.02.2026 12:29:21 | Хабр

Почему я бросил шарпы?
15.02.2026 12:15:52 | Хабр

А был ли токен: как лопнул пузырь NFT и что от него осталось
15.02.2026 11:48:55 | Хабр

Закат эпохи: провайдеры окончательно отказываются от dial-up и 3G, но ряд идей в основе технологий обретают новую жизнь
15.02.2026 11:37:49 | Хабр

Тестируем популярные нейронки на одном промпте
15.02.2026 11:31:35 | Хабр

Как я строил бэкенд с ментальностью фронтендера: история одного провала
15.02.2026 11:30:46 | Хабр

Интерактивные истории с ИИ
15.02.2026 11:21:24 | Хабр

Почему надо следить за задачами
15.02.2026 11:15:38 | Хабр

Как я сделал рабочий pgAdmin4 Desktop для Arch Linux и почему это оказалось сложнее, чем кажется
15.02.2026 10:20:31 | Хабр

Нейросеть Nano Banana (Gemini): как использовать в России, готовые промпты и идеи для генерации
15.02.2026 09:58:03 | Хабр

[Перевод] Как Microsoft подготовила себя к провалу в AI
15.02.2026 09:56:48 | Хабр

Как узнать Telegram ID: пользователя, чата, канала или бота
15.02.2026 09:23:57 | Хабр

[Перевод] Физик проанализировала более 100 000 «исправленных» багов ядра Linux
15.02.2026 09:14:25 | Хабр

[Перевод] Как разработчик взломал умные пылесосы DJI Romo и научился управлять ими с помощью геймпада PS5
15.02.2026 09:07:21 | Хабр

Механическая вселенная и свобода воли
15.02.2026 09:01:16 | Хабр

Ultra Ethernet: что это за технология и зачем она нужна дата-центрам
15.02.2026 08:00:08 | Хабр

vCISO — это сотрудник или услуга?
15.02.2026 08:00:06 | Хабр

Java Rock Stars Meetup к нам приходит
15.02.2026 08:00:06 | Хабр

Сплит-клавиатура Lily58 Pro: как я сделал ее беспроводной. Пайка, GitHub и аккумуляторы
15.02.2026 08:00:04 | Хабр

Знакомство с BLE. Модуль HM-10
15.02.2026 07:49:45 | Хабр

Эволюция ПО в разработке игр на практике: 1982 — IBM PC
15.02.2026 07:24:44 | Хабр

Как работает реклама в интернете простыми словами
15.02.2026 07:16:22 | Хабр

SDD (Spec-Driven Documentation) – фреймворк для разработки технической документации в репозитории
15.02.2026 07:00:16 | Хабр

Я добавил трейты и указатели в свой язык
15.02.2026 06:27:37 | Хабр

9 вещей, которые я понял, анализируя рынок робототехники в этом году
15.02.2026 06:22:04 | Хабр

Товарный знак в 2026 году: стратегический подход для опытных предпринимателей
15.02.2026 06:10:07 | Хабр

Почему я до сих пор верю в воздушное охлаждение
15.02.2026 06:01:03 | Хабр

Своя байт-код VM, шейдеры и 3 килобайта на всё: как я создавал игру за 7 дней
15.02.2026 05:15:58 | Хабр

[Перевод] Возможно, самый гениальный код на python на сегодня: разбираем 200-строчный microgpt от Андрея Карпаты
14.02.2026 22:10:14 | Хабр

«Asda — новый Tinder»: в соцсетях «завирусилась» рекламная кампания супермаркета, который добавил в зал корзины красного цвета для тех, кто ищет пару
14.02.2026 21:55:28 | vc.ru

Чат-бот с генеративным AI под капотом (разговаривает как живой)
14.02.2026 21:37:14 | Хабр

Хочу все знать
14.02.2026 19:57:16 | Хабр

Как выбирать правильно: быстрая оценка масштаба пользовательского интерфейса цифрового продукта
14.02.2026 19:48:03 | Хабр

Как организовать отчёты менеджеров по продажам в Google Таблицах и собирать данные в общие сводки
14.02.2026 19:37:51 | Хабр

Смотреть все

НОВОСТИ

Глава Херсонской облдумы заявила, что Киеву не нужен мир
06.06.2026 09:53:23 | ТАСС

Воробьев: Подмосковье открыто для инвесторов разных сфер деятельности
06.06.2026 09:52:41 | ТАСС

Лавров пообещал добиться восстановления прав русских на Украине
06.06.2026 09:52:29 | Lenta.ru

Ливан сообщил о гибели нескольких военных погибли при ударе израильского дрона
06.06.2026 09:49:45 | ТАСС

В Тверской области при атаке ВСУ погиб человек
06.06.2026 09:49:07 | ТАСС

«Махнуть рукой и улыбнуться»: Бабкина заговорила об уходе со сцены
06.06.2026 09:48:56 | Life.ru

В Сеуле протестующие второй день блокируют избирательный участок
06.06.2026 09:48:09 | ТАСС

ФИФА после волны критики разрешила проносить пластиковые бутылки на матчи ЧМ-2026
06.06.2026 09:47:25 | ТАСС

В Одесской области объект критической инфраструктуры получил повреждение
06.06.2026 09:47:03 | ТАСС

Жаров: зритель чувствует разницу между живой съемкой и сгенерированным видео
06.06.2026 09:46:42 | ТАСС

CAS отклонил апелляцию Григоренко и подтвердил его дисквалификацию
06.06.2026 09:46:42 | Life.ru

Молодой человек вслух читал Булгакова в Киеве на месте демонтированного памятника
06.06.2026 09:46:15 | ТАСС

Лавров: РФ добьется восстановления прав русских на Украине
06.06.2026 09:45:58 | ТАСС

Фонд "Защитники Отечества" подписал соглашения на полях ПМЭФ
06.06.2026 09:45:56 | ТАСС

Иран и США обменялись ударами
06.06.2026 09:45:00 | Российская Газета

В Сербии заявили о готовности вступить в объединение с Россией
06.06.2026 09:44:18 | Lenta.ru

Миронов предложил увеличить в четыре раза номинал "Пушкинской карты"
06.06.2026 09:43:51 | ТАСС

На Земле завершилась магнитная буря
06.06.2026 09:43:50 | ТАСС

В аэропорту Пулково задерживаются 43 рейса
06.06.2026 09:41:38 | ТАСС

Россиянкам предложили выплачивать материнскую зарплату
06.06.2026 09:41:00 | Lenta.ru

Дэвис заявил, что США не оставят без ответа насмешки в письме Зеленского Путину
06.06.2026 09:41:00 | Российская Газета

В ГД предложили автоматизировать процесс списания долгов по уплате налогов
06.06.2026 09:40:50 | ТАСС

Назван фаворит в финальном матче «Ролан Гаррос» с участием россиянки Андреевой
06.06.2026 09:38:01 | Lenta.ru

На руке Трампа снова заметили синяк
06.06.2026 09:36:37 | Lenta.ru

На Тюменском НПЗ произошёл пожар
06.06.2026 09:35:11 | Life.ru

Запорожское Заксобрание поможет КПРФ восстановить работу в Энергодаре
06.06.2026 09:35:02 | ТАСС

Любимова: в сфере использования ИИ должно быть четкое законодательство
06.06.2026 09:35:01 | ТАСС

«Мы все очень устали»: Буланова объяснила, почему старается не выходить из дома
06.06.2026 09:33:19 | Life.ru

РУСАДА проверило на допинг чемпионку мира по легкой атлетике из Кубы
06.06.2026 09:33:08 | ТАСС

На дорогах Москвы заметили автомобиль с новым кодом региона
06.06.2026 09:31:51 | Life.ru

Губернатор Кузбасса ожидает рост турпотока в регион на 5% за год
06.06.2026 09:30:56 | ТАСС

Посол в РФ: Пакистан заинтересован в зоне свободной торговли с ЕАЭС
06.06.2026 09:30:29 | ТАСС

Собянин сообщил об уничтожении 22 БПЛА на подлете к Москве
06.06.2026 09:29:57 | Lenta.ru

В слове «куркума» изменили ударение
06.06.2026 09:28:57 | Life.ru

"Танго нужно танцевать вдвоем, а США пока не хотят". Песков об отношениях стран
06.06.2026 09:28:06 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro