Как Яндекс Диск выдерживает сотни гигабит входящего трафика: устройство балансировки загрузок

01.06.2026 07:29:21 | Хабр

Хабы: Блог компании Яндекс, Хранение данных, Программирование, Высоконагруженные системы

Типичная схема бэкэнд‑приложения выглядит стандартно: группа экземпляров сервиса и балансировщик перед ними. Пользователь отправляет запрос на балансировщик, а тот проксирует его на конкретный инстанс.

Эта схема отлично работает на лёгких API‑запросах, но рассыпается, как только трафик становится тяжелее. В случае с Яндекс Диском речь идёт о массовой загрузке файлов.

Меня зовут Илья Абрамов, я разработчик в Диске, и в статье я расскажу, почему для загрузки данных нам пришлось отказаться от классических балансеров, как наш первоначальный алгоритм страдал от высокой дисперсии загруженности узлов, и какую архитектуру мы применили, чтобы заметно сгладить этот разброс и статистически улучшить показатели утилизации сети.

Подробнее

Читайте также

Безопасное обновление интерфейса во Flutter после ожидания
01.06.2026 07:19:33 | Хабр

Записки оптимизатора 1С (ч.17). Как избежать падения Postgres при большом потреблении памяти запросами
01.06.2026 07:10:37 | Хабр

10 перспективных российских стартапов – май 2026 года
01.06.2026 07:00:38 | Хабр

PewDiePie выложил в open source Odysseus — персональный AI-хаб для локальной работы
01.06.2026 06:56:08 | Хабр

Всё вокруг контент — если ты достаточно смел (devlog игровой разработки)
01.06.2026 06:54:50 | Хабр

Расспросила дизайнеров из бигтеха, как изменилась их работа за год — часть 2: границы и переоценённый хайп
01.06.2026 06:52:53 | Хабр

Тайная слабость нейросетей: почему большие контекстные окна не работают
01.06.2026 06:52:06 | Хабр

Расспросила дизайнеров из бигтеха, как изменилась их работа за год — часть 1: инструменты и результаты
01.06.2026 06:52:02 | Хабр

Подмена hero на edge по UTM: Cloudflare Pages Functions + HTMLRewriter для React SSG за 200 строк
01.06.2026 06:24:52 | Хабр

Спутниковая связь в симуляторе NS-3. Часть 1
01.06.2026 06:24:06 | Хабр

Hermes Agent — агент, который обучается с вами, Дам попробовать
01.06.2026 06:19:48 | Хабр

Языковые модели без лишних слов
01.06.2026 06:18:21 | Хабр

[Перевод] Технологические тренды в управлении автопарками в 2026
01.06.2026 06:00:42 | Хабр

Чип и фейк спешат напомнить: Как делались фейки до прихода ИИ (и почему они ужасны)
01.06.2026 06:00:41 | Хабр

React Native iOS Push Notifications: почему push не сохраняются в background/killed state
01.06.2026 06:00:41 | Хабр

Шахматные программы VII. Основной перебор Stockfish
01.06.2026 06:00:09 | Хабр

Цивилизация на основе контейнеров 2: деплоим морские контейнеры из кода в реальность
01.06.2026 05:41:35 | Хабр

A2A изнутри: как AI-агенты из разных сервисов договариваются друг с другом
01.06.2026 05:17:29 | Хабр

Реплики с задержкой в применении WAL
01.06.2026 05:16:28 | Хабр

Ремейки. Встречают по одёжке…
01.06.2026 05:16:25 | Хабр

Как (не) терять дни впустую
01.06.2026 05:08:48 | Хабр

Языки программирования в вакансиях на HeadHunter
01.06.2026 04:48:18 | Хабр

Дайджест технических новостей, переводов и лонгридов инфослужбы Хабра за май 2026 года
01.06.2026 04:40:17 | Хабр

Я дважды не смог собрать команду для pet-проекта. Потом за полгода закрыл всё с Claude
01.06.2026 04:14:14 | Хабр

Мы Жука-мошенника прижучили, или как научить ребенка киберграмотности на его языке
01.06.2026 03:57:39 | Хабр

Как подумать о том что хорошо бы реализовать idea для php и вляпаться в разработку
01.06.2026 01:38:41 | Хабр

Используем фотограмметрию для распознавания и геолокации объекта
31.05.2026 23:46:58 | Хабр

Acer показала умные очки: у одних большой экран, у других — ИИ
31.05.2026 23:08:47 | ferra.ru

Царский путь к пониманию комплексных чисел. Часть II
31.05.2026 23:07:52 | Хабр

В Томске выяснили, какие форматы видео лучше удерживают внимание школьников
31.05.2026 22:51:54 | ferra.ru

Взрыв ракеты New Glenn задержит программы Blue Origin
31.05.2026 22:28:01 | ferra.ru

Российские медики обсудили роль ИИ в диагностике и фармацевтике
31.05.2026 22:26:53 | ferra.ru

Революция в один клик — история меню «Пуск»
31.05.2026 21:20:26 | Хабр

В России предложили добавить 1 выходной день для родителей с детьми
31.05.2026 21:15:40 | ferra.ru

В Тамбове создали безопасный алгоритм для реабилитационных экзоскелетов
31.05.2026 21:09:44 | ferra.ru

Смотреть все

НОВОСТИ

Рамные «долгожители»: какими внедорожниками в России дорожат больше всего
29.06.2026 19:25:00 | За рулем

Погибшей от сальмонеллёза в Астрахани оказалась 62-летняя сотрудница больницы
27.06.2026 17:59:55 | Life.ru

ТАСС: в Астрахани приостановили работу рыбного цеха после массового отравления
27.06.2026 17:56:40 | ТАСС

Владелец гастронома в Астрахани сообщил о допросе своих сотрудников
27.06.2026 17:56:28 | Lenta.ru

Экс-премьер Британии Мейджор: у Бернэма нет нужного международного опыта
27.06.2026 17:53:01 | ТАСС

Водитель авто умер при атаке дрона в Брянской области
27.06.2026 17:51:26 | Life.ru

Клуб НБА "Майами" сделал предложение Голдину по новому контракту
27.06.2026 17:51:07 | ТАСС

Среди госпитализированных после отравления в Астрахани есть годовалый ребенок
27.06.2026 17:48:53 | ТАСС

Умер латвийский актер Мартинс Вердиньш
27.06.2026 17:48:48 | ТАСС

ВС РФ поразили завод по производству нефтепродуктов «СП ЮКОИЛ» на Украине
27.06.2026 17:47:52 | Life.ru

Лантратова рассказала о взаимодействии с омбудсменом Украины
27.06.2026 17:46:55 | Life.ru

Спектакли, ремёсла и шоу Акмаля: Елец стал театральной площадкой в День молодёжи
27.06.2026 17:46:18 | Life.ru

Бладцева выиграла этап Кубка мира по прыжкам на батуте в Швейцарии
27.06.2026 17:46:12 | ТАСС

Утонувший в Пяндже оказался помощником главы ГБАО Таджикистана
27.06.2026 17:43:36 | Life.ru

Вспышка особо опасного заболевания зафиксирована в одной африканской стране
27.06.2026 17:42:44 | Lenta.ru

Министр юстиции Армении не считает, что правительство использовало админресурс на выборах
27.06.2026 17:42:04 | ТАСС

Стармер намерен выделить на оборону дополнительно 1 млрд фунтов перед отставкой
27.06.2026 17:41:00 | Российская Газета

В "Краснодаре" заявили, что Кордоба поехал на чемпионат мира с травмой
27.06.2026 17:39:19 | ТАСС

В угрозах Зеленского Беларуси увидели тактику Третьего рейха
27.06.2026 17:38:00 | Российская Газета

Бабуля с деменцией 2 дня гибла в болоте без воды и еды, пока её не нашёл рыбак
27.06.2026 17:37:49 | Life.ru

Бывшего президента двух клубов РПЛ внесли в базу «Миротворца»
27.06.2026 17:37:31 | Lenta.ru

В Томске 19-летний гонщик на Toyota Camry вылетел на тротуар и сбил двух человек
27.06.2026 17:36:59 | Life.ru

ВКС России и ВВС Китая провели стратегическое патрулирование
27.06.2026 17:35:45 | ТАСС

Бывший президент «Локомотива» и «Торпедо» Илья Геркус попал в «Миротворец»*
27.06.2026 17:33:53 | Life.ru

Трамп допустил пересмотр «пониманий» по Донбассу
27.06.2026 17:32:56 | Life.ru

Голландец описал российский город фразой «атмосфера как дома»
27.06.2026 17:31:44 | Lenta.ru

Психолог подсказала способы справиться с тревогой перед первым свиданием
27.06.2026 17:31:10 | Lenta.ru

Рёвекамп: Германия может вернуться к обязательной военной службе
27.06.2026 17:30:41 | ТАСС

Мирный житель ранен при сбросе бомбы с дрона ВСУ в Горловке
27.06.2026 17:28:39 | Life.ru

Одноглазую блогершу Дарью Мухину домогался врач — сын главного ортопеда РСФСР
27.06.2026 17:27:52 | Life.ru

В сети восхитились фигурой жены Игоря Николаева в пляжном образе
27.06.2026 17:26:50 | Lenta.ru

На подходах к Крымскому мосту скопились 1,3 тыс. автомобилей
27.06.2026 17:25:57 | ТАСС

Бастрыкин затребовал доклад по делу о травле 10-летней школьницы в Коломне
27.06.2026 17:25:36 | Life.ru

Эксперт Кравчук: искусственный интеллект не решит проблему нехватки драматургов
27.06.2026 17:24:35 | ТАСС

ВС России у Запорожья поразили завод по производству нефтепродуктов "СП юкоил"
27.06.2026 17:24:04 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro