Как Яндекс Диск выдерживает сотни гигабит входящего трафика: устройство балансировки загрузок

01.06.2026 07:29:21 | Хабр

Хабы: Блог компании Яндекс, Хранение данных, Программирование, Высоконагруженные системы

Типичная схема бэкэнд‑приложения выглядит стандартно: группа экземпляров сервиса и балансировщик перед ними. Пользователь отправляет запрос на балансировщик, а тот проксирует его на конкретный инстанс.

Эта схема отлично работает на лёгких API‑запросах, но рассыпается, как только трафик становится тяжелее. В случае с Яндекс Диском речь идёт о массовой загрузке файлов.

Меня зовут Илья Абрамов, я разработчик в Диске, и в статье я расскажу, почему для загрузки данных нам пришлось отказаться от классических балансеров, как наш первоначальный алгоритм страдал от высокой дисперсии загруженности узлов, и какую архитектуру мы применили, чтобы заметно сгладить этот разброс и статистически улучшить показатели утилизации сети.

Подробнее

Читайте также

Безопасное обновление интерфейса во Flutter после ожидания
01.06.2026 07:19:33 | Хабр

Записки оптимизатора 1С (ч.17). Как избежать падения Postgres при большом потреблении памяти запросами
01.06.2026 07:10:37 | Хабр

10 перспективных российских стартапов – май 2026 года
01.06.2026 07:00:38 | Хабр

PewDiePie выложил в open source Odysseus — персональный AI-хаб для локальной работы
01.06.2026 06:56:08 | Хабр

Всё вокруг контент — если ты достаточно смел (devlog игровой разработки)
01.06.2026 06:54:50 | Хабр

Расспросила дизайнеров из бигтеха, как изменилась их работа за год — часть 2: границы и переоценённый хайп
01.06.2026 06:52:53 | Хабр

Тайная слабость нейросетей: почему большие контекстные окна не работают
01.06.2026 06:52:06 | Хабр

Расспросила дизайнеров из бигтеха, как изменилась их работа за год — часть 1: инструменты и результаты
01.06.2026 06:52:02 | Хабр

Подмена hero на edge по UTM: Cloudflare Pages Functions + HTMLRewriter для React SSG за 200 строк
01.06.2026 06:24:52 | Хабр

Спутниковая связь в симуляторе NS-3. Часть 1
01.06.2026 06:24:06 | Хабр

Hermes Agent — агент, который обучается с вами, Дам попробовать
01.06.2026 06:19:48 | Хабр

Языковые модели без лишних слов
01.06.2026 06:18:21 | Хабр

[Перевод] Технологические тренды в управлении автопарками в 2026
01.06.2026 06:00:42 | Хабр

Чип и фейк спешат напомнить: Как делались фейки до прихода ИИ (и почему они ужасны)
01.06.2026 06:00:41 | Хабр

React Native iOS Push Notifications: почему push не сохраняются в background/killed state
01.06.2026 06:00:41 | Хабр

Шахматные программы VII. Основной перебор Stockfish
01.06.2026 06:00:09 | Хабр

Цивилизация на основе контейнеров 2: деплоим морские контейнеры из кода в реальность
01.06.2026 05:41:35 | Хабр

A2A изнутри: как AI-агенты из разных сервисов договариваются друг с другом
01.06.2026 05:17:29 | Хабр

Реплики с задержкой в применении WAL
01.06.2026 05:16:28 | Хабр

Ремейки. Встречают по одёжке…
01.06.2026 05:16:25 | Хабр

Как (не) терять дни впустую
01.06.2026 05:08:48 | Хабр

Языки программирования в вакансиях на HeadHunter
01.06.2026 04:48:18 | Хабр

Дайджест технических новостей, переводов и лонгридов инфослужбы Хабра за май 2026 года
01.06.2026 04:40:17 | Хабр

Я дважды не смог собрать команду для pet-проекта. Потом за полгода закрыл всё с Claude
01.06.2026 04:14:14 | Хабр

Мы Жука-мошенника прижучили, или как научить ребенка киберграмотности на его языке
01.06.2026 03:57:39 | Хабр

Как подумать о том что хорошо бы реализовать idea для php и вляпаться в разработку
01.06.2026 01:38:41 | Хабр

Используем фотограмметрию для распознавания и геолокации объекта
31.05.2026 23:46:58 | Хабр

Acer показала умные очки: у одних большой экран, у других — ИИ
31.05.2026 23:08:47 | ferra.ru

Царский путь к пониманию комплексных чисел. Часть II
31.05.2026 23:07:52 | Хабр

В Томске выяснили, какие форматы видео лучше удерживают внимание школьников
31.05.2026 22:51:54 | ferra.ru

Взрыв ракеты New Glenn задержит программы Blue Origin
31.05.2026 22:28:01 | ferra.ru

Российские медики обсудили роль ИИ в диагностике и фармацевтике
31.05.2026 22:26:53 | ferra.ru

Революция в один клик — история меню «Пуск»
31.05.2026 21:20:26 | Хабр

В России предложили добавить 1 выходной день для родителей с детьми
31.05.2026 21:15:40 | ferra.ru

В Тамбове создали безопасный алгоритм для реабилитационных экзоскелетов
31.05.2026 21:09:44 | ferra.ru

Смотреть все

НОВОСТИ

Каллас: ЕС готов участвовать в мирном урегулировании между США и Ираном
01.06.2026 14:59:00 | Российская Газета

32 года в глуши и страхе: Отшельник в деревне оказался убийцей, которого успели признать мёртвым
01.06.2026 14:57:48 | Life.ru

Захарова проведет брифинг на полях ПМЭФ
01.06.2026 14:56:47 | ТАСС

Британия купит ракеты Martlet для восполнения истощенных в Иране запасов
01.06.2026 14:56:22 | ТАСС

Минсельхоз Казахстана сообщил о начале поставок ранних арбузов и дынь в Россию
01.06.2026 14:56:00 | Российская Газета

Кравцов: ЕГЭ стартовал в штатном режиме
01.06.2026 14:54:37 | ТАСС

Defence24: польские фирмы получили около $3,7 млрд на производство снарядов
01.06.2026 14:53:47 | ТАСС

В России назвали две самые сложные задачи СВО на 2026 год
01.06.2026 14:53:41 | Lenta.ru

Главный поставщик сырья в ЕС столкнулся с риском массовых забастовок нефтяников
01.06.2026 14:53:00 | Lenta.ru

Журналист Евгений Шестаков: ООН обветшала в прямом и в переносном смысле
01.06.2026 14:53:00 | Российская Газета

Хуснуллин поручил повысить долю обновленного общественного транспорта в ДНР
01.06.2026 14:52:57 | ТАСС

Ход основного периода ЕГЭ контролируют 9 тыс. наблюдателей
01.06.2026 14:52:49 | ТАСС

Экс-главу "Радиоавтоматики" приговорили к восьми годам за хищение 300 млн рублей
01.06.2026 14:52:21 | ТАСС

Кафельников назвал основного претендента на победу в турнире «Ролан Гаррос»
01.06.2026 14:52:08 | Life.ru

Жители российского города остались без света
01.06.2026 14:52:07 | Lenta.ru

54-летняя звезда «Интернов» раскрыла секрет похудения на 25 килограммов
01.06.2026 14:51:59 | Lenta.ru

Прыгун в воду Шлейхер извинился за нарушение дисциплины
01.06.2026 14:51:53 | ТАСС

Коллегия присяжных рассмотрит дело банды Христева о похищениях и убийствах
01.06.2026 14:50:36 | ТАСС

Замглавы МИД РФ назвал суверенным правом решение ОАЭ о выходе из ОПЕК
01.06.2026 14:49:57 | ТАСС

МИД РФ: визит Зеленского в страны Ближнего Востока не принесет добавленной стоимости
01.06.2026 14:49:39 | ТАСС

«Система откатов»: Раскрыты катастрофические масштабы коррупции на Украине при Зеленском
01.06.2026 14:49:31 | Life.ru

Известная актриса решила стать фермером
01.06.2026 14:49:30 | Lenta.ru

Замглавы МИД РФ: роль США в мире будет уменьшаться
01.06.2026 14:48:59 | ТАСС

Грузинский футболист ПСЖ отказался отвечать на заданный на русском вопрос
01.06.2026 14:48:38 | Lenta.ru

Щит русской земли: Россиянам рассказали, о чём молятся великому князю Димитрию 1 июня
01.06.2026 14:47:13 | Life.ru

Щит русской земли: Россиянам рассказали о чём молятся великому князю Димитрию 1 июня
01.06.2026 14:47:13 | Life.ru

Супергрибной сезон начался в Подмосковье из-за дождей
01.06.2026 14:47:09 | Life.ru

На Уральский демографический форум приедут участники из 71 города РФ и 7 стран
01.06.2026 14:46:16 | ТАСС

Импортеров из стран ЕАЭС предупредили об увеличении расходов при переходе на СПОТ
01.06.2026 14:46:00 | Lenta.ru

«Хоть теорему Пифагора проверяй»: Учёные показали «небольшую» дыру на Солнце идеальной геометрической формы
01.06.2026 14:45:13 | Life.ru

Число пострадавших при атаке ВСУ на Севастополь 27 мая выросло до четырех
01.06.2026 14:44:24 | ТАСС

Гадалка Ермака предсказала появление новой информации от его разоблачителей
01.06.2026 14:43:57 | ТАСС

25 лет назад вооруженный до зубов принц расправился с монархом и королевской семьей. Его мотивы так и остались загадкой
01.06.2026 14:43:55 | Lenta.ru

Ограбленный в Париже блогер Синяк заявил, что воров нашли
01.06.2026 14:43:49 | Life.ru

Стало известно о боях за Гуляйпольское
01.06.2026 14:43:11 | Lenta.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro