[Перевод] Как за сутки обойти миллиард веб-страниц

25.02.2026 09:56:01 | Хабр

Хабы: Поисковые технологии, Программирование, Поисковая оптимизация, Виртуализация

TL;DR:

1,005 миллиарда веб-страниц

25,5 часа

$462

По какой-то причине уже долгое время никто не писал о том, что требуется для краулинга большой части веба: последним обнаруженным мной источником был пост Майкла Нильсена за 2012 год[1].

Очевидно, что за это время много изменилось. Всё стало больше, лучше и быстрее: у CPU появилось намного больше ядер, на смену жёстким дискам пришли твердотельные накопители NVMe, скорости ввода-вывода которых сравнимы со скоростями RAM, существенно выросла ширина сетевых каналов, существенно расширился список типов инстансов EC2 и так далее. Но в чём-то ситуация и усложнилась: гораздо бóльшая часть веба стала динамической, а контент теперь более тяжёлый. Как поменялось состояние Интернета? Теперь узкие места стали другими, и для создания своего Google по-прежнему нужно около 41 тысячи долларов? Мне захотелось это узнать, поэтому я собрал и выпустил собственный веб-краулер¹ в условиях похожих ограничений.

Подробнее

Читайте также

Параллельный запуск автотестов на Java: лучшие практики для стабильного CI/CD
25.02.2026 09:40:15 | Хабр

glenv: синхронизируем .env файлы с GitLab CI/CD переменными без боли
25.02.2026 09:39:43 | Хабр

Реализация принципов BIM для проектирования комплексных технологических процессов на примере ПО «PROMPROEKTOR»
25.02.2026 09:37:15 | Хабр

S3 Архипелаг: как мы в Диасофте построили свое объектное хранилище
25.02.2026 09:33:50 | Хабр

Как мы создали систему интеллектуального поиска персонала с помощью виртуальных рекрутеров. Часть 2 Технологии
25.02.2026 09:25:59 | Хабр

Хакинг бытовой техники: от реверса стиралки к созданию открытого сервисного ПО
25.02.2026 09:24:42 | Хабр

Я два месяца платил 300к человеку, который тихо скармливал мои задачи в ChatGPT
25.02.2026 09:15:38 | Хабр

Не доверяй и проверяй: как PAM-системы работают в архитектуре Zero Trust
25.02.2026 09:04:41 | Хабр

Russtech + Стажеры + ML: история разработки решения для мониторинга цифровых экранов
25.02.2026 09:00:34 | Хабр

Оптимизация стоимости владения K8s-кластерами в AWS и YC
25.02.2026 09:00:33 | Хабр

В МТС стартовали продажи смартфона-«трикладушки» Samsung Galaxy Z TriFold
25.02.2026 09:00:28 | ferra.ru

Паттерны конкурентности в Go. Подробный разбор. Часть 1. Worker pool
25.02.2026 09:00:15 | Хабр

Discord отложил введение обязательной проверки возраста до второй половины 2026 года
25.02.2026 08:59:03 | vc.ru

Аллостаз как суть IT-стратегии: почему поиск стабильности убивает вашу контору
25.02.2026 08:57:43 | Хабр

[Перевод] Стоп-слова, исключения и словоформы в Manticore
25.02.2026 08:57:30 | Хабр

[Перевод] Возникновение компьютерных игр, часть II: оцифровка «нёрдов»
25.02.2026 08:49:11 | Хабр

Скайнет нанимает фрилансеров: как ИИ-агенты начали покупать человеческий труд через API
25.02.2026 08:45:36 | Хабр

Frontend Status: свежий дайджест фронтенда и AI — 25.02.2026
25.02.2026 08:37:18 | Хабр

День 1463: российский рынок ПО за 2025 год вырос на 21%, до 808 млрд рублей
25.02.2026 08:37:05 | vc.ru

Сантиметры против метров: как RTK-контроллеры спасают инженеров от бессмысленных раскопок
25.02.2026 08:35:38 | Хабр

Как я в одиночку написал полноценное финансовое Android-приложение на Jetpack Compose
25.02.2026 08:25:30 | Хабр

Билеты туда-обратно, отель: британец полетел в США за жёсткими дисками и сэкономил
25.02.2026 08:15:21 | ferra.ru

Gemini 3.1 Pro: обновление, которое делает модель умнее (наверное)
25.02.2026 08:01:18 | Хабр

Быстрая зарядка: визуализация связующих компонентов Li-ion батарей
25.02.2026 08:00:04 | Хабр

[Перевод] BASIC не умер. Пора развеять мифы о Basic
25.02.2026 07:59:20 | Хабр

[Перевод] Эти непотопляемые трубки могут помочь добывать энергию из океана
25.02.2026 07:49:52 | Хабр

[Перевод] Полноценный GPT в 243 строках Python от Andrej Karpathy
25.02.2026 07:41:40 | Хабр

Интервью с автором первой русскоязычной книги о современном техническом писательстве
25.02.2026 07:28:15 | Хабр

Продвинутое использование RPC в Windows
25.02.2026 07:19:20 | Хабр

Как мы оптимизировали компоненты во фронтенде: работа с импортами и package.json
25.02.2026 07:16:55 | Хабр

Когда зашел не в ту дверь. Или как рядовому Qa automation жить в мире с LLM
25.02.2026 07:16:03 | Хабр

Потрошим расширения VS Code: как XSS превращается в кражу ваших SSH-ключей
25.02.2026 07:15:47 | Хабр

Планирование производства: как избежать ошибок и начать управлять сроками
25.02.2026 06:59:59 | Хабр

Shut up and take my money: как команде получить ресурсы от бизнеса
25.02.2026 06:50:39 | Хабр

Так что там реально с Telega?
25.02.2026 06:39:33 | Хабр

Смотреть все

НОВОСТИ

Больше всего денег в марте россияне потратили на легковушки старше 10 лет
03.05.2026 06:20:00 | За рулем

Иран передал США «дорожную карту» из 14 пунктов для достижения мира
03.05.2026 00:56:16 | Life.ru

"Бенфика" потеряла шансы выиграть чемпионат Португалии, не проиграв ни разу
03.05.2026 00:54:41 | ТАСС

Восходящая звезда «Формулы-1» Антонелли выиграл квалификацию Гран-при Майами
03.05.2026 00:52:31 | Life.ru

Самому младшему из погибших при пожаре в ХМАО детей был год
03.05.2026 00:49:24 | Life.ru

Огонь до горизонта: Жители Новокузнецка опубликовали видео крупного пожара на поле
03.05.2026 00:45:35 | Life.ru

В Киеве отменили воздушную тревогу
03.05.2026 00:43:54 | ТАСС

Al Ekhbariya: в Сирии нанесли авиаудары по складу оружия группировок
03.05.2026 00:38:02 | ТАСС

Четыре человека пострадали в результате стрельбы в Лондоне
03.05.2026 00:38:00 | Российская Газета

Татьяна Тарасова рассказала о своём состоянии после выписки из больницы
03.05.2026 00:37:41 | Life.ru

Средняя пенсия неработающих россиян превысила 30 тыс. рублей в 13 регионах
03.05.2026 00:33:54 | ТАСС

Средняя пенсия неработающих пенсионеров превысила 30 тыс. рублей в 13 регионах РФ
03.05.2026 00:33:54 | ТАСС

Над Тульской областью за вечер сбили пять украинских дронов
03.05.2026 00:30:41 | Life.ru

ПВО отразила атаку БПЛА на Москву
03.05.2026 00:30:12 | Life.ru

Собянин: силы ПВО Минобороны уничтожили БПЛА, летевший на Москву
03.05.2026 00:26:37 | ТАСС

Кличко сообщил о взрывах в Киеве
03.05.2026 00:23:54 | Life.ru

Умер серебряный призёр Олимпиады по академической гребле Евгений Дулеев
03.05.2026 00:20:30 | Life.ru

Компенсации и повышенный оклад. Какие выплаты положены за работу в майские праздники и как их получить
03.05.2026 00:20:00 | Life.ru

«Акт беспорядочного насилия»: В Лондоне неизвестный открыл стрельбу по толпе на барбекю-вечеринке
03.05.2026 00:19:44 | Life.ru

Fars: Иран передал США "дорожную карту" для достижения соглашения
03.05.2026 00:17:43 | ТАСС

Антонелли выиграл квалификацию Гран-при Майами "Формулы-1"
03.05.2026 00:13:07 | ТАСС

Сводка СВО на 3 мая: Освобождено Мирополье, кошмар ВСУ под Добропольем и бегство из Куриловки, Зеленский хочет вести переговоры без США
03.05.2026 00:07:00 | Life.ru

Посол РФ: недружественные шаги Скопье не дают собрать межправкомиссию
03.05.2026 00:06:09 | ТАСС

Посол РФ: шаги Северной Македонии не дают провести заседание межправкомиссии
03.05.2026 00:06:09 | ТАСС

В Петербурге пройдет гала-концерт "Пою мое Отечество"
03.05.2026 00:05:55 | ТАСС

«Выстрел без причины»: Подросток получил пулевое ранение в центре Сочи
03.05.2026 00:05:02 | Life.ru

В Сочи задержали мужчину, выстрелившего в подростка из окна дома
03.05.2026 00:05:02 | Life.ru

В России расширили перечень профессий для альтернативной службы
03.05.2026 00:03:32 | ТАСС

В Воронеже объявили угрозу удара БПЛА
03.05.2026 00:02:58 | ТАСС

Сержант Губенко спас двух раненых бойцов, вынеся с поля боя
03.05.2026 00:02:06 | ТАСС

Рядовой Тамман уничтожил минометный расчет ВСУ
03.05.2026 00:01:59 | ТАСС

Ключевые страны ОПЕК+ обсудят план по добыче нефти в июне
03.05.2026 00:00:43 | ТАСС

Курилы тряхнуло: Жители Парамушира почувствовали землетрясение в Тихом океане
02.05.2026 23:57:43 | Life.ru

У берегов северных Курил произошло землетрясение магнитудой 4,2
02.05.2026 23:57:43 | Life.ru

Рэпер Flo Rida признался в любви российской публике на концерте в Москве
02.05.2026 23:56:07 | Life.ru

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro