[Перевод] Как за сутки обойти миллиард веб-страниц

25.02.2026 09:56:01 | Хабр

Хабы: Поисковые технологии, Программирование, Поисковая оптимизация, Виртуализация

TL;DR:

1,005 миллиарда веб-страниц

25,5 часа

$462

По какой-то причине уже долгое время никто не писал о том, что требуется для краулинга большой части веба: последним обнаруженным мной источником был пост Майкла Нильсена за 2012 год[1].

Очевидно, что за это время много изменилось. Всё стало больше, лучше и быстрее: у CPU появилось намного больше ядер, на смену жёстким дискам пришли твердотельные накопители NVMe, скорости ввода-вывода которых сравнимы со скоростями RAM, существенно выросла ширина сетевых каналов, существенно расширился список типов инстансов EC2 и так далее. Но в чём-то ситуация и усложнилась: гораздо бóльшая часть веба стала динамической, а контент теперь более тяжёлый. Как поменялось состояние Интернета? Теперь узкие места стали другими, и для создания своего Google по-прежнему нужно около 41 тысячи долларов? Мне захотелось это узнать, поэтому я собрал и выпустил собственный веб-краулер¹ в условиях похожих ограничений.

Подробнее

Читайте также

Параллельный запуск автотестов на Java: лучшие практики для стабильного CI/CD
25.02.2026 09:40:15 | Хабр

glenv: синхронизируем .env файлы с GitLab CI/CD переменными без боли
25.02.2026 09:39:43 | Хабр

Реализация принципов BIM для проектирования комплексных технологических процессов на примере ПО «PROMPROEKTOR»
25.02.2026 09:37:15 | Хабр

S3 Архипелаг: как мы в Диасофте построили свое объектное хранилище
25.02.2026 09:33:50 | Хабр

Как мы создали систему интеллектуального поиска персонала с помощью виртуальных рекрутеров. Часть 2 Технологии
25.02.2026 09:25:59 | Хабр

Хакинг бытовой техники: от реверса стиралки к созданию открытого сервисного ПО
25.02.2026 09:24:42 | Хабр

Я два месяца платил 300к человеку, который тихо скармливал мои задачи в ChatGPT
25.02.2026 09:15:38 | Хабр

Не доверяй и проверяй: как PAM-системы работают в архитектуре Zero Trust
25.02.2026 09:04:41 | Хабр

Russtech + Стажеры + ML: история разработки решения для мониторинга цифровых экранов
25.02.2026 09:00:34 | Хабр

Оптимизация стоимости владения K8s-кластерами в AWS и YC
25.02.2026 09:00:33 | Хабр

В МТС стартовали продажи смартфона-«трикладушки» Samsung Galaxy Z TriFold
25.02.2026 09:00:28 | ferra.ru

Паттерны конкурентности в Go. Подробный разбор. Часть 1. Worker pool
25.02.2026 09:00:15 | Хабр

Discord отложил введение обязательной проверки возраста до второй половины 2026 года
25.02.2026 08:59:03 | vc.ru

Аллостаз как суть IT-стратегии: почему поиск стабильности убивает вашу контору
25.02.2026 08:57:43 | Хабр

[Перевод] Стоп-слова, исключения и словоформы в Manticore
25.02.2026 08:57:30 | Хабр

[Перевод] Возникновение компьютерных игр, часть II: оцифровка «нёрдов»
25.02.2026 08:49:11 | Хабр

Скайнет нанимает фрилансеров: как ИИ-агенты начали покупать человеческий труд через API
25.02.2026 08:45:36 | Хабр

Frontend Status: свежий дайджест фронтенда и AI — 25.02.2026
25.02.2026 08:37:18 | Хабр

День 1463: российский рынок ПО за 2025 год вырос на 21%, до 808 млрд рублей
25.02.2026 08:37:05 | vc.ru

Сантиметры против метров: как RTK-контроллеры спасают инженеров от бессмысленных раскопок
25.02.2026 08:35:38 | Хабр

Как я в одиночку написал полноценное финансовое Android-приложение на Jetpack Compose
25.02.2026 08:25:30 | Хабр

Билеты туда-обратно, отель: британец полетел в США за жёсткими дисками и сэкономил
25.02.2026 08:15:21 | ferra.ru

Gemini 3.1 Pro: обновление, которое делает модель умнее (наверное)
25.02.2026 08:01:18 | Хабр

Быстрая зарядка: визуализация связующих компонентов Li-ion батарей
25.02.2026 08:00:04 | Хабр

[Перевод] BASIC не умер. Пора развеять мифы о Basic
25.02.2026 07:59:20 | Хабр

[Перевод] Эти непотопляемые трубки могут помочь добывать энергию из океана
25.02.2026 07:49:52 | Хабр

[Перевод] Полноценный GPT в 243 строках Python от Andrej Karpathy
25.02.2026 07:41:40 | Хабр

Интервью с автором первой русскоязычной книги о современном техническом писательстве
25.02.2026 07:28:15 | Хабр

Продвинутое использование RPC в Windows
25.02.2026 07:19:20 | Хабр

Как мы оптимизировали компоненты во фронтенде: работа с импортами и package.json
25.02.2026 07:16:55 | Хабр

Когда зашел не в ту дверь. Или как рядовому Qa automation жить в мире с LLM
25.02.2026 07:16:03 | Хабр

Потрошим расширения VS Code: как XSS превращается в кражу ваших SSH-ключей
25.02.2026 07:15:47 | Хабр

Планирование производства: как избежать ошибок и начать управлять сроками
25.02.2026 06:59:59 | Хабр

Shut up and take my money: как команде получить ресурсы от бизнеса
25.02.2026 06:50:39 | Хабр

Так что там реально с Telega?
25.02.2026 06:39:33 | Хабр

Смотреть все

НОВОСТИ

Совещание о социально-экономическом развитии воссоединенных субъектов РФ. Видеотрансляция
13.06.2026 13:53:26 | ТАСС

Орбан: руководство ЕС несет Венгрии самую большую угрозу
13.06.2026 13:52:40 | ТАСС

Хуснуллин: еще 2 300 объектов социнфраструктуры восстановят в Донбассе и Новороссии
13.06.2026 13:52:09 | ТАСС

«Радуешься солнышку, а тут это…»: Над Челябинской областью заметили гигантский смерч
13.06.2026 13:52:02 | Life.ru

Путин проводит совещание по развитию Донбасса и Новороссии в режиме ВКС
13.06.2026 13:51:02 | Life.ru

Тихая охота за тихим убийцей: Грибников предупредили о смертельной опасности под ногами
13.06.2026 13:49:35 | Life.ru

Появились подробности расправы над многодетной матерью под Москвой
13.06.2026 13:48:39 | Lenta.ru

Путин дал поручение по новым регионам России
13.06.2026 13:48:12 | Lenta.ru

Каноист Петров стал серебряным призером чемпионата Европы
13.06.2026 13:47:57 | ТАСС

Премьер Ливана: "Хезболлах" должна поставить интересы республики на первое место
13.06.2026 13:47:51 | ТАСС

Булыкин прокомментировал кражу инвентаря у сборной Англии на ЧМ
13.06.2026 13:47:01 | ТАСС

Пленный Тарасенко заявил о желании многих в Сумской области присоединиться к РФ
13.06.2026 13:45:43 | Life.ru

Хуснуллин: объем инвестиций в ОЭЗ Донбасса и Новороссии превышает 383 млрд рублей
13.06.2026 13:45:21 | ТАСС

Маскоты против наркотиков: Перуанский спецназ устроил захват дилера в духе мундиаля
13.06.2026 13:44:40 | Life.ru

Путин призвал воссоздать то, что было разрушено в Донбассе и заложить основу для развития
13.06.2026 13:43:16 | ТАСС

Corriere della Sera: Мелони может предложить Стубба как переговорщика по Украине
13.06.2026 13:41:15 | ТАСС

Спустя год так и не опубликован полный отчет о крушении Boeing 787 в Индии
13.06.2026 13:41:00 | Российская Газета

Минтранс считает реконструкцию вокзала Саратова важной для транзитных пассажиров
13.06.2026 13:40:13 | ТАСС

Путин: никакие удары ВСУ по РФ не помогут противнику
13.06.2026 13:39:54 | ТАСС

Путин: ВС РФ продвигаются по всем направлениям СВО
13.06.2026 13:39:38 | ТАСС

Путин: войска РФ удерживают стратегическое преимущество в СВО
13.06.2026 13:39:34 | ТАСС

Путин: регионы Донбасса и Новороссии к 2030 году должны достигнуть общероссийского уровня
13.06.2026 13:39:02 | ТАСС

Путин проводит по ВКС совещание по развитию Донбасса и Новороссии
13.06.2026 13:36:34 | ТАСС

Мэр Тбилиси: ЕС давит на Грузию, потому что она без его ведома приняла часть законов
13.06.2026 13:36:01 | ТАСС

Пленный из ВСУ: Многие жители Сумской области хотят ее присоединения к России
13.06.2026 13:36:00 | Российская Газета

В Ельце и четырех муниципалитетах Липецкой области ввели опасность атаки БПЛА
13.06.2026 13:33:37 | ТАСС

Россиянам пришлось идти километры пешком ради авиарейса из-за пробки в Турции
13.06.2026 13:32:46 | Life.ru

Фотосессия 18-летней дочери Миллы Йовович в прозрачном платье взорвала соцсети
13.06.2026 13:31:20 | Lenta.ru

Додик: Армения и Молдавия возложили ложные надежды на ЕС
13.06.2026 13:30:23 | ТАСС

Стало известно о задержании пособника напавших на «Крокус Сити Холл» террористов
13.06.2026 13:30:05 | Lenta.ru

Умер легендарный советский лучник Исаченко, воспитавший плеяду чемпионов
13.06.2026 13:29:12 | Life.ru

Германия всерьёз боится удара БПЛА по Бундестагу
13.06.2026 13:28:05 | Life.ru

От шеста в коучи: Сбежавшая в Испанию чемпионка Исинбаева получила диплом в России
13.06.2026 13:25:58 | Life.ru

Как белорусская "Дипломатия вкуса" помогает в реальной дипломатии
13.06.2026 13:25:00 | Российская Газета

В Донецке из-за отключения подстанций без света остались 1,6 тыс. абонентов
13.06.2026 13:24:48 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro