Операция выполнена!
Закрыть
Хабы: Python, Open source, Поисковые технологии, Браузеры, Сетевые технологии

Задача звучала скучно: собирать выдачу Google. Много, регулярно, через обычные резидентные прокси и без платных SERP API.

Первая версия честно открывала Chrome, вбивала запрос и получала капчу. Вторая получала капчу чуть реже. А потом один IP отработал 1210 запросов подряд, и Google ни разу не попросил доказать, что мы не робот. Между этими двумя точками было двадцать экспериментов и вкладка, которая съела 3 гигабайта памяти. И главный вывод: мы всё это время думали о Google неправильно.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro