По обе стороны антибота: как я имитирую Chrome при скрейпинге и ловлю ботов по тем же сигналам

27.07.2026 08:00:51 | Хабр

Хабы: Информационная безопасность, Python, Сетевые технологии, Веб-разработка, Реверс-инжиниринг

Я собираю афишу города в одну карту из пяти источников. Два из них — Яндекс.Афиша и afisha.ru — собирать себя не хотят. И режут не так, как ждешь: ни логина, ни капчи на входе, ни «подтвердите, что вы не робот». Мой requests.get(...) ловит 403 — даже когда заголовки скопированы из Chrome один в один.

Первая мысль была дурацкая: где-то не хватает куки или очередного sec-ch-ua. Оказалось — проблема раньше. К тому моменту, когда сервер читает мой браузерный User-Agent, он уже успел посмотреть, как именно клиент открыл защищенное соединение. Питоновский клиент палится ровно тем, как он здоровается.

Подробнее

Читайте также

Python: как создавался язык и какие патенты связаны с ним сейчас?
27.07.2026 07:59:31 | Хабр

От «грязных» справочников к золотым записям: как AI/ML спасает НСИ от хаоса
27.07.2026 07:57:37 | Хабр

О нейросетях, детекторах генерации и правовых аспектах использования ИИ
27.07.2026 07:57:12 | Хабр

CraftHub: вложенный JSON больше не расплющивается в колонки, плюс подсветка синтаксиса и ещё по мелочи
27.07.2026 07:54:50 | Хабр

Глубокие агенты (Deep Agents) — всё собрал? Но какой ценой?
27.07.2026 07:45:55 | Хабр

Оценка скорости реакции RTOS на события
27.07.2026 07:38:05 | Хабр

Запуск сайта в 2026 году: 10 шагов от идеи до продвижения в нейроответах
27.07.2026 07:32:19 | Хабр

Нужно ли разработчикам знакомиться с MODX в 2026 году — исследование востребованности CMS на рынке
27.07.2026 07:32:04 | Хабр

Opsgenie ушёл, JSM не пришёл: как я собрал собственный incident management с AI
27.07.2026 07:00:56 | Хабр

Новая охота на ведьм: как погоня за ярлыком AI-Free мешает адекватному применению ИИ
27.07.2026 07:00:55 | Хабр

Искусственный интеллект внутри 1С: что уже можно внедрять
27.07.2026 07:00:55 | Хабр

Логгер в топе VTune: как найти строки, создающие нагрузку
27.07.2026 06:30:53 | Хабр

Почему при rolling update летят 502, хотя readiness-проба на месте
27.07.2026 06:23:52 | Хабр

Как мы детектили фрод, а получили Джонни и Джулию: история одной браузерной разминки
27.07.2026 06:16:46 | Хабр

Изучаем LangChain
27.07.2026 06:15:25 | Хабр

В один эмбеддинг можно впихнуть больше тысячи токенов, но что с этим не так?
27.07.2026 06:12:20 | Хабр

Своя GPT-like LLM по WH40K с нуля. Часть 5: Интеграция с Hugging Face
27.07.2026 06:11:51 | Хабр

Рейтинг лучших тепловизоров — неожиданное мини-исследование
27.07.2026 06:10:50 | Хабр

KryoSheet — не жидкий не металл
27.07.2026 06:00:47 | Хабр

Встроенная аутентификация и авторизация в Manticore Search
27.07.2026 05:52:02 | Хабр

Что в тренде по нейросетям за неделю: 5 ИИ-скиллов, 4 вайбкодинг-проекта и еще 7 ИИ-полезностей
27.07.2026 05:46:53 | Хабр

Инференс LLM: от KV-кэша до продакшен-деплоя
27.07.2026 05:30:45 | Хабр

Почему внедрить ИИ недостаточно
27.07.2026 05:17:10 | Хабр

RAG — это про замеры, а не про код. История одного бота, где почти всё «правильное» сделало хуже
27.07.2026 05:00:42 | Хабр

Hot Reload, который не заработал. Инкрементальная компиляция в браузере своими руками
27.07.2026 04:49:00 | Хабр

Один клик вместо DevOps: Как мы перестали настраивать GitLab и зажили спокойно
27.07.2026 04:27:48 | Хабр

Почему «просто VPN» перестал справляться. Что происходит с Telegram, Reels и Google AI Studio
27.07.2026 04:24:31 | Хабр

Сейчас будет горячо: нагрев iOS-устройств как продуктовая метрика
27.07.2026 03:30:37 | Хабр

ChatGPT Work как облачный агент
27.07.2026 02:04:48 | Хабр

Лучшие модели для разработки с ИИ на 1С (бенчмарк v2)
27.07.2026 01:36:46 | Хабр

[Перевод] Новые правила контекстной инженерии для Claude 5
27.07.2026 01:01:29 | Хабр

С нуля до Junior DevOps в 2026 году. Часть 6.1. Terraform: Infrastructure as Code и создание инфраструктуры
26.07.2026 23:19:28 | Хабр

Москва поможет регионам с внедрением успешных проектов
26.07.2026 23:18:04 | ferra.ru

В Госдуме выступили за применение ИИ в культурной сфере под контролем человека
26.07.2026 21:13:08 | ferra.ru

Конец парольного SMTP: хронология по первоисточникам — и что изменение политики Яндекса и Mail видно в DNS
26.07.2026 21:09:55 | Хабр

Смотреть все

НОВОСТИ

Жителей Московского региона предупредили об опасности
29.07.2026 17:24:05 | Lenta.ru

Теннисистка Александрова покинула корт в инвалидной коляске после обморока
29.07.2026 17:23:57 | Life.ru

В Китае оценили безвизовый режим с Россией
29.07.2026 17:22:33 | Lenta.ru

В Сети зафиксировали кампанию по дискредитации РКК и фонда «Защитники Отечества»
29.07.2026 17:21:44 | Life.ru

«Придётся вернуться к паровозам»: В России оценили шансы Киева пережить зиму
29.07.2026 17:21:43 | Life.ru

Появились подробности захода армии России в город-крепость в ДНР
29.07.2026 17:21:27 | Lenta.ru

Готовность россиян покупать фермерские продукты оценили
29.07.2026 17:21:06 | Lenta.ru

Извержение вулкана на Гавайях сняли на видео
29.07.2026 17:21:01 | Lenta.ru

Не может дышать самостоятельно: звезда «Финиста» Воскресенский находится на ИВЛ
29.07.2026 17:19:47 | Life.ru

Пожары в Канаде приблизились к историческому рекорду
29.07.2026 17:18:58 | Lenta.ru

Медведев обратился к россиянам с призывом консолидироваться для победы в СВО
29.07.2026 17:17:58 | Lenta.ru

Редчайший розовый антарктический кальмар впервые попал на видео
29.07.2026 17:17:47 | Lenta.ru

Россиянка отравилась после купания в бассейне отеля в Шарм-эль-Шейхе
29.07.2026 17:17:47 | Life.ru

В ХМАО в Пыть-Яхе загорелись бочки с маслом и химией
29.07.2026 17:16:08 | ТАСС

Изъятие имущества у экс-главы челябинского Роспотребнадзора подтвердили
29.07.2026 17:15:27 | ТАСС

Ливия предложила российскому бизнесу построить НПЗ
29.07.2026 17:15:20 | Life.ru

«Всадник без головы» и его возлюбленная раскрыли мрачную тайну в России
29.07.2026 17:15:06 | Lenta.ru

Китай меняет упряжку развития экспорта
29.07.2026 17:14:00 | Российская Газета

ЦАХАЛ вернул из Сирии трех израильтян, пересекших границу у горы Хермон
29.07.2026 17:13:43 | ТАСС

В Индии подорожала российская нефть
29.07.2026 17:13:41 | Lenta.ru

Дачникам назвали способ защитить рассаду от «кошмара одной ночи»
29.07.2026 17:12:57 | Lenta.ru

США внесли в санкционный список по Ирану 10 компаний и 8 судов
29.07.2026 17:12:42 | ТАСС

В комплексе ВСП в Верхней Пышме смонтировали систему вентиляции
29.07.2026 17:12:41 | ТАСС

Пострадавшие при атаке БПЛА в Рязанской области в удовлетворительном состоянии
29.07.2026 17:12:17 | ТАСС

Соревнования ветеранов СВО «Кубок Защитников Отечества» стартовали в Выборге
29.07.2026 17:12:17 | Life.ru

В шести городах и районах Ростовской области после непогоды действует режим ЧС
29.07.2026 17:12:07 | ТАСС

Москвича арестовали на 10 суток за фото в футболке с символикой ЛГБТ*
29.07.2026 17:12:01 | Life.ru

В Беларуси заработал новый механизм решения проблем экспортеров
29.07.2026 17:12:00 | Российская Газета

Fars: по провинции Западный Азербайджан в Иране нанесли ракетный удар
29.07.2026 17:11:12 | ТАСС

Адвокат Ахильгов назвал ничтожным шансы на выдачу Дурова из Франции и ОАЭ
29.07.2026 17:10:18 | ТАСС

Сенатор Басюк передал батальону БАРС "Херсон" технику для борьбы с дронами ВСУ
29.07.2026 17:10:14 | ТАСС

У Елены Летучей нашли крупный налоговый долг
29.07.2026 17:09:50 | Lenta.ru

Фанатов «Американской истории ужасов» шокировали одной подробностью нового сезона
29.07.2026 17:09:46 | Lenta.ru

В связываемом с Рюриком могильнике нашли тысячелетний крест
29.07.2026 17:09:35 | Lenta.ru

Reuters: работа одного блока АЭС "Пакш" остановлена из-за обмеления Дуная
29.07.2026 17:08:30 | ТАСС

Все новости

ВСЕ НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro