Операция выполнена!
Закрыть
Хабы: Поисковая оптимизация, Поисковые технологии, Искусственный интеллект, Интернет-маркетинг

У Anthropic три бота с разными задачами: один собирает тексты для обучения ИИ-моделей, второй индексирует страницы для поиска Claude в интернете, третий приходит, когда пользователь просит прочитать страницу. В robots.txt каждого можно закрыть отдельно, но сайты закрывают и тех, от кого зависят ответы. Crawl Readiness в октябре 2026 года проверил топ-1000 сайтов: Claude-SearchBot закрыт у 63 из 569 сайтов, где robots.txt вообще есть, то есть у каждого девятого. Страница попадает в источники Claude, только если её видит поиск, через который он ищет, и на сайт пускают поискового и пользовательского ботов. Обучающий ClaudeBot на это почти не влияет, так что если цель была не отдавать тексты в обучение, хватило бы закрыть его одного.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro