Операция выполнена!
Закрыть
Хабы: Поисковая оптимизация, Поисковые технологии, Python, Искусственный интеллект, Алгоритмы

Многие владельцы сайтов ставят в robots.txt Disallow для GPTBot и считают, что закрыли свои тексты от ChatGPT. Гари Ильес из Google напомнил: файл решает только, может ли краулер (робот, который обходит сайт) скачать страницу, а что потом делают с контентом, он не решает. Значит, robots.txt для нейросетей работает как просьба к конкретному роботу, а не как запрет на обучение. Строка про GPTBot не убирает сайт из ответов ChatGPT и ничего не говорит о страницах, которые уже скачаны. Поэтому сначала стоит решить, от чего закрываться, от обучения ИИ-моделей или от появления в их ответах, и закрывать это отдельными правилами для отдельных роботов.

Читать далее
Читайте также
НОВОСТИ

ПИШИТЕ

Техническая поддержка проекта ВсеТут

info@vsetut.pro