robots.txt запрещает GPTBot

Короткий ответ

В вашем robots.txt есть правило Disallow, которое подходит к этой странице для токена этого краулера. Аудит применяет RFC 9309: собственную группу краулера, если она есть, иначе группу *, и побеждает самое длинное подходящее правило. Добавьте Allow для краулера или удалите правило, если хотите пускать его.

robots.disallowed · Приоритет: P1–P3, в зависимости от типа краулера

Что это значит

Правила в вашем robots.txt не дают GPTBot загружать /.

Почему это важно для AI-поиска

Добросовестные AI-краулеры соблюдают robots.txt. Если OAI-SearchBot, Claude-SearchBot или PerplexityBot запрещены, страница не загружается для их поисковых индексов и не может быть процитирована в их ответах. Запрет токенов для обучения, таких как GPTBot, ClaudeBot, Google-Extended или Applebot-Extended, лишь прекращает использование для обучения моделей.

Многие сайты блокируют AI-краулеры случайно: шаблон, запрещающий всё, кроме Googlebot, или группа User-agent: * с Disallow: /, оставшаяся с тестовой версии. Учтите, что Applebot использует группу Googlebot, если собственной группы у него нет.

Как исправить

Найдите правило в находке: в ней указаны токен краулера и путь. Отчёт AISeeWhy показывает доказательства и готовое исправление; затем нажмите «Проверить снова», чтобы подтвердить результат.
Удалите токен краулера из всех групп, запрещающих страницу, затем добавьте для него отдельную группу с Allow: /. Конкретная группа заменяет группу * для этого краулера, поэтому правила под * к нему больше не применяются.
В WordPress проверьте, настоящий ли это файл robots.txt в корне сайта или его создаёт SEO-плагин вроде Yoast или Rank Math, и правьте его там. В Shopify правьте шаблон темы robots.txt.liquid.
В Cloudflare проверьте, не добавляет ли управляемый robots.txt правила для AI-краулеров поверх вашего файла.
Оставьте токены для обучения запрещёнными, если такова ваша политика; на поисковые краулеры, у которых отдельные токены, это не влияет.

Пример

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Как проверить исправление

После изменения нажмите «Проверить ещё раз» в отчёте: он покажет, что исправлено и как изменилась оценка.

Проверить мою страницу →

Связанные руководства

Все находки и как считается оценка