robots.txt забранява OAI-SearchBot

Кратък отговор

Във вашия robots.txt има правило Disallow, което съвпада с тази страница за токена на този бот. Одитът прилага RFC 9309: собствената група на бота, ако има такава, иначе групата *, като печели най-дългото съвпадащо правило. Добавете Allow за бота или премахнете правилото, ако искате да го допуснете.

robots.disallowed · Приоритет: P1–P3, според типа бот

Какво означава

Правилата във вашия robots.txt пречат на OAI-SearchBot да изтегли /.

Защо това е важно за AI търсенето

Добре възпитаните AI ботове спазват robots.txt. Ако OAI-SearchBot, Claude-SearchBot или PerplexityBot са забранени, страницата не се изтегля за техните индекси за търсене и не може да бъде цитирана в отговорите им. Забраната на токени за обучение като GPTBot, ClaudeBot, Google-Extended или Applebot-Extended спира само използването за обучение на модели.

Много сайтове блокират AI ботовете по невнимание: шаблон, който забранява всичко освен Googlebot, или група User-agent: * с Disallow: /, останала от тестовата среда. Имайте предвид, че Applebot използва групата на Googlebot, когато няма собствена група.

Как да го поправите

  1. Намерете правилото в находката: в нея са посочени токенът на бота и пътят. Отчетът на AISeeWhy показва доказателствата и готова за поставяне корекция; след това натиснете „Проверете отново“, за да потвърдите резултата.
  2. Премахнете токена на бота от всяка група, която забранява страницата, след това добавете собствена група за него с Allow: /. Конкретната група замества групата * за този бот, така че правилата под * вече не се прилагат за него.
  3. В WordPress проверете дали robots.txt е истински файл в главната директория на сайта или се генерира от SEO плъгин като Yoast или Rank Math, и го редактирайте там. В Shopify редактирайте шаблона на темата robots.txt.liquid.
  4. В Cloudflare проверете дали управляваната настройка за robots.txt не добавя правила за AI ботове върху вашия собствен файл.
  5. Оставете токените за обучение забранени, ако такава е политиката ви; това не засяга ботовете за търсене, които използват отделни токени.

Пример

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Как да потвърдите корекцията

След промяната натиснете „Проверете отново“ в отчета: той показва какво е поправено и как се е променила оценката.

Проверете страницата ми →

Свързани ръководства

Всички находки и как работи оценката