robots.txt забрањује OAI-SearchBot

Кратак одговор

Ваш robots.txt има правило Disallow које се за токен овог краулера поклапа са овом страницом. Аудит примењује RFC 9309: сопствену групу краулера ако је има, иначе групу *, а побеђује најдуже правило које се поклапа. Додајте Allow за краулер или уклоните правило ако желите да га пустите.

robots.disallowed · Приоритет: P1–P3, према типу краулера

Шта то значи

Правила у вашем robots.txt спречавају OAI-SearchBot да преузме /.

Зашто је ово важно за AI претрагу

Краулери AI сервиса који поштују правила поштују robots.txt. Ако су OAI-SearchBot, Claude-SearchBot или PerplexityBot забрањени, страница се не преузима за њихове индексе претраге, па не може да буде цитирана у њиховим одговорима. Забрана токена за обуку, као што су GPTBot, ClaudeBot, Google-Extended или Applebot-Extended, зауставља само коришћење за обуку модела.

Многи сајтови блокирају AI краулере случајно: шаблоном који забрањује све осим Googlebot-а или групом User-agent: * са Disallow: / која је остала из staging окружења. Имајте на уму да Applebot користи групу Googlebot-а када нема сопствену.

Како да исправите

  1. Пронађите правило у налазу: оно наводи токен краулера и путању. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
  2. Уклоните токен краулера из сваке групе која забрањује страницу, а затим додајте његову сопствену групу са Allow: /. Посебна група замењује групу * за тај краулер, па правила под * више не важе за њега.
  3. У WordPress-у проверите да ли је robots.txt прави фајл у корену сајта или га генерише SEO додатак као што је Yoast или Rank Math, и измените га тамо. У Shopify-ју измените шаблон теме robots.txt.liquid.
  4. На Cloudflare-у проверите да ли управљано подешавање robots.txt додаје правила за AI краулере преко вашег фајла.
  5. Задржите забрану токена за обуку ако је то ваша политика; то не утиче на краулере претраге који користе засебне токене.

Пример

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Како потврдити исправку

После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.

Провери моју страницу →

Сродни водичи

Сви налази и како функционише оцена