robots.txt забрањује OAI-SearchBot
Ваш robots.txt има правило Disallow које се за токен овог краулера поклапа са овом страницом. Аудит примењује RFC 9309: сопствену групу краулера ако је има, иначе групу *, а побеђује најдуже правило које се поклапа. Додајте Allow за краулер или уклоните правило ако желите да га пустите.
Шта то значи
Правила у вашем robots.txt спречавају OAI-SearchBot да преузме /.
Зашто је ово важно за AI претрагу
Краулери AI сервиса који поштују правила поштују robots.txt. Ако су OAI-SearchBot, Claude-SearchBot или PerplexityBot забрањени, страница се не преузима за њихове индексе претраге, па не може да буде цитирана у њиховим одговорима. Забрана токена за обуку, као што су GPTBot, ClaudeBot, Google-Extended или Applebot-Extended, зауставља само коришћење за обуку модела.
Многи сајтови блокирају AI краулере случајно: шаблоном који забрањује све осим Googlebot-а или групом User-agent: * са Disallow: / која је остала из staging окружења. Имајте на уму да Applebot користи групу Googlebot-а када нема сопствену.
Како да исправите
- Пронађите правило у налазу: оно наводи токен краулера и путању. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
- Уклоните токен краулера из сваке групе која забрањује страницу, а затим додајте његову сопствену групу са
Allow: /. Посебна група замењује групу*за тај краулер, па правила под*више не важе за њега. - У WordPress-у проверите да ли је robots.txt прави фајл у корену сајта или га генерише SEO додатак као што је Yoast или Rank Math, и измените га тамо. У Shopify-ју измените шаблон теме
robots.txt.liquid. - На Cloudflare-у проверите да ли управљано подешавање robots.txt додаје правила за AI краулере преко вашег фајла.
- Задржите забрану токена за обуку ако је то ваша политика; то не утиче на краулере претраге који користе засебне токене.
Пример
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / Како потврдити исправку
После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.