OAI-SearchBot је блокиран

Кратак одговор

Захтев послат са user agent-ом овог краулера је одбијен: добио је статус 4xx или 5xx, Cloudflare заглавље cf-mitigated или страницу са изазовом, док је обичан захтев прегледача добио страницу. Пронађите правило заштитног зида, CDN-а или за ботове које се поклапа са user agent-ом и пропустите краулер.

access.blocked · Приоритет: P1–P3, према типу краулера

Шта то значи

Захтев са user agent-ом OAI-SearchBot добио је статус 403 или страницу са изазовом, док је прегледач добио страницу. Тестирано са непровереног IP-а: ово показује како ваш заштитни зид третира овај user agent; прави краулер са својих проверених IP адреса може бити третиран другачије.

Зашто је ово важно за AI претрагу

Краулери претраге и кориснички краулери, као што су OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot и Perplexity-User, преузимају странице да би саставили одговоре и линкове испод њих. Ако добију 403 или страницу са изазовом, страница не може да се цитира ни да се линкује, колико год била добра. Зато AISeeWhy блокирање ових краулера оцењује као P1.

Краулери за обуку (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) оцењују се као P3: њихово блокирање је одлука о политици, а не грешка. Проба се шаље са непровереног IP-а, па показује како ваша правила третирају user agent; прави краулер, који долази са својих објављених IP опсега, може бити третиран другачије.

Како да исправите

  1. Отворите налаз да бисте видели који је краулер блокиран, који статус је добио и који WAF је аудит открио. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
  2. На Cloudflare-у проверите Security → Events за блокирани захтев, а затим додајте прилагођено WAF правило које се поклапа са краулером (проверени ботови или токен његовог user agent-а) са радњом Skip за преостала прилагођена правила, Super Bot Fight Mode и ограничење брзине. У AI Crawl Control подесите краулер на Allow.
  3. На Vercel-у, Akamai-ју, Imperva-и, Sucuri-ју или AWS WAF-у пронађите правило за управљање ботовима или управљано правило које се активирало и додајте изузетак за краулер, по могућству проверен објављеним IP опсезима произвођача или обрнутим DNS-ом, а не само user agent-ом.
  4. На nginx-у или Apache-у потражите у конфигурацији редове deny, return 403 или RewriteCond %{HTTP_USER_AGENT} који помињу краулер, а у WordPress-у проверите безбедносне додатке који блокирају „лоше ботове“.
  5. Одлучите за сваки краулер посебно: дозвољавање краулера претраге и корисничких краулера доводи до цитирања страница, док краулери за обуку могу остати блокирани ако је то ваша политика.

Пример

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Како потврдити исправку

После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.

Провери моју страницу →

Сродни водичи

Сви налази и како функционише оцена