OAI-SearchBot је блокиран
Захтев послат са user agent-ом овог краулера је одбијен: добио је статус 4xx или 5xx, Cloudflare заглавље cf-mitigated или страницу са изазовом, док је обичан захтев прегледача добио страницу. Пронађите правило заштитног зида, CDN-а или за ботове које се поклапа са user agent-ом и пропустите краулер.
Шта то значи
Захтев са user agent-ом OAI-SearchBot добио је статус 403 или страницу са изазовом, док је прегледач добио страницу. Тестирано са непровереног IP-а: ово показује како ваш заштитни зид третира овај user agent; прави краулер са својих проверених IP адреса може бити третиран другачије.
Зашто је ово важно за AI претрагу
Краулери претраге и кориснички краулери, као што су OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot и Perplexity-User, преузимају странице да би саставили одговоре и линкове испод њих. Ако добију 403 или страницу са изазовом, страница не може да се цитира ни да се линкује, колико год била добра. Зато AISeeWhy блокирање ових краулера оцењује као P1.
Краулери за обуку (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) оцењују се као P3: њихово блокирање је одлука о политици, а не грешка. Проба се шаље са непровереног IP-а, па показује како ваша правила третирају user agent; прави краулер, који долази са својих објављених IP опсега, може бити третиран другачије.
Како да исправите
- Отворите налаз да бисте видели који је краулер блокиран, који статус је добио и који WAF је аудит открио. Извештај AISeeWhy приказује доказе и готову исправку за лепљење; након тога покрените „Провери поново“ да бисте потврдили резултат.
- На Cloudflare-у проверите Security → Events за блокирани захтев, а затим додајте прилагођено WAF правило које се поклапа са краулером (проверени ботови или токен његовог user agent-а) са радњом Skip за преостала прилагођена правила, Super Bot Fight Mode и ограничење брзине. У AI Crawl Control подесите краулер на Allow.
- На Vercel-у, Akamai-ју, Imperva-и, Sucuri-ју или AWS WAF-у пронађите правило за управљање ботовима или управљано правило које се активирало и додајте изузетак за краулер, по могућству проверен објављеним IP опсезима произвођача или обрнутим DNS-ом, а не само user agent-ом.
- На nginx-у или Apache-у потражите у конфигурацији редове
deny,return 403илиRewriteCond %{HTTP_USER_AGENT}који помињу краулер, а у WordPress-у проверите безбедносне додатке који блокирају „лоше ботове“. - Одлучите за сваки краулер посебно: дозвољавање краулера претраге и корисничких краулера доводи до цитирања страница, док краулери за обуку могу остати блокирани ако је то ваша политика.
Пример
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Како потврдити исправку
После измене притисните „Провери поново” у извештају: видећете шта је исправљено и како се оцена променила.
Сродни водичи
- Како читати Cloudflare-ов извештај AI Crawl Control и видети који AI краулери пролазе
- Да ли Cloudflare блокира AI краулере? Како да откријете и исправите
- Да ли ChatGPT види мој сајт? Како да проверите
- 12 AEO провера пре него што објавите страницу (2027)
- SEO 2.0: како су AI претрага и асистенти променили SEO, слој по слој