OAI-SearchBot je zablokovaný
Požiadavka s user agentom tohto crawlera bola odmietnutá: dostala stavový kód 4xx alebo 5xx, hlavičku Cloudflare cf-mitigated alebo overovaciu stránku (challenge), zatiaľ čo bežný prehliadač stránku dostal. Nájdite pravidlo firewallu, CDN alebo pravidlo pre boty, ktoré sa zhoduje s user agentom, a crawlera pustite.
Čo to znamená
Požiadavka s user agentom OAI-SearchBot dostala stavový kód 403 alebo overovaciu stránku, kým prehliadač stránku dostal. Testované z neoverenej IP: ukazuje to, ako váš firewall zaobchádza s týmto user agentom; so skutočným crawlerom z jeho overených IP môže zaobchádzať inak.
Prečo je to dôležité pre AI vyhľadávanie
Vyhľadávacie a používateľské crawlery ako OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot a Perplexity-User sťahujú stránky, aby z nich zostavili odpovede a odkazy pod nimi. Ak dostanú 403 alebo overovaciu stránku, stránka sa nedá citovať ani odkázať, nech je akokoľvek dobrá. Preto AISeeWhy hodnotí blokovanie týchto crawlerov ako P1.
Tréningové crawlery (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) majú hodnotenie P3: ich blokovanie je rozhodnutie o politike, nie chyba. Test beží z neovereného IP, takže ukazuje, ako vaše pravidlá zaobchádzajú s user agentom; skutočný crawler, ktorý prichádza zo svojich zverejnených rozsahov IP, môže byť posúdený inak.
Ako to opraviť
- Otvorte zistenie a pozrite sa, ktorý crawler bol zablokovaný, aký stavový kód dostal a aký WAF audit zistil. Správa AISeeWhy ukazuje dôkazy a hotovú opravu na vloženie; potom spustite „Skontrolovať znova“ a overte výsledok.
- V Cloudflare nájdite zablokovanú požiadavku v Security → Events a potom pridajte vlastné pravidlo WAF, ktoré sa zhoduje s crawlerom (overené boty alebo token jeho user agenta), s akciou Skip pre zvyšné vlastné pravidlá, Super Bot Fight Mode a obmedzovanie rýchlosti. V AI Crawl Control nastavte crawlera na Allow.
- Vo Vercel, Akamai, Imperva, Sucuri alebo AWS WAF nájdite správu botov alebo spravované pravidlo, ktoré sa spustilo, a pridajte výnimku pre crawlera, ideálne overenú zverejnenými rozsahmi IP dodávateľa alebo reverzným DNS, nie len user agentom.
- V nginx alebo Apache vyhľadajte v konfigurácii riadky
deny,return 403aleboRewriteCond %{HTTP_USER_AGENT}, ktoré menujú crawlera, a vo WordPresse skontrolujte bezpečnostné pluginy, ktoré blokujú „zlé boty“. - Rozhodnite sa pre každý crawler zvlášť: citácie stránok prináša povolenie vyhľadávacích a používateľských crawlerov, tréningové crawlery môžu zostať zablokované, ak je to vaša politika.
Príklad
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Ako overiť opravu
Po zmene stlačte v správe „Skontrolovať znova“: uvedie, čo sa opravilo a ako sa zmenilo skóre.
Súvisiace návody
- Ako čítať prehľad AI Crawl Control v Cloudflare a zistiť, ktoré AI crawlery prejdú
- Blokuje Cloudflare AI crawlery? Ako to zistiť a opraviť
- Vidí ChatGPT môj web? Ako to overiť
- 12 AEO kontrol, ktoré sa oplatí urobiť pred zverejnením stránky (2027)
- SEO 2.0: ako AI vyhľadávanie a asistenti zmenili SEO, vrstvu po vrstve