OAI-SearchBot je blokiran
Zahteva, poslana z user agentom tega pajka, je bila zavrnjena: dobila je status 4xx ali 5xx, glavo Cloudflare cf-mitigated ali stran z izzivom, običajna zahteva brskalnika pa je dobila stran. Poiščite pravilo požarnega zidu, CDN ali pravilo za bote, ki ustreza user agentu, in spustite pajka skozi.
Kaj pomeni
Zahteva z user agentom OAI-SearchBot je dobila status 403 ali stran z izzivom, brskalnik pa je dobil stran. Preizkušeno z nepreverjenega naslova IP: to pokaže, kako vaš požarni zid obravnava ta user agent; pravi pajek s svojih preverjenih naslovov IP je lahko obravnavan drugače.
Zakaj je to pomembno za iskanje z UI
Pajki za iskanje in uporabniški pajki, kot so OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot in Perplexity-User, prenašajo strani, da sestavijo odgovore in povezave pod njimi. Če dobijo napako 403 ali stran z izzivom, strani ni mogoče citirati ali nanjo povezati, ne glede na to, kako dobra je. Zato AISeeWhy blokado teh pajkov oceni s P1.
Pajki za učenje (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) so ocenjeni s P3: njihovo blokiranje je stvar politike, ne napaka. Preizkus poteka z nepreverjenega naslova IP, zato pokaže, kako vaša pravila obravnavajo user agent; pravi pajek, ki prihaja z objavljenih obsegov IP, je lahko obravnavan drugače.
Kako to popraviti
- Odprite ugotovitev in poglejte, kateri pajek je bil blokiran, kateri status je dobil in kateri WAF je analiza zaznala. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
- V Cloudflaru v Security → Events poiščite blokirano zahtevo, nato dodajte prilagojeno pravilo WAF, ki ustreza pajku (preverjeni boti ali oznaka v njegovem user agentu), z dejanjem Skip za preostala prilagojena pravila, Super Bot Fight Mode in omejevanje zahtev. V AI Crawl Control pajka nastavite na Allow.
- V Vercelu, Akamaiju, Impervi, Sucuriju ali AWS WAF poiščite pravilo za upravljanje botov ali upravljano pravilo, ki se je sprožilo, in dodajte izjemo za pajka, po možnosti preverjeno z objavljenimi obsegi IP ponudnika ali obratnim DNS in ne samo z user agentom.
- V nginx ali Apache v konfiguraciji poiščite vrstice
deny,return 403aliRewriteCond %{HTTP_USER_AGENT}, ki navajajo pajka, v WordPressu pa preverite varnostne vtičnike, ki blokirajo „slabe bote“. - Odločite se za vsakega pajka posebej: strani so citirane, če dovolite pajke za iskanje in uporabniške pajke, pajki za učenje pa lahko ostanejo blokirani, če je to vaša politika.
Primer
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Kako potrditi popravek
Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.
Sorodni vodniki
- Kako brati poročilo AI Crawl Control v Cloudflare in videti, kateri pajki UI pridejo noter
- Ali Cloudflare blokira pajke UI? Kako to ugotoviti in popraviti
- Ali ChatGPT vidi moje spletno mesto? Kako to preveriti
- 12 preverjanj AEO, ki jih opravite pred objavo strani (2027)
- SEO 2.0: kako so AI iskanje in asistenti spremenili SEO, plast za plastjo