OAI-SearchBot je blokiran

Kratek odgovor

Zahteva, poslana z user agentom tega pajka, je bila zavrnjena: dobila je status 4xx ali 5xx, glavo Cloudflare cf-mitigated ali stran z izzivom, običajna zahteva brskalnika pa je dobila stran. Poiščite pravilo požarnega zidu, CDN ali pravilo za bote, ki ustreza user agentu, in spustite pajka skozi.

access.blocked · Prioriteta: P1–P3, glede na vrsto pajka

Kaj pomeni

Zahteva z user agentom OAI-SearchBot je dobila status 403 ali stran z izzivom, brskalnik pa je dobil stran. Preizkušeno z nepreverjenega naslova IP: to pokaže, kako vaš požarni zid obravnava ta user agent; pravi pajek s svojih preverjenih naslovov IP je lahko obravnavan drugače.

Zakaj je to pomembno za iskanje z UI

Pajki za iskanje in uporabniški pajki, kot so OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot in Perplexity-User, prenašajo strani, da sestavijo odgovore in povezave pod njimi. Če dobijo napako 403 ali stran z izzivom, strani ni mogoče citirati ali nanjo povezati, ne glede na to, kako dobra je. Zato AISeeWhy blokado teh pajkov oceni s P1.

Pajki za učenje (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) so ocenjeni s P3: njihovo blokiranje je stvar politike, ne napaka. Preizkus poteka z nepreverjenega naslova IP, zato pokaže, kako vaša pravila obravnavajo user agent; pravi pajek, ki prihaja z objavljenih obsegov IP, je lahko obravnavan drugače.

Kako to popraviti

  1. Odprite ugotovitev in poglejte, kateri pajek je bil blokiran, kateri status je dobil in kateri WAF je analiza zaznala. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
  2. V Cloudflaru v Security → Events poiščite blokirano zahtevo, nato dodajte prilagojeno pravilo WAF, ki ustreza pajku (preverjeni boti ali oznaka v njegovem user agentu), z dejanjem Skip za preostala prilagojena pravila, Super Bot Fight Mode in omejevanje zahtev. V AI Crawl Control pajka nastavite na Allow.
  3. V Vercelu, Akamaiju, Impervi, Sucuriju ali AWS WAF poiščite pravilo za upravljanje botov ali upravljano pravilo, ki se je sprožilo, in dodajte izjemo za pajka, po možnosti preverjeno z objavljenimi obsegi IP ponudnika ali obratnim DNS in ne samo z user agentom.
  4. V nginx ali Apache v konfiguraciji poiščite vrstice deny, return 403 ali RewriteCond %{HTTP_USER_AGENT}, ki navajajo pajka, v WordPressu pa preverite varnostne vtičnike, ki blokirajo „slabe bote“.
  5. Odločite se za vsakega pajka posebej: strani so citirane, če dovolite pajke za iskanje in uporabniške pajke, pajki za učenje pa lahko ostanejo blokirani, če je to vaša politika.

Primer

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Kako potrditi popravek

Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.

Preveri mojo stran →

Sorodni vodniki

Vse ugotovitve in kako deluje ocena