Naka-block ang OAI-SearchBot

Maikling sagot

Tinanggihan ang request na ipinadala gamit ang user agent ng crawler na ito: nakakuha ito ng 4xx o 5xx na status, Cloudflare header na cf-mitigated o challenge page, habang nakuha ng karaniwang request ng browser ang pahina. Hanapin ang rule sa firewall, CDN o bot protection na tumutugma sa user agent at papasukin ang crawler.

access.blocked · Priyoridad: P1–P3, ayon sa uri ng crawler

Ano ang ibig sabihin nito

Ang request na may user agent ng OAI-SearchBot ay nakakuha ng status 403 o challenge page, habang nakuha ng browser ang pahina. Sinubok mula sa hindi beripikadong IP: ipinapakita nito kung paano tinatrato ng firewall mo ang user agent na ito; maaaring iba ang pagtrato sa totoong crawler mula sa mga beripikadong IP nito.

Bakit ito mahalaga para sa AI search

Kinukuha ng mga search at user crawler gaya ng OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot at Perplexity-User ang mga pahina para buuin ang mga sagot at ang mga link sa ilalim nito. Kung 403 o challenge page ang nakukuha nila, hindi masisipi o mali-link ang pahina, gaano man ito kaganda. Kaya P1 ang rating ng AISeeWhy sa pag-block sa mga crawler na ito.

P3 ang rating ng mga training crawler (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent): desisyon sa patakaran ang pag-block sa kanila, hindi error. Tumatakbo ang probe mula sa hindi beripikadong IP, kaya ipinapakita nito kung paano tinatrato ng mga rule mo ang user agent; maaaring iba ang pagtrato sa totoong crawler na galing sa mga inilathala nitong IP range.

Paano ito ayusin

  1. Buksan ang natuklasan para makita kung aling crawler ang na-block, ang status na nakuha nito at ang WAF na natukoy ng audit. Ipinapakita ng ulat ng AISeeWhy ang ebidensya at isang handang i-paste na ayos; patakbuhin ang "Suriin muli" pagkatapos para makumpirma ang resulta.
  2. Sa Cloudflare, tingnan ang Security → Events para sa na-block na request, pagkatapos ay magdagdag ng WAF custom rule na tumutugma sa crawler (verified bots o ang token ng user agent nito) na may action na Skip para sa natitirang custom rules, Super Bot Fight Mode at rate limiting. Sa AI Crawl Control, itakda ang crawler sa Allow.
  3. Sa Vercel, Akamai, Imperva, Sucuri o AWS WAF, hanapin ang bot management o managed rule na nag-trigger at magdagdag ng exception para sa crawler, mas mainam kung beripikado sa pamamagitan ng mga inilathalang IP range ng vendor o reverse DNS sa halip na sa user agent lang.
  4. Sa nginx o Apache, hanapin sa config ang mga linyang deny, return 403 o RewriteCond %{HTTP_USER_AGENT} na bumabanggit sa crawler, at sa WordPress tingnan ang mga security plugin na nagba-block ng "bad bots".
  5. Magpasya kada crawler: ang pagpapapasok sa mga search at user crawler ang nagpapabanggit sa mga pahina, habang puwedeng manatiling naka-block ang mga training crawler kung iyon ang patakaran mo.

Halimbawa

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Paano kumpirmahin ang ayos

Pagkatapos ng pagbabago, pindutin ang "Suriin muli" sa ulat: inililista nito kung ano ang naayos at paano nagbago ang score.

Suriin ang pahina ko →

Mga kaugnay na gabay

Lahat ng natuklasan at paano gumagana ang score