OAI-SearchBot imezuiwa

Jibu fupi

Ombi lililotumwa kwa user agent ya crawler hii lilikataliwa: lilipata hali ya 4xx au 5xx, kichwa cha Cloudflare cf-mitigated au ukurasa wa changamoto, huku ombi la kawaida la kivinjari likipata ukurasa. Tafuta sheria ya firewall, CDN au bot inayolingana na user agent hiyo na uiruhusu crawler ipite.

access.blocked · Kipaumbele: P1–P3, kulingana na aina ya crawler

Maana yake

Ombi lenye user agent ya OAI-SearchBot lilipata hali 403 au ukurasa wa changamoto, huku kivinjari kikipata ukurasa. Limejaribiwa kutoka IP isiyothibitishwa: hii inaonyesha jinsi firewall yako inavyoshughulikia user agent hii; crawler halisi kutoka IP zake zilizothibitishwa inaweza kushughulikiwa tofauti.

Kwa nini ni muhimu kwa utafutaji wa AI

Crawler za utafutaji na za watumiaji kama OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot na Perplexity-User hupakua kurasa ili kutunga majibu na viungo vilivyo chini yake. Zikipata 403 au ukurasa wa changamoto, ukurasa hauwezi kunukuliwa wala kuunganishwa, hata uwe mzuri kiasi gani. Ndiyo sababu AISeeWhy inakadiria kuzuiwa kwa crawler hizi kuwa P1.

Crawler za mafunzo (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) zinakadiriwa P3: kuzizuia ni chaguo la sera, si kosa. Jaribio linaendeshwa kutoka IP isiyothibitishwa, kwa hivyo linaonyesha jinsi sheria zako zinavyoshughulikia user agent; crawler halisi, ikitoka kwenye masafa yake ya IP yaliyochapishwa, inaweza kushughulikiwa tofauti.

Jinsi ya kurekebisha

  1. Fungua dosari ili kuona ni crawler ipi ilizuiwa, hali iliyopata na WAF ambayo ukaguzi uligundua. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.
  2. Kwenye Cloudflare, angalia Security → Events kwa ombi lililozuiwa, kisha ongeza WAF custom rule inayolingana na crawler (verified bots au tokeni ya user agent yake) yenye kitendo Skip kwa custom rules zilizobaki, Super Bot Fight Mode na rate limiting. Kwenye AI Crawl Control, weka crawler kuwa Allow.
  3. Kwenye Vercel, Akamai, Imperva, Sucuri au AWS WAF, tafuta sheria ya bot management au managed rule iliyochochewa na uongeze ubaguzi kwa crawler, ikiwezekana ikithibitishwa kwa masafa ya IP yaliyochapishwa na mtoa huduma au reverse DNS badala ya user agent pekee.
  4. Kwenye nginx au Apache, tafuta kwenye usanidi mistari ya deny, return 403 au RewriteCond %{HTTP_USER_AGENT} inayotaja crawler, na kwenye WordPress kagua plugin za usalama zinazozuia "bad bots".
  5. Amua kwa kila crawler: kuruhusu crawler za utafutaji na za watumiaji ndiko kunakofanya kurasa zinukuliwe, huku crawler za mafunzo zinaweza kubaki zimezuiwa kama hiyo ndiyo sera yako.

Mfano

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Jinsi ya kuthibitisha rekebisho

Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.

Kagua ukurasa wangu →

Miongozo inayohusiana

Dosari zote na jinsi alama inavyofanya kazi