OAI-SearchBot imezuiwa
Ombi lililotumwa kwa user agent ya crawler hii lilikataliwa: lilipata hali ya 4xx au 5xx, kichwa cha Cloudflare cf-mitigated au ukurasa wa changamoto, huku ombi la kawaida la kivinjari likipata ukurasa. Tafuta sheria ya firewall, CDN au bot inayolingana na user agent hiyo na uiruhusu crawler ipite.
Maana yake
Ombi lenye user agent ya OAI-SearchBot lilipata hali 403 au ukurasa wa changamoto, huku kivinjari kikipata ukurasa. Limejaribiwa kutoka IP isiyothibitishwa: hii inaonyesha jinsi firewall yako inavyoshughulikia user agent hii; crawler halisi kutoka IP zake zilizothibitishwa inaweza kushughulikiwa tofauti.
Kwa nini ni muhimu kwa utafutaji wa AI
Crawler za utafutaji na za watumiaji kama OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot na Perplexity-User hupakua kurasa ili kutunga majibu na viungo vilivyo chini yake. Zikipata 403 au ukurasa wa changamoto, ukurasa hauwezi kunukuliwa wala kuunganishwa, hata uwe mzuri kiasi gani. Ndiyo sababu AISeeWhy inakadiria kuzuiwa kwa crawler hizi kuwa P1.
Crawler za mafunzo (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) zinakadiriwa P3: kuzizuia ni chaguo la sera, si kosa. Jaribio linaendeshwa kutoka IP isiyothibitishwa, kwa hivyo linaonyesha jinsi sheria zako zinavyoshughulikia user agent; crawler halisi, ikitoka kwenye masafa yake ya IP yaliyochapishwa, inaweza kushughulikiwa tofauti.
Jinsi ya kurekebisha
- Fungua dosari ili kuona ni crawler ipi ilizuiwa, hali iliyopata na WAF ambayo ukaguzi uligundua. Ripoti ya AISeeWhy inaonyesha ushahidi na rekebisho tayari kubandikwa; baadaye endesha "Kagua tena" kuthibitisha matokeo.
- Kwenye Cloudflare, angalia Security → Events kwa ombi lililozuiwa, kisha ongeza WAF custom rule inayolingana na crawler (verified bots au tokeni ya user agent yake) yenye kitendo Skip kwa custom rules zilizobaki, Super Bot Fight Mode na rate limiting. Kwenye AI Crawl Control, weka crawler kuwa Allow.
- Kwenye Vercel, Akamai, Imperva, Sucuri au AWS WAF, tafuta sheria ya bot management au managed rule iliyochochewa na uongeze ubaguzi kwa crawler, ikiwezekana ikithibitishwa kwa masafa ya IP yaliyochapishwa na mtoa huduma au reverse DNS badala ya user agent pekee.
- Kwenye nginx au Apache, tafuta kwenye usanidi mistari ya
deny,return 403auRewriteCond %{HTTP_USER_AGENT}inayotaja crawler, na kwenye WordPress kagua plugin za usalama zinazozuia "bad bots". - Amua kwa kila crawler: kuruhusu crawler za utafutaji na za watumiaji ndiko kunakofanya kurasa zinukuliwe, huku crawler za mafunzo zinaweza kubaki zimezuiwa kama hiyo ndiyo sera yako.
Mfano
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Jinsi ya kuthibitisha rekebisho
Baada ya badiliko, bonyeza "Kagua tena" kwenye ripoti: inaorodhesha kilichorekebishwa na jinsi alama ilivyobadilika.
Miongozo inayohusiana
- Jinsi ya kusoma ripoti ya AI Crawl Control ya Cloudflare na kuona crawler zipi za AI zinaingia
- Je, Cloudflare inazuia crawler za AI? Jinsi ya kujua na kurekebisha
- Je, ChatGPT inaweza kuona tovuti yangu? Jinsi ya kukagua
- Ukaguzi 12 wa AEO wa kufanya kabla ya kuchapisha ukurasa (2027)
- SEO 2.0: jinsi utafutaji wa AI na wasaidizi walivyobadilisha SEO, tabaka kwa tabaka