OAI-SearchBot është i bllokuar
Një kërkesë e dërguar me user agent-in e këtij zvarritësi u refuzua: mori një status 4xx ose 5xx, një header Cloudflare cf-mitigated ose një faqe sfide, ndërsa një kërkesë e zakonshme shfletuesi e mori faqen. Gjeni rregullin e firewall-it, CDN-së ose të botëve që përputhet me user agent-in dhe lëreni zvarritësin të kalojë.
Çfarë do të thotë
Një kërkesë me user agent-in e OAI-SearchBot mori statusin 403 ose një faqe sfide, ndërsa një shfletues e mori faqen. U testua nga një IP e paverifikuar: kjo tregon si e trajton firewall-i juaj këtë user agent; zvarritësi real nga IP-të e tij të verifikuara mund të trajtohet ndryshe.
Pse ka rëndësi për kërkimin me AI
Zvarritësit e kërkimit dhe të përdoruesve si OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot dhe Perplexity-User marrin faqe për të ndërtuar përgjigje dhe lidhjet poshtë tyre. Nëse marrin një 403 ose një faqe sfide, faqja nuk mund të citohet ose të lidhet, sado e mirë të jetë. Prandaj AISeeWhy e vlerëson P1 bllokimin e këtyre zvarritësve.
Zvarritësit e trajnimit (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) vlerësohen P3: bllokimi i tyre është zgjedhje politike, jo gabim. Sonda punon nga një IP e paverifikuar, ndaj tregon si i trajtojnë rregullat tuaja user agent-in; zvarritësi real, që vjen nga gamat e tij IP të publikuara, mund të trajtohet ndryshe.
Si ta rregulloni
- Hapni gjetjen për të parë cili zvarritës u bllokua, çfarë statusi mori dhe cilin WAF zbuloi auditimi. Raporti i AISeeWhy tregon provat dhe një rregullim gati për t'u ngjitur; pas kësaj klikoni "Kontrollo sërish" për ta konfirmuar rezultatin.
- Në Cloudflare, shikoni Security → Events për kërkesën e bllokuar, pastaj shtoni një rregull WAF të personalizuar që përputhet me zvarritësin (botët e verifikuar ose token-i i user agent-it të tij) me veprimin Skip për rregullat e personalizuara të mbetura, Super Bot Fight Mode dhe kufizimin e kërkesave. Në AI Crawl Control, vendoseni zvarritësin në Allow.
- Në Vercel, Akamai, Imperva, Sucuri ose AWS WAF, gjeni rregullin e menaxhimit të botëve ose rregullin e menaxhuar që u aktivizua dhe shtoni një përjashtim për zvarritësin, mundësisht të verifikuar me gamat IP të publikuara nga ofruesi ose me reverse DNS, jo vetëm me user agent.
- Në nginx ose Apache, kërkoni në konfigurim rreshta
deny,return 403oseRewriteCond %{HTTP_USER_AGENT}që e përmendin zvarritësin, dhe në WordPress kontrolloni plugin-et e sigurisë që bllokojnë "botët e këqij". - Vendosni për secilin zvarritës: lejimi i zvarritësve të kërkimit dhe të përdoruesve është ajo që i bën faqet të citohen, ndërsa zvarritësit e trajnimit mund të mbeten të bllokuar nëse kjo është politika juaj.
Shembull
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting Si ta konfirmoni rregullimin
Pas ndryshimit, shtypni "Kontrollo sërish" në raport: ai rendit çfarë u rregullua dhe si ndryshoi rezultati.
Udhëzues të ngjashëm
- Si të lexoni raportin AI Crawl Control të Cloudflare dhe të shihni cilët zvarritës AI hyjnë
- A i bllokon Cloudflare zvarritësit AI? Si ta zbuloni dhe ta rregulloni
- A e sheh ChatGPT sajtin tim? Si ta kontrolloni
- 12 kontrolle AEO për t'i bërë para se të publikoni një faqe (2027)
- SEO 2.0: si e ndryshuan SEO-në kërkimi me AI dhe asistentët, shtresë pas shtrese