OAI-SearchBot është i bllokuar

Përgjigje e shkurtër

Një kërkesë e dërguar me user agent-in e këtij zvarritësi u refuzua: mori një status 4xx ose 5xx, një header Cloudflare cf-mitigated ose një faqe sfide, ndërsa një kërkesë e zakonshme shfletuesi e mori faqen. Gjeni rregullin e firewall-it, CDN-së ose të botëve që përputhet me user agent-in dhe lëreni zvarritësin të kalojë.

access.blocked · Prioriteti: P1–P3, sipas llojit të zvarritësit

Çfarë do të thotë

Një kërkesë me user agent-in e OAI-SearchBot mori statusin 403 ose një faqe sfide, ndërsa një shfletues e mori faqen. U testua nga një IP e paverifikuar: kjo tregon si e trajton firewall-i juaj këtë user agent; zvarritësi real nga IP-të e tij të verifikuara mund të trajtohet ndryshe.

Pse ka rëndësi për kërkimin me AI

Zvarritësit e kërkimit dhe të përdoruesve si OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot dhe Perplexity-User marrin faqe për të ndërtuar përgjigje dhe lidhjet poshtë tyre. Nëse marrin një 403 ose një faqe sfide, faqja nuk mund të citohet ose të lidhet, sado e mirë të jetë. Prandaj AISeeWhy e vlerëson P1 bllokimin e këtyre zvarritësve.

Zvarritësit e trajnimit (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) vlerësohen P3: bllokimi i tyre është zgjedhje politike, jo gabim. Sonda punon nga një IP e paverifikuar, ndaj tregon si i trajtojnë rregullat tuaja user agent-in; zvarritësi real, që vjen nga gamat e tij IP të publikuara, mund të trajtohet ndryshe.

Si ta rregulloni

  1. Hapni gjetjen për të parë cili zvarritës u bllokua, çfarë statusi mori dhe cilin WAF zbuloi auditimi. Raporti i AISeeWhy tregon provat dhe një rregullim gati për t'u ngjitur; pas kësaj klikoni "Kontrollo sërish" për ta konfirmuar rezultatin.
  2. Në Cloudflare, shikoni Security → Events për kërkesën e bllokuar, pastaj shtoni një rregull WAF të personalizuar që përputhet me zvarritësin (botët e verifikuar ose token-i i user agent-it të tij) me veprimin Skip për rregullat e personalizuara të mbetura, Super Bot Fight Mode dhe kufizimin e kërkesave. Në AI Crawl Control, vendoseni zvarritësin në Allow.
  3. Në Vercel, Akamai, Imperva, Sucuri ose AWS WAF, gjeni rregullin e menaxhimit të botëve ose rregullin e menaxhuar që u aktivizua dhe shtoni një përjashtim për zvarritësin, mundësisht të verifikuar me gamat IP të publikuara nga ofruesi ose me reverse DNS, jo vetëm me user agent.
  4. Në nginx ose Apache, kërkoni në konfigurim rreshta deny, return 403 ose RewriteCond %{HTTP_USER_AGENT} që e përmendin zvarritësin, dhe në WordPress kontrolloni plugin-et e sigurisë që bllokojnë "botët e këqij".
  5. Vendosni për secilin zvarritës: lejimi i zvarritësve të kërkimit dhe të përdoruesve është ajo që i bën faqet të citohen, ndërsa zvarritësit e trajnimit mund të mbeten të bllokuar nëse kjo është politika juaj.

Shembull

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Si ta konfirmoni rregullimin

Pas ndryshimit, shtypni "Kontrollo sërish" në raport: ai rendit çfarë u rregullua dhe si ndryshoi rezultati.

Kontrollo faqen time →

Udhëzues të ngjashëm

Të gjitha gjetjet dhe si funksionon rezultati