OAI-SearchBot bloklanıb

Qısa cavab

Bu botun user agent-i ilə göndərilən sorğu rədd edildi: o, 4xx və ya 5xx status, Cloudflare cf-mitigated başlığı və ya challenge səhifəsi aldı, adi brauzer sorğusu isə səhifəni aldı. User agent-ə uyğun gələn firewall, CDN və ya bot qaydasını tapın və bota keçid verin.

access.blocked · Prioritet: P1–P3, botun növünə görə

Nə deməkdir

OAI-SearchBot user agent-i ilə sorğu 403 statusu və ya yoxlama (challenge) səhifəsi aldı, brauzer isə səhifəni aldı. Təsdiqlənməmiş IP-dən yoxlanılıb: bu, firewall-unuzun həmin user agent-ə necə yanaşdığını göstərir; təsdiqlənmiş IP-lərindən gələn real bota fərqli yanaşıla bilər.

AI axtarışı üçün niyə vacibdir

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot və Perplexity-User kimi axtarış və istifadəçi botları cavablar və onların altındakı keçidləri qurmaq üçün səhifələri yükləyir. Onlar 403 və ya challenge səhifəsi alırsa, səhifə nə qədər yaxşı olsa da, ondan sitat gətirmək və ya ona keçid vermək mümkün olmur. Buna görə AISeeWhy bu botların bloklanmasını P1 kimi qiymətləndirir.

Təlim botları (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 kimi qiymətləndirilir: onları bloklamaq səhv deyil, siyasət seçimidir. Yoxlama sorğusu təsdiqlənməmiş IP-dən göndərilir, buna görə qaydalarınızın user agent-ə necə yanaşdığını göstərir; dərc olunmuş IP diapazonlarından gələn real bota fərqli yanaşıla bilər.

Necə düzəltmək olar

  1. Hansı botun bloklandığını, onun aldığı statusu və auditin aşkar etdiyi WAF-ı görmək üçün tapıntını açın. AISeeWhy hesabatı sübutu və yapışdırmağa hazır düzəlişi göstərir; nəticəni təsdiqləmək üçün sonra "Yenidən yoxla" düyməsini basın.
  2. Cloudflare-də bloklanmış sorğu üçün Security → Events bölməsinə baxın, sonra bota uyğun gələn (verified bots və ya onun user agent tokeni) WAF xüsusi qaydası əlavə edin və ona qalan xüsusi qaydalar, Super Bot Fight Mode və rate limiting üçün Skip əməliyyatı verin. AI Crawl Control-da bot üçün Allow seçin.
  3. Vercel, Akamai, Imperva, Sucuri və ya AWS WAF-da işə düşən bot idarəetməsi və ya idarə olunan qaydanı tapın və bot üçün istisna əlavə edin; bunu ideal halda yalnız user agent ilə deyil, provayderin dərc etdiyi IP diapazonları və ya reverse DNS ilə təsdiqləyin.
  4. nginx və ya Apache-də konfiqurasiyada botun adını çəkən deny, return 403 və ya RewriteCond %{HTTP_USER_AGENT} sətirlərini axtarın, WordPress-də isə "pis botları" bloklayan təhlükəsizlik plaginlərini yoxlayın.
  5. Hər bot üçün ayrıca qərar verin: səhifələrin sitat gətirilməsini axtarış və istifadəçi botlarına icazə vermək təmin edir, təlim botları isə siyasətiniz belədirsə, bloklanmış qala bilər.

Nümunə

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Düzəlişi necə təsdiqləmək olar

Dəyişiklikdən sonra hesabatda “Yenidən yoxla” düyməsini basın: o, nəyin düzəldildiyini və balın necə dəyişdiyini göstərir.

Səhifəmi yoxla →

Əlaqəli bələdçilər

Bütün tapıntılar və balın necə hesablandığı