robots.txt GPTBot botuna icazə verir, lakin server onu bloklayır
robots.txt-niz bu bota səhifəni yükləməyə icazə verir, lakin onun user agent-i ilə göndərilən sorğu server, CDN və ya firewall tərəfindən bloklandı. Elan olunmuş siyasət ilə real davranış uyğun gəlmir. Firewall qaydasını robots.txt-ə uyğunlaşdırın və ya botu bloklamaq istəyirdinizsə, robots.txt-də onu qadağan edin.
Nə deməkdir
Qaydalarınız GPTBot botunu buraxır, amma onun user agent-i ilə sorğu bloklandı. Firewall və ya CDN bəyan etdiyiniz siyasəti üstələyir.
AI axtarışı üçün niyə vacibdir
Botlar robots.txt-i sizin siyasətiniz kimi qəbul edir. O "bəli", server isə 403 deyəndə bot sorğuları boşa xərcləyir, sonra yenidən cəhd edə bilər və səhifə yenə də cavab sisteminin indeksinə düşmür. Komandalar çox vaxt robots.txt belə dediyi üçün AI axtarışına icazə verdiklərini düşünür, halbuki bot qaydası onu səssizcə bloklayır.
Yoxlama sorğusu təsdiqlənməmiş IP ünvanından göndərilir. Botu yalnız onun dərc olunmuş IP diapazonlarından buraxan qayda, ki bu da məntiqli quruluşdur, real bot daxil olsa belə burada görünə bilər. Nəyisə dəyişməzdən əvvəl hansı qaydanın işə düşdüyünü yoxlayın.
Necə düzəltmək olar
- Tapıntıda robots.txt qrupunu və bloklanmış sorğunun statusunu müqayisə edin. AISeeWhy hesabatı sübutu və yapışdırmağa hazır düzəlişi göstərir; nəticəni təsdiqləmək üçün sonra "Yenidən yoxla" düyməsini basın.
- Sorğunu bloklayan qaydanı tapın: Cloudflare-də Security → Events bölməsini və AI Crawl Control ilə Bot Fight Mode ayarlarını, digər CDN-lərdə isə bot idarəetməsi logunu yoxlayın.
- Botun daxil olmasını istəyirsinizsə, onun üçün istisna əlavə edin; istəmirsinizsə, onun tokeni üçün Disallow qrupu əlavə edin ki, siyasətiniz bir yerdə ifadə olunsun.
Düzəlişi necə təsdiqləmək olar
Dəyişiklikdən sonra hesabatda “Yenidən yoxla” düyməsini basın: o, nəyin düzəldildiyini və balın necə dəyişdiyini göstərir.