robots.txt yüklənə bilmir
/robots.txt yüklənmədi: server 5xx və ya 429 statusu ilə cavab verdi, yaxud ümumiyyətlə cavab vermədi. RFC 9309-a görə bu halda botlar bütün saytı qadağan edilmiş sayır. /robots.txt-in düz mətnlə 200 statusu, qaydalarınız yoxdursa isə 404 qaytarmasını təmin edin.
Nə deməkdir
robots.txt 403 statusu ilə cavab verdi və ya cavab vermədi. RFC 9309-a görə bu halda botlar bütün saytı qadağan olunmuş sayır.
AI axtarışı üçün niyə vacibdir
RFC 9309 deyir ki, server xətası səbəbindən robots.txt-ə çata bilməyən bot tam qadağa olduğunu fərz etməlidir. Googlebot, Bingbot və standarta əməl edən AI botları robots.txt yenidən cavab verənə qədər səhifələri yükləməyi dayandırır, buna görə bir sınıq fayl bütün saytı gizlədə bilər.
Faylın olmaması başqa haldır: 404 və ya digər 4xx status qaydaların olmadığını bildirir, yəni hər şeyə icazə verilir və AISeeWhy heç nə bildirmir. Problem yalnız server xətaları, rate limit-lər (429) və hər hansı status qayıtmamışdan əvvəl vaxtı bitən və ya rədd edilən sorğulardır.
Necə düzəltmək olar
https://your-domain/robots.txtünvanını şəbəkənizdən kənardan açın və statusu qeyd edin. Audit onu brauzer user agent-i ilə yükləyir.- 5xx olarsa, origin marşrutunu yoxlayın: Next.js kimi freymvorklar onu
public/robots.txtvə yaapp/robots.ts-dən verir, WordPress isə onu dinamik yaradır, buna görə PHP xətası onu sındırır. - 429 və ya vaxt aşımı olarsa, CDN və ya WAF-ınızda
/robots.txt-i rate limiting və bot challenge-lərindən azad edin. - Origin yavaş olduqda da cavab verməsi üçün robots.txt-i CDN-də keşləyin. AISeeWhy hesabatı sübutu və yapışdırmağa hazır düzəlişi göstərir; nəticəni təsdiqləmək üçün sonra "Yenidən yoxla" düyməsini basın.
Düzəlişi necə təsdiqləmək olar
Dəyişiklikdən sonra hesabatda “Yenidən yoxla” düyməsini basın: o, nəyin düzəldildiyini və balın necə dəyişdiyini göstərir.