robots.txt HTML səhifədir

Qısa cavab

/robots.txt ünvanı HTML sənəd qaytarır, adətən 200 statusu ilə verilən 404 səhifəsini və ya ana səhifəni. Botlar HTML-dən heç bir qayda oxuya bilmir. Həmin yolda düz mətnli robots.txt verin və ya qaydalarınız yoxdursa, real 404 statusu qaytarın.

robots.invalid · Prioritet: P2

Nə deməkdir

robots.txt ünvanı HTML qaytarır (çox vaxt 200 statusu ilə verilən 404 səhifəsi), ona görə də botlar heç bir qaydanı oxuya bilmir.

AI axtarışı üçün niyə vacibdir

Botlar robots.txt-i sətir-sətir təhlil edir və anlamadıqlarını nəzərə almır, buna görə HTML səhifə onlara heç bir qayda və heç bir Sitemap sətri vermir. Təlim botlarını bloklamaq və ya axtarış botlarına icazə vermək kimi nəzərdə tutduğunuz siyasət tətbiq olunmur və orada göstərilən sitemap-lər tapılmır.

Bu, adətən hər naməlum yola tətbiqin qabığı və 200 statusu ilə cavab verən tək səhifəli tətbiqlərdə və catch-all marşrutlarda baş verir. AISeeWhy Content-Type başlığına görə deyil, məzmuna görə qərar verir, çünki botlar da belə edir: text/html kimi verilən mətn faylı yenə oxunur, HTML səhifə isə oxunmur.

Necə düzəltmək olar

  1. /robots.txt-i açın və mənbə koduna baxın: <!doctype və ya <html ilə başlayırsa, fayl yoxdur və ehtiyat marşrut cavab verir.
  2. Real fayl əlavə edin: Next.js, Vite və ya Create React App-də public/robots.txt, nginx və ya Apache-də veb kök, Shopify-da isə robots.txt.liquid şablonu.
  3. nginx-də try_files ... /index.html ehtiyat yolunun statik fayl yoxlanılmamışdan əvvəl /robots.txt-i tutmadığına əmin olun; lazım olarsa, location = /robots.txt əlavə edin.
  4. Catch-all marşrutunuzu naməlum yollar üçün 404 statusu göndərəcək şəkildə düzəldin. AISeeWhy hesabatı sübutu və yapışdırmağa hazır düzəlişi göstərir; nəticəni təsdiqləmək üçün sonra "Yenidən yoxla" düyməsini basın.

Nümunə

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Düzəlişi necə təsdiqləmək olar

Dəyişiklikdən sonra hesabatda “Yenidən yoxla” düyməsini basın: o, nəyin düzəldildiyini və balın necə dəyişdiyini göstərir.

Səhifəmi yoxla →

Əlaqəli bələdçilər

Bütün tapıntılar və balın necə hesablandığı