robots.txt është faqe HTML

Përgjigje e shkurtër

Adresa /robots.txt kthen një dokument HTML, zakonisht një faqe 404 ose faqen kryesore të shërbyer me statusin 200. Zvarritësit nuk mund të lexojnë asnjë rregull nga HTML-ja. Shërbeni një robots.txt me tekst të thjeshtë në atë shteg, ose ktheni një status real 404 nëse nuk keni rregulla.

robots.invalid · Prioriteti: P2

Çfarë do të thotë

Adresa e robots.txt kthen HTML (shpesh një faqe 404 e shërbyer me statusin 200), ndaj zvarritësit nuk mund të lexojnë asnjë rregull.

Pse ka rëndësi për kërkimin me AI

Zvarritësit e analizojnë robots.txt rresht pas rreshti dhe shpërfillin atë që nuk e kuptojnë, ndaj një faqe HTML nuk u jep asnjë rregull dhe asnjë rresht Sitemap. Politika që keni synuar, si bllokimi i zvarritësve të trajnimit ose lejimi i zvarritësve të kërkimit, nuk zbatohet, dhe sitemap-et e deklaruara aty nuk gjenden.

Kjo ndodh zakonisht me aplikacionet njëfaqëshe dhe rrugët catch-all që i përgjigjen çdo shtegu të panjohur me guaskën e aplikacionit dhe statusin 200. AISeeWhy gjykon sipas përmbajtjes, jo sipas header-it Content-Type, sepse kështu bëjnë edhe zvarritësit: një skedar teksti i shërbyer si text/html lexohet prapë, një faqe HTML jo.

Si ta rregulloni

  1. Hapni /robots.txt dhe shikoni burimin: nëse fillon me <!doctype ose <html, skedari mungon dhe po përgjigjet një rrugë rezervë.
  2. Shtoni një skedar real: public/robots.txt në Next.js, Vite ose Create React App, rrënjën e web-it në nginx ose Apache, ose shabllonin robots.txt.liquid në Shopify.
  3. Në nginx, sigurohuni që një rrugë rezervë try_files ... /index.html të mos e kapë /robots.txt para se të kontrollohet skedari statik; shtoni location = /robots.txt nëse duhet.
  4. Rregulloni rrugën catch-all që të dërgojë statusin 404 për shtigjet e panjohura. Raporti i AISeeWhy tregon provat dhe një rregullim gati për t'u ngjitur; pas kësaj klikoni "Kontrollo sërish" për ta konfirmuar rezultatin.

Shembull

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Si ta konfirmoni rregullimin

Pas ndryshimit, shtypni "Kontrollo sërish" në raport: ai rendit çfarë u rregullua dhe si ndryshoi rezultati.

Kontrollo faqen time →

Udhëzues të ngjashëm

Të gjitha gjetjet dhe si funksionon rezultati