robots.txt ni mogoče prenesti
Prenos /robots.txt ni uspel: strežnik je odgovoril s statusom 5xx ali 429 ali pa sploh ni odgovoril. Po RFC 9309 pajki tedaj celotno spletno mesto obravnavajo kot prepovedano. Poskrbite, da /robots.txt vrne status 200 z navadnim besedilom ali 404, če pravil nimate.
Kaj pomeni
robots.txt je odgovoril s statusom 403 ali ni odgovoril. Po RFC 9309 pajki tedaj obravnavajo celotno spletno mesto kot prepovedano.
Zakaj je to pomembno za iskanje z UI
RFC 9309 določa, da mora pajek, ki zaradi napake strežnika ne more do robots.txt, privzeti popolno prepoved. Googlebot, Bingbot in pajki UI, ki sledijo standardu, nehajo prenašati strani, dokler robots.txt znova ne odgovori, zato lahko ena pokvarjena datoteka skrije celotno spletno mesto.
Manjkajoča datoteka je nekaj drugega: 404 ali drug status 4xx pomeni, da pravil ni, zato je vse dovoljeno in AISeeWhy ne poroča ničesar. Težave so le napake strežnika, omejitve zahtev (429) ter zahteve, ki potečejo ali so zavrnjene, preden pride kakršen koli status.
Kako to popraviti
- Odprite
https://your-domain/robots.txtod zunaj svojega omrežja in si zapišite status. Analiza ga prenese z user agentom brskalnika. - Če gre za 5xx, preverite pot na izvornem strežniku: ogrodja, kot je Next.js, ga strežejo iz
public/robots.txtaliapp/robots.ts, WordPress pa ga ustvarja dinamično, zato ga napaka PHP pokvari. - Če gre za 429 ali potek časa,
/robots.txtv CDN ali WAF izvzemite iz omejevanja zahtev in izzivov za bote. - robots.txt shranite v predpomnilnik CDN, da odgovori tudi, ko je izvorni strežnik počasen. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.
Kako potrditi popravek
Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.