robots.txt ni mogoče prenesti

Kratek odgovor

Prenos /robots.txt ni uspel: strežnik je odgovoril s statusom 5xx ali 429 ali pa sploh ni odgovoril. Po RFC 9309 pajki tedaj celotno spletno mesto obravnavajo kot prepovedano. Poskrbite, da /robots.txt vrne status 200 z navadnim besedilom ali 404, če pravil nimate.

robots.unreachable · Prioriteta: P1

Kaj pomeni

robots.txt je odgovoril s statusom 403 ali ni odgovoril. Po RFC 9309 pajki tedaj obravnavajo celotno spletno mesto kot prepovedano.

Zakaj je to pomembno za iskanje z UI

RFC 9309 določa, da mora pajek, ki zaradi napake strežnika ne more do robots.txt, privzeti popolno prepoved. Googlebot, Bingbot in pajki UI, ki sledijo standardu, nehajo prenašati strani, dokler robots.txt znova ne odgovori, zato lahko ena pokvarjena datoteka skrije celotno spletno mesto.

Manjkajoča datoteka je nekaj drugega: 404 ali drug status 4xx pomeni, da pravil ni, zato je vse dovoljeno in AISeeWhy ne poroča ničesar. Težave so le napake strežnika, omejitve zahtev (429) ter zahteve, ki potečejo ali so zavrnjene, preden pride kakršen koli status.

Kako to popraviti

  1. Odprite https://your-domain/robots.txt od zunaj svojega omrežja in si zapišite status. Analiza ga prenese z user agentom brskalnika.
  2. Če gre za 5xx, preverite pot na izvornem strežniku: ogrodja, kot je Next.js, ga strežejo iz public/robots.txt ali app/robots.ts, WordPress pa ga ustvarja dinamično, zato ga napaka PHP pokvari.
  3. Če gre za 429 ali potek časa, /robots.txt v CDN ali WAF izvzemite iz omejevanja zahtev in izzivov za bote.
  4. robots.txt shranite v predpomnilnik CDN, da odgovori tudi, ko je izvorni strežnik počasen. Poročilo AISeeWhy pokaže dokaze in popravek, pripravljen za lepljenje; nato zaženite „Preveri znova“, da potrdite rezultat.

Kako potrditi popravek

Po spremembi v poročilu pritisnite »Preveri znova«: pokaže, kaj je odpravljeno in kako se je spremenila ocena.

Preveri mojo stran →

Sorodni vodniki

Vse ugotovitve in kako deluje ocena