robots.txt nu poate fi preluat
robots.unreachable
Ce înseamnă
robots.txt a răspuns cu statusul 403 sau nu a răspuns deloc. Conform RFC 9309, crawlerele consideră atunci întregul site interzis.
Prioritate
P1
Cum se remediază
Rulează o verificare gratuită a paginii tale. Raportul arată dovezile acestei constatări pe site-ul tău și un remediu gata de lipit: o modificare în robots.txt, o regulă Cloudflare, marcaj JSON-LD, o schiță llms.txt sau o instrucțiune scurtă.
Cum confirmi remediul
După modificare, apasă „Verifică din nou” în raport: vezi ce s-a remediat și cum s-a schimbat scorul.