robots.txt er en HTML-side
robots.invalid
Hva det betyr
Adressen til robots.txt returnerer HTML (ofte en 404-side servert med status 200), så crawlere kan ikke lese noen regler.
Prioritet
P2
Slik retter du det
Kjør en gratis sjekk av siden din. Rapporten viser bevisene for dette funnet på nettstedet ditt og en ferdig rettelse du kan lime inn: en endring i robots.txt, en Cloudflare-regel, JSON-LD-markering, et utkast til llms.txt eller en kort instruksjon.
Slik bekrefter du rettelsen
Trykk på "Sjekk på nytt" i rapporten etter endringen: den viser hva som er rettet og hvordan scoren har endret seg.