robots.txt is een HTML-pagina
robots.invalid
Wat het betekent
Het robots.txt-adres geeft HTML terug (vaak een 404-pagina met status 200), waardoor crawlers geen enkele regel kunnen lezen.
Prioriteit
P2
Hoe je het oplost
Doe een gratis controle van je pagina. Het rapport toont het bewijs voor deze bevinding op je site en een kant-en-klare oplossing: een wijziging in robots.txt, een Cloudflare-regel, JSON-LD-markup, een concept voor llms.txt of een korte instructie.
Hoe je de oplossing bevestigt
Klik na de wijziging op "Opnieuw controleren" in het rapport: het toont wat is opgelost en hoe de score is veranderd.