robots.txt kan niet worden opgehaald
robots.unreachable
Wat het betekent
robots.txt antwoordde met status 403 of antwoordde niet. Volgens RFC 9309 behandelen crawlers dan de hele site als verboden.
Prioriteit
P1
Hoe je het oplost
Doe een gratis controle van je pagina. Het rapport toont het bewijs voor deze bevinding op je site en een kant-en-klare oplossing: een wijziging in robots.txt, een Cloudflare-regel, JSON-LD-markup, een concept voor llms.txt of een korte instructie.
Hoe je de oplossing bevestigt
Klik na de wijziging op "Opnieuw controleren" in het rapport: het toont wat is opgelost en hoe de score is veranderd.