robots.txt kann nicht abgerufen werden
robots.unreachable
Was es bedeutet
robots.txt antwortete mit Status 403 oder gar nicht. Nach RFC 9309 behandeln Crawler dann die gesamte Website als gesperrt.
Priorität
P1
So beheben Sie es
Prüfen Sie Ihre Seite kostenlos. Der Bericht zeigt die Belege für diesen Befund auf Ihrer Website und einen Fix zum direkten Einfügen: eine Änderung an robots.txt, eine Cloudflare-Regel, JSON-LD-Markup, einen llms.txt-Entwurf oder eine kurze Anleitung.
So bestätigen Sie den Fix
Klicken Sie nach der Änderung im Bericht auf „Erneut prüfen“: Er zeigt, was behoben wurde und wie sich der Score verändert hat.