robots.txt-Checker für KI-Crawler

Geben Sie eine Seitenadresse ein: Wir lesen die robots.txt der Website und zeigen für jeden KI- und Such-Crawler, ob er diese Seite abrufen darf. Oder fügen Sie eine robots.txt ein, um sie vor der Veröffentlichung zu testen.

robots.txt ist nur eine Bitte. Eine Firewall oder ein Bot-Schutz kann einen Crawler trotzdem blockieren, den robots.txt zulässt; die vollständige Prüfung testet das. Vollständige Prüfung starten →

Wie KI-Crawler robots.txt lesen

Jeder Crawler folgt der Gruppe, die sein Token nennt (zum Beispiel GPTBot oder PerplexityBot); nur wenn keine das tut, folgt er User-agent: *. Innerhalb einer Gruppe gewinnt die längste passende Regel, und bei Gleichstand gewinnt Allow. Wer Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended blockiert, hält seine Inhalte aus dem Modelltraining heraus; wer Such- und Nutzer-Crawler wie OAI-SearchBot, ChatGPT-User oder PerplexityBot blockiert, hält seine Seiten aus KI-Antworten heraus.