Wie teste ich robots.txt-Regeln für eine URL und einen bestimmten Crawler?
Um eine URL für einen Crawler zu testen, suchen Sie die Gruppe, die das Token des Crawlers nennt (oder User-agent: *, wenn keine das tut), sammeln Sie alle Allow- und Disallow-Regeln darin, die zum URL-Pfad passen, und wenden Sie die längste an; bei Gleichstand gewinnt Allow. Das geht von Hand, mit Googles Open-Source-Parser oder mit einem Checker, der pro Crawler ein Ergebnis zeigt. Googles alter robots.txt Tester in der Search Console ist abgeschaltet, und der robots.txt-Bericht, der ihn ersetzt hat, zeigt, was Google abgerufen hat, aber kein Ergebnis für eine URL.
Eine robots.txt wirkt einfach, bis Sie eine eindeutige Antwort brauchen: Darf GPTBot diese Seite abrufen, und darf OAI-SearchBot es? Die Antwort hängt davon ab, welche Gruppe der Crawler wählt und welche Regel in dieser Gruppe gewinnt, und bei beiden Schritten passieren leicht Fehler. Hier sehen Sie, wie das Matching nach RFC 9309 funktioniert, vier durchgerechnete Beispiele und drei Wege, eine Datei selbst zu testen.
Auf dieser Seite
- Was ist mit dem robots.txt Tester in der Google Search Console passiert?
- Wie entscheidet ein Crawler, ob eine URL erlaubt ist?
- Wie sieht ein robots.txt-Test an einem Beispiel aus?
- Wie nutze ich Googles Open-Source-Parser für robots.txt?
- Kann ich robots.txt mit Pythons urllib.robotparser testen?
- Warum besteht ein robots.txt-Test, während der Crawler trotzdem blockiert wird?
- Wie prüfe ich robots.txt für alle KI-Crawler auf einmal?
Was ist mit dem robots.txt Tester in der Google Search Console passiert?
Im November 2023 hat Google der Search Console einen robots.txt-Bericht hinzugefügt und angekündigt, den robots.txt-Tester einzustellen. Der Bericht liegt unter Einstellungen und deckt nur die Crawler von Google ab. Er zeigt:
- Die robots.txt-Dateien, die Google für die 20 wichtigsten Hosts Ihrer Property gefunden hat.
- Den Abrufstatus jeder Datei (
Fetched,Not Fetched - Not found (404)oderNot Fetched - Any other reason), wann Google sie zuletzt geprüft hat, und ihre Größe in Byte. - Probleme in der Datei. Laut Google verhindern Fehler, dass eine Regel verwendet wird, Warnungen dagegen nicht.
- Die Versionen, die Google in den letzten 30 Tagen abgerufen hat, und eine Schaltfläche, um nach der Korrektur der Datei ein erneutes Crawling anzufordern.
Der Bericht nimmt keine URL entgegen und gibt nicht „erlaubt“ oder „blockiert“ zurück. Um eine URL für Googlebot zu prüfen, verweist Google auf das URL-Prüftool und für lokale Tests auf seine Open-Source-Bibliothek für robots.txt. Keins von beiden sagt Ihnen etwas über KI-Crawler wie GPTBot oder ClaudeBot.
Wie entscheidet ein Crawler, ob eine URL erlaubt ist?
RFC 9309, das Robots Exclusion Protocol, definiert das Matching. Google dokumentiert dasselbe Verhalten für seine Crawler.
- Die Gruppe wählen. Beim User-agent wird Groß- und Kleinschreibung nicht unterschieden. Nennen eine oder mehrere Gruppen das Token des Crawlers, werden ihre Regeln zusammengefasst, und die Gruppe
User-agent: *wird vollständig ignoriert. Nur ein Crawler ohne eigene Gruppe folgt*. - Die Regel wählen. Unter den
Allow- undDisallow-Regeln, deren Pfad zur URL passt, gewinnt die mit den meisten Zeichen. Sind einAllowund einDisallowgleich lang, sollteAllowgewinnen. - Die Muster lesen.
*passt auf eine beliebige Zeichenfolge, und$markiert das Ende der URL. Bei Pfaden zählt Groß- und Kleinschreibung, daher passt/Admin/nicht auf/admin/. - Keine passende Regel heißt erlaubt.
/robots.txtselbst ist immer erlaubt.
Der Statuscode der robots.txt ist so wichtig wie ihre Regeln. Eine 4xx-Antwort bedeutet, dass der Crawler alles abrufen darf; Google behandelt jeden 4xx-Code außer 429 so, als gäbe es keine Datei. Eine 5xx-Antwort bedeutet, dass der Crawler die ganze Website als gesperrt annehmen muss. Google stoppt das Crawling für die ersten 12 Stunden und verwendet dann bis zu 30 Tage lang die letzte gültige Kopie. RFC 9309 verlangt, dass Crawler mindestens 500 KiB parsen, und Google ignoriert alles nach 500 KiB.
Wie sieht ein robots.txt-Test an einem Beispiel aus?
Hier eine kleine robots.txt mit einer Standardgruppe und zwei namentlich genannten KI-Crawlern:
Googlebotund/search/help/billing: erlaubt. Es gibt keine Googlebot-Gruppe, also gilt die*-Gruppe.Disallow: /searchundAllow: /search/helppassen beide, und dieAllow-Regel ist länger.GPTBotund/blog/post: blockiert. GPTBot hat eine eigene Gruppe, undDisallow: /passt auf jeden Pfad.OAI-SearchBotund/admin/settings: erlaubt. OAI-SearchBot hat eine eigene Gruppe, daher giltDisallow: /admin/aus der*-Gruppe nicht für ihn. Das ist die häufigste Überraschung; wiederholen Sie gemeinsame Regeln in jeder benannten Gruppe.OAI-SearchBotund/files/report.pdf: blockiert.Allow: /passt mit einem Zeichen,Disallow: /*.pdf$mit sieben, und die längere Regel gewinnt.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Gleichstände sind seltener, folgen aber derselben Logik. Die Dokumentation von Google nennt den Fall allow: /folder und disallow: /folder für die URL /folder/page: Beide sind gleich lang, also ist die URL erlaubt.
Wie nutze ich Googles Open-Source-Parser für robots.txt?
Google veröffentlicht die C++-Bibliothek, die es in der Produktion zum Abgleich von robots.txt-Regeln nutzt, mit einem kleinen Kommandozeilenprogramm, das eine URL und einen User-Agent gegen eine lokale Datei testet. Mit installiertem Bazel:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Das Repository dokumentiert außerdem einen Build mit CMake, der eine Binärdatei namens robots mit denselben Argumenten erzeugt. Das Tool parst und vergleicht nur; es lädt keine robots.txt herunter, speichern Sie die Live-Datei also zuerst. Die README weist außerdem darauf hin, dass crawlerspezifisches Verhalten außerhalb von Parsing und Matching nicht Teil der Bibliothek ist.
Kann ich robots.txt mit Pythons urllib.robotparser testen?
Die Standardbibliothek von Python enthält einen Parser, der für einen User-Agent und eine URL „erlaubt“ oder „blockiert“ zurückgibt. Dieses Skript testet das Beispiel oben:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Prüfen Sie Ihre Python-Version, bevor Sie der Ausgabe trauen. Unterstützung für das Matching nach RFC 9309 kam 2026 in CPython hinzu und wurde erstmals in Python 3.13.14 und 3.14.5 ausgeliefert. Ältere Versionen, darunter alle von 3.12 und früher, wenden die erste passende Regel in der Reihenfolge der Datei an, nicht die längste, und verstehen * oder $ in Pfaden nicht. Auf diesen Versionen meldet das Skript den ersten und vierten Test genau falsch herum: Googlebot wird von /search/help/billing ausgesperrt, und OAI-SearchBot darf das PDF abrufen.
Zwei weitere Unterschiede gelten für jede Version. RobotFileParser.read() behandelt eine 401- oder 403-Antwort für robots.txt als „alles verboten“, während laut RFC 9309 ein 4xx bedeutet, dass alles abgerufen werden darf. Und read() lädt die Datei mit dem Standard-User-Agent von Python, den manche Firewalls blockieren, sodass ein Test aus Gründen „blockiert“ melden kann, die nichts mit Ihren Regeln zu tun haben. Wenn Sie die Datei selbst abrufen und an parse() übergeben, wie oben, vermeiden Sie beides.
Warum besteht ein robots.txt-Test, während der Crawler trotzdem blockiert wird?
Ein Tester beantwortet eine Frage: Erlauben die Regeln diese URL? Mehreres liegt außerhalb dieser Antwort:
- Die Live-Datei unterscheidet sich von der getesteten, oder der Crawler nutzt noch eine zwischengespeicherte Kopie. Laut RFC 9309 sollten Crawler eine zwischengespeicherte Kopie nicht länger als 24 Stunden verwenden, und Google speichert im Allgemeinen bis zu 24 Stunden zwischen.
- Die robots.txt-URL liefert eine HTML-Seite oder einen Fehler. Eine HTML-Seite mit Status 200 enthält keine gültigen Regeln, und eine 5xx-Antwort sperrt die ganze Website.
- robots.txt ist eine Bitte, keine Zugriffskontrolle. Eine Firewall, ein CDN oder ein Bot-Schutz kann dem Crawler trotzdem mit einem 403 oder einer Challenge-Seite antworten.
Wie prüfe ich robots.txt für alle KI-Crawler auf einmal?
Der kostenlose robots.txt-Checker von AISeeWhy nimmt eine Seitenadresse oder eine eingefügte robots.txt und zeigt für jeden KI- und Such-Crawler, ob diese Seite abgerufen werden darf. Der kostenlose robots.txt-Generator erstellt eine Datei aus Ihren Vorgaben, und die kostenlose Prüfung ruft die Seite als 16 Crawler ab und zeigt, ob eine Firewall blockiert, was robots.txt erlaubt.
Fixes für dieses Problem
- robots.txt erlaubt GPTBot, aber der Server blockiert ihn
- robots.txt verbietet OAI-SearchBot
- robots.txt ist eine HTML-Seite
- robots.txt kann nicht abgerufen werden
Nächste Schritte
- robots.txt Tester und Checker für KI-Crawler
- Beispiel eines vollständigen Berichts ansehen
- KI-Crawler-Monitoring
- Tarife und Preise
Crawler in diesem Artikel
Häufige Fragen
Gibt es in der Google Search Console noch einen robots.txt Tester?
Nein. Google hat ihn im November 2023 durch den robots.txt-Bericht ersetzt, der die abgerufenen Dateien, ihren Status und eventuelle Fehler zeigt. Ob Googlebot eine bestimmte URL crawlen darf, prüfen Sie mit dem URL-Prüftool.
Hat Allow in robots.txt Vorrang vor Disallow?
Nur wenn die Allow-Regel länger oder genau gleich lang ist. Die Regel mit dem längsten passenden Pfad gewinnt, egal welcher Art, und bei Gleichstand gewinnt Allow.
Unterscheidet robots.txt Groß- und Kleinschreibung?
Teilweise. Der Wert von User-agent wird ohne Rücksicht auf Groß- und Kleinschreibung abgeglichen, daher bezeichnen gptbot und GPTBot dieselbe Gruppe. Bei Pfaden zählt Groß- und Kleinschreibung, daher blockiert Disallow: /Private/ nicht /private/.
Was prüft ein robots.txt-Validator?
Ein Validator prüft, ob die Datei erreichbar ist, als Text ausgeliefert wird und gültige Syntax hat. Ein Tester geht weiter und liefert ein Ergebnis für eine bestimmte URL und einen bestimmten Crawler. Meist brauchen Sie beides, denn auch eine gültige Datei kann eine Seite blockieren, die Sie erlauben wollten.
Folgt ein Crawler mit eigener Gruppe trotzdem User-agent: *?
Nein. Eine benannte Gruppe ersetzt die *-Gruppe für diesen Crawler vollständig. Jede Regel, die für alle gelten soll, müssen Sie in jeder benannten Gruppe wiederholen.
Quellen
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py