Wie teste ich robots.txt-Regeln für eine URL und einen bestimmten Crawler?

Veröffentlicht

Kurz gesagt

Um eine URL für einen Crawler zu testen, suchen Sie die Gruppe, die das Token des Crawlers nennt (oder User-agent: *, wenn keine das tut), sammeln Sie alle Allow- und Disallow-Regeln darin, die zum URL-Pfad passen, und wenden Sie die längste an; bei Gleichstand gewinnt Allow. Das geht von Hand, mit Googles Open-Source-Parser oder mit einem Checker, der pro Crawler ein Ergebnis zeigt. Googles alter robots.txt Tester in der Search Console ist abgeschaltet, und der robots.txt-Bericht, der ihn ersetzt hat, zeigt, was Google abgerufen hat, aber kein Ergebnis für eine URL.

Eine robots.txt wirkt einfach, bis Sie eine eindeutige Antwort brauchen: Darf GPTBot diese Seite abrufen, und darf OAI-SearchBot es? Die Antwort hängt davon ab, welche Gruppe der Crawler wählt und welche Regel in dieser Gruppe gewinnt, und bei beiden Schritten passieren leicht Fehler. Hier sehen Sie, wie das Matching nach RFC 9309 funktioniert, vier durchgerechnete Beispiele und drei Wege, eine Datei selbst zu testen.

Auf dieser Seite
  1. Was ist mit dem robots.txt Tester in der Google Search Console passiert?
  2. Wie entscheidet ein Crawler, ob eine URL erlaubt ist?
  3. Wie sieht ein robots.txt-Test an einem Beispiel aus?
  4. Wie nutze ich Googles Open-Source-Parser für robots.txt?
  5. Kann ich robots.txt mit Pythons urllib.robotparser testen?
  6. Warum besteht ein robots.txt-Test, während der Crawler trotzdem blockiert wird?
  7. Wie prüfe ich robots.txt für alle KI-Crawler auf einmal?

Was ist mit dem robots.txt Tester in der Google Search Console passiert?

Im November 2023 hat Google der Search Console einen robots.txt-Bericht hinzugefügt und angekündigt, den robots.txt-Tester einzustellen. Der Bericht liegt unter Einstellungen und deckt nur die Crawler von Google ab. Er zeigt:

Der Bericht nimmt keine URL entgegen und gibt nicht „erlaubt“ oder „blockiert“ zurück. Um eine URL für Googlebot zu prüfen, verweist Google auf das URL-Prüftool und für lokale Tests auf seine Open-Source-Bibliothek für robots.txt. Keins von beiden sagt Ihnen etwas über KI-Crawler wie GPTBot oder ClaudeBot.

Wie entscheidet ein Crawler, ob eine URL erlaubt ist?

RFC 9309, das Robots Exclusion Protocol, definiert das Matching. Google dokumentiert dasselbe Verhalten für seine Crawler.

Der Statuscode der robots.txt ist so wichtig wie ihre Regeln. Eine 4xx-Antwort bedeutet, dass der Crawler alles abrufen darf; Google behandelt jeden 4xx-Code außer 429 so, als gäbe es keine Datei. Eine 5xx-Antwort bedeutet, dass der Crawler die ganze Website als gesperrt annehmen muss. Google stoppt das Crawling für die ersten 12 Stunden und verwendet dann bis zu 30 Tage lang die letzte gültige Kopie. RFC 9309 verlangt, dass Crawler mindestens 500 KiB parsen, und Google ignoriert alles nach 500 KiB.

Wie sieht ein robots.txt-Test an einem Beispiel aus?

Hier eine kleine robots.txt mit einer Standardgruppe und zwei namentlich genannten KI-Crawlern:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Gleichstände sind seltener, folgen aber derselben Logik. Die Dokumentation von Google nennt den Fall allow: /folder und disallow: /folder für die URL /folder/page: Beide sind gleich lang, also ist die URL erlaubt.

Wie nutze ich Googles Open-Source-Parser für robots.txt?

Google veröffentlicht die C++-Bibliothek, die es in der Produktion zum Abgleich von robots.txt-Regeln nutzt, mit einem kleinen Kommandozeilenprogramm, das eine URL und einen User-Agent gegen eine lokale Datei testet. Mit installiertem Bazel:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Das Repository dokumentiert außerdem einen Build mit CMake, der eine Binärdatei namens robots mit denselben Argumenten erzeugt. Das Tool parst und vergleicht nur; es lädt keine robots.txt herunter, speichern Sie die Live-Datei also zuerst. Die README weist außerdem darauf hin, dass crawlerspezifisches Verhalten außerhalb von Parsing und Matching nicht Teil der Bibliothek ist.

Kann ich robots.txt mit Pythons urllib.robotparser testen?

Die Standardbibliothek von Python enthält einen Parser, der für einen User-Agent und eine URL „erlaubt“ oder „blockiert“ zurückgibt. Dieses Skript testet das Beispiel oben:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Prüfen Sie Ihre Python-Version, bevor Sie der Ausgabe trauen. Unterstützung für das Matching nach RFC 9309 kam 2026 in CPython hinzu und wurde erstmals in Python 3.13.14 und 3.14.5 ausgeliefert. Ältere Versionen, darunter alle von 3.12 und früher, wenden die erste passende Regel in der Reihenfolge der Datei an, nicht die längste, und verstehen * oder $ in Pfaden nicht. Auf diesen Versionen meldet das Skript den ersten und vierten Test genau falsch herum: Googlebot wird von /search/help/billing ausgesperrt, und OAI-SearchBot darf das PDF abrufen.

Zwei weitere Unterschiede gelten für jede Version. RobotFileParser.read() behandelt eine 401- oder 403-Antwort für robots.txt als „alles verboten“, während laut RFC 9309 ein 4xx bedeutet, dass alles abgerufen werden darf. Und read() lädt die Datei mit dem Standard-User-Agent von Python, den manche Firewalls blockieren, sodass ein Test aus Gründen „blockiert“ melden kann, die nichts mit Ihren Regeln zu tun haben. Wenn Sie die Datei selbst abrufen und an parse() übergeben, wie oben, vermeiden Sie beides.

Warum besteht ein robots.txt-Test, während der Crawler trotzdem blockiert wird?

Ein Tester beantwortet eine Frage: Erlauben die Regeln diese URL? Mehreres liegt außerhalb dieser Antwort:

Wie prüfe ich robots.txt für alle KI-Crawler auf einmal?

Der kostenlose robots.txt-Checker von AISeeWhy nimmt eine Seitenadresse oder eine eingefügte robots.txt und zeigt für jeden KI- und Such-Crawler, ob diese Seite abgerufen werden darf. Der kostenlose robots.txt-Generator erstellt eine Datei aus Ihren Vorgaben, und die kostenlose Prüfung ruft die Seite als 16 Crawler ab und zeigt, ob eine Firewall blockiert, was robots.txt erlaubt.

Fixes für dieses Problem

Kostenlose Tools

Nächste Schritte

Crawler in diesem Artikel

Häufige Fragen

Gibt es in der Google Search Console noch einen robots.txt Tester?

Nein. Google hat ihn im November 2023 durch den robots.txt-Bericht ersetzt, der die abgerufenen Dateien, ihren Status und eventuelle Fehler zeigt. Ob Googlebot eine bestimmte URL crawlen darf, prüfen Sie mit dem URL-Prüftool.

Hat Allow in robots.txt Vorrang vor Disallow?

Nur wenn die Allow-Regel länger oder genau gleich lang ist. Die Regel mit dem längsten passenden Pfad gewinnt, egal welcher Art, und bei Gleichstand gewinnt Allow.

Unterscheidet robots.txt Groß- und Kleinschreibung?

Teilweise. Der Wert von User-agent wird ohne Rücksicht auf Groß- und Kleinschreibung abgeglichen, daher bezeichnen gptbot und GPTBot dieselbe Gruppe. Bei Pfaden zählt Groß- und Kleinschreibung, daher blockiert Disallow: /Private/ nicht /private/.

Was prüft ein robots.txt-Validator?

Ein Validator prüft, ob die Datei erreichbar ist, als Text ausgeliefert wird und gültige Syntax hat. Ein Tester geht weiter und liefert ein Ergebnis für eine bestimmte URL und einen bestimmten Crawler. Meist brauchen Sie beides, denn auch eine gültige Datei kann eine Seite blockieren, die Sie erlauben wollten.

Folgt ein Crawler mit eigener Gruppe trotzdem User-agent: *?

Nein. Eine benannte Gruppe ersetzt die *-Gruppe für diesen Crawler vollständig. Jede Regel, die für alle gelten soll, müssen Sie in jeder benannten Gruppe wiederholen.

Quellen

Weitere Artikel