Hoe test ik robots.txt-regels voor een URL en een specifieke crawler?

Gepubliceerd

Kort antwoord

Om een URL voor één crawler te testen, zoek je de groep die het token van de crawler noemt (of User-agent: * als geen groep dat doet), verzamel je alle Allow- en Disallow-regels daarin die bij het URL-pad passen en pas je de langste toe; bij gelijke lengte wint Allow. Je kunt dat met de hand doen, met de opensourceparser van Google of met een checker die per crawler een oordeel geeft. De oude robots.txt-tester van Google in Search Console bestaat niet meer, en het robots.txt-rapport dat hem verving, toont wat Google heeft opgehaald, geen oordeel voor een URL.

Een robots.txt-bestand lijkt simpel tot je een eenduidig antwoord nodig hebt: mag GPTBot deze pagina ophalen, en mag OAI-SearchBot dat? Het antwoord hangt af van welke groep de crawler kiest en welke regel in die groep wint, en bij beide stappen gaat het makkelijk mis. Hier lees je hoe de matching volgens RFC 9309 werkt, met vier uitgewerkte voorbeelden en drie manieren om een bestand zelf te testen.

Op deze pagina
  1. Wat is er gebeurd met de robots.txt-tester in Google Search Console?
  2. Hoe beslist een crawler of een URL is toegestaan?
  3. Kun je een voorbeeld van een robots.txt-test laten zien?
  4. Hoe gebruik ik de opensource-robots.txt-parser van Google?
  5. Kan ik robots.txt testen met urllib.robotparser van Python?
  6. Waarom slaagt een robots.txt-test terwijl de crawler nog steeds wordt geblokkeerd?
  7. Hoe controleer ik robots.txt voor alle AI-crawlers tegelijk?

Wat is er gebeurd met de robots.txt-tester in Google Search Console?

In november 2023 voegde Google een robots.txt-rapport toe aan Search Console en kondigde aan dat de robots.txt-tester zou verdwijnen. Het rapport staat onder Instellingen en gaat alleen over de crawlers van Google. Het toont:

Het rapport neemt geen URL aan om toegestaan of geblokkeerd terug te geven. Om één URL voor Googlebot te controleren, verwijst Google naar de tool URL-inspectie, en voor lokaal testen naar zijn opensource-robots.txt-bibliotheek. Geen van beide zegt iets over AI-crawlers zoals GPTBot of ClaudeBot.

Hoe beslist een crawler of een URL is toegestaan?

RFC 9309, het Robots Exclusion Protocol, definieert de matching. Google documenteert hetzelfde gedrag voor zijn crawlers.

De responscode van robots.txt telt net zo zwaar als de regels. Een 4xx-respons betekent dat de crawler alles mag ophalen; Google behandelt elke 4xx behalve 429 alsof er geen bestand is. Een 5xx-respons betekent dat de crawler moet aannemen dat de hele site is uitgesloten. Google stopt de eerste 12 uur met crawlen en gebruikt daarna tot 30 dagen de laatste goede kopie. RFC 9309 verplicht crawlers om minstens 500 KiB te verwerken, en Google negeert alles na 500 KiB.

Kun je een voorbeeld van een robots.txt-test laten zien?

Hier is een kleine robots.txt met een standaardgroep en twee AI-crawlers met een eigen groep:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Gelijke lengtes komen minder vaak voor, maar volgen dezelfde logica. De documentatie van Google geeft het geval van allow: /folder en disallow: /folder voor de URL /folder/page: beide zijn even lang, dus de URL is toegestaan.

Hoe gebruik ik de opensource-robots.txt-parser van Google?

Google publiceert de C++-bibliotheek die het in productie gebruikt om robots.txt-regels te matchen, met een klein opdrachtregelprogramma om één URL en één user agent tegen een lokaal bestand te testen. Met Bazel geïnstalleerd:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

De repository documenteert ook een build met CMake, die een binary met de naam robots en dezelfde argumenten oplevert. De tool parseert en matcht alleen; hij downloadt robots.txt niet, dus sla eerst het live bestand op. De README merkt ook op dat crawlerspecifiek gedrag buiten parsen en matchen geen deel uitmaakt van de bibliotheek.

Kan ik robots.txt testen met urllib.robotparser van Python?

De standaardbibliotheek van Python bevat een parser die voor een user agent en een URL antwoordt met toegestaan of geblokkeerd. Dit script test het voorbeeld hierboven:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Controleer je Python-versie voordat je de uitvoer vertrouwt. Ondersteuning voor matching volgens RFC 9309 is in 2026 aan CPython toegevoegd en zat voor het eerst in Python 3.13.14 en 3.14.5. Oudere releases, waaronder alle versies van 3.12 en eerder, passen de eerste passende regel in de volgorde van het bestand toe, niet de langste, en begrijpen * of $ in paden niet. Op die versies geeft het script de eerste en vierde test verkeerd om: Googlebot geblokkeerd voor /search/help/billing en OAI-SearchBot toegestaan om de pdf op te halen.

Nog twee verschillen gelden voor elke versie. RobotFileParser.read() behandelt een 401- of 403-respons voor robots.txt als alles uitgesloten, terwijl RFC 9309 zegt dat bij een 4xx alles mag worden opgehaald. En read() downloadt het bestand met de standaard user agent van Python, die sommige firewalls blokkeren, zodat een test geblokkeerd kan melden om redenen die niets met je regels te maken hebben. Als je het bestand zelf ophaalt en aan parse() doorgeeft, zoals hierboven, vermijd je beide.

Waarom slaagt een robots.txt-test terwijl de crawler nog steeds wordt geblokkeerd?

Een tester beantwoordt één vraag: staan de regels deze URL toe? Verschillende dingen vallen buiten dat antwoord:

Hoe controleer ik robots.txt voor alle AI-crawlers tegelijk?

De gratis robots.txt-checker van AISeeWhy neemt een paginaadres of een geplakte robots.txt en laat voor elke AI- en zoekcrawler zien of die pagina mag worden opgehaald. De gratis robots.txt-generator schrijft een bestand op basis van je keuzes, en de gratis controle haalt de pagina op als 16 crawlers om te laten zien of een firewall blokkeert wat robots.txt toestaat.

Oplossingen voor dit probleem

Gratis tools

Volgende stappen

Crawlers in dit artikel

Veelgestelde vragen

Is er nog een robots.txt-tester in Google Search Console?

Nee. Google verving hem in november 2023 door het robots.txt-rapport, dat de bestanden toont die Google heeft opgehaald, met hun status en eventuele fouten. Gebruik de tool URL-inspectie om te controleren of Googlebot een specifieke URL mag crawlen.

Gaat Allow voor Disallow in robots.txt?

Alleen als de Allow-regel langer is, of precies even lang. De regel met het langste passende pad wint, van welke soort ook, en bij gelijke lengte wint Allow.

Is robots.txt hoofdlettergevoelig?

Gedeeltelijk. De waarde van User-agent wordt zonder onderscheid tussen hoofd- en kleine letters gematcht, dus gptbot en GPTBot noemen dezelfde groep. Paden zijn hoofdlettergevoelig, dus Disallow: /Private/ blokkeert /private/ niet.

Wat controleert een robots.txt-validator?

Een validator controleert of het bestand bereikbaar is, als tekst wordt geleverd en in geldige syntaxis is geschreven. Een tester gaat verder en geeft een oordeel voor een specifieke URL en crawler. Meestal heb je beide nodig, want een geldig bestand kan nog steeds een pagina blokkeren die je wilde toestaan.

Als een crawler een eigen groep heeft, volgt hij dan nog User-agent: *?

Nee. Een groep met een naam vervangt de groep * volledig voor die crawler. Elke regel die voor iedereen moet gelden, moet je in elke groep met een naam herhalen.

Bronnen

Meer artikelen