Hoe test ik robots.txt-regels voor een URL en een specifieke crawler?
Om een URL voor één crawler te testen, zoek je de groep die het token van de crawler noemt (of User-agent: * als geen groep dat doet), verzamel je alle Allow- en Disallow-regels daarin die bij het URL-pad passen en pas je de langste toe; bij gelijke lengte wint Allow. Je kunt dat met de hand doen, met de opensourceparser van Google of met een checker die per crawler een oordeel geeft. De oude robots.txt-tester van Google in Search Console bestaat niet meer, en het robots.txt-rapport dat hem verving, toont wat Google heeft opgehaald, geen oordeel voor een URL.
Een robots.txt-bestand lijkt simpel tot je een eenduidig antwoord nodig hebt: mag GPTBot deze pagina ophalen, en mag OAI-SearchBot dat? Het antwoord hangt af van welke groep de crawler kiest en welke regel in die groep wint, en bij beide stappen gaat het makkelijk mis. Hier lees je hoe de matching volgens RFC 9309 werkt, met vier uitgewerkte voorbeelden en drie manieren om een bestand zelf te testen.
Op deze pagina
- Wat is er gebeurd met de robots.txt-tester in Google Search Console?
- Hoe beslist een crawler of een URL is toegestaan?
- Kun je een voorbeeld van een robots.txt-test laten zien?
- Hoe gebruik ik de opensource-robots.txt-parser van Google?
- Kan ik robots.txt testen met urllib.robotparser van Python?
- Waarom slaagt een robots.txt-test terwijl de crawler nog steeds wordt geblokkeerd?
- Hoe controleer ik robots.txt voor alle AI-crawlers tegelijk?
Wat is er gebeurd met de robots.txt-tester in Google Search Console?
In november 2023 voegde Google een robots.txt-rapport toe aan Search Console en kondigde aan dat de robots.txt-tester zou verdwijnen. Het rapport staat onder Instellingen en gaat alleen over de crawlers van Google. Het toont:
- De robots.txt-bestanden die Google heeft gevonden voor de 20 belangrijkste hosts van je property.
- De ophaalstatus van elk bestand (
Fetched,Not Fetched - Not found (404)ofNot Fetched - Any other reason), wanneer Google het voor het laatst heeft gecontroleerd en de grootte in bytes. - Problemen in het bestand. Google zegt dat fouten verhinderen dat een regel wordt gebruikt, en waarschuwingen niet.
- De versies die Google de afgelopen 30 dagen heeft opgehaald, en een knop om opnieuw crawlen aan te vragen nadat je het bestand hebt gerepareerd.
Het rapport neemt geen URL aan om toegestaan of geblokkeerd terug te geven. Om één URL voor Googlebot te controleren, verwijst Google naar de tool URL-inspectie, en voor lokaal testen naar zijn opensource-robots.txt-bibliotheek. Geen van beide zegt iets over AI-crawlers zoals GPTBot of ClaudeBot.
Hoe beslist een crawler of een URL is toegestaan?
RFC 9309, het Robots Exclusion Protocol, definieert de matching. Google documenteert hetzelfde gedrag voor zijn crawlers.
- Kies de groep. User-agent-matching is niet hoofdlettergevoelig. Als een of meer groepen het token van de crawler noemen, worden hun regels samengevoegd en wordt de groep
User-agent: *volledig genegeerd. Alleen een crawler zonder eigen groep volgt*. - Kies de regel. Van de
Allow- enDisallow-regels waarvan het pad bij de URL past, wint de regel met de meeste tekens. Als eenAllowen eenDisalloweven lang zijn, hoortAllowte winnen. - Lees de patronen.
*past op elke reeks tekens en$markeert het einde van de URL. Paden zijn hoofdlettergevoelig, dus/Admin/past niet op/admin/. - Geen passende regel betekent toegestaan.
/robots.txtzelf is altijd toegestaan.
De responscode van robots.txt telt net zo zwaar als de regels. Een 4xx-respons betekent dat de crawler alles mag ophalen; Google behandelt elke 4xx behalve 429 alsof er geen bestand is. Een 5xx-respons betekent dat de crawler moet aannemen dat de hele site is uitgesloten. Google stopt de eerste 12 uur met crawlen en gebruikt daarna tot 30 dagen de laatste goede kopie. RFC 9309 verplicht crawlers om minstens 500 KiB te verwerken, en Google negeert alles na 500 KiB.
Kun je een voorbeeld van een robots.txt-test laten zien?
Hier is een kleine robots.txt met een standaardgroep en twee AI-crawlers met een eigen groep:
Googleboten/search/help/billing: toegestaan. Er is geen groep voor Googlebot, dus de groep*geldt.Disallow: /searchenAllow: /search/helppassen allebei, en de regelAllowis langer.GPTBoten/blog/post: geblokkeerd. GPTBot heeft een eigen groep, enDisallow: /past op elk pad.OAI-SearchBoten/admin/settings: toegestaan. OAI-SearchBot heeft een eigen groep, dusDisallow: /admin/in de groep*geldt niet voor hem. Dit is de meest voorkomende verrassing; herhaal gedeelde regels in elke groep met een naam.OAI-SearchBoten/files/report.pdf: geblokkeerd.Allow: /past met één teken,Disallow: /*.pdf$met zeven, en de langere regel wint.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Gelijke lengtes komen minder vaak voor, maar volgen dezelfde logica. De documentatie van Google geeft het geval van allow: /folder en disallow: /folder voor de URL /folder/page: beide zijn even lang, dus de URL is toegestaan.
Hoe gebruik ik de opensource-robots.txt-parser van Google?
Google publiceert de C++-bibliotheek die het in productie gebruikt om robots.txt-regels te matchen, met een klein opdrachtregelprogramma om één URL en één user agent tegen een lokaal bestand te testen. Met Bazel geïnstalleerd:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed De repository documenteert ook een build met CMake, die een binary met de naam robots en dezelfde argumenten oplevert. De tool parseert en matcht alleen; hij downloadt robots.txt niet, dus sla eerst het live bestand op. De README merkt ook op dat crawlerspecifiek gedrag buiten parsen en matchen geen deel uitmaakt van de bibliotheek.
Kan ik robots.txt testen met urllib.robotparser van Python?
De standaardbibliotheek van Python bevat een parser die voor een user agent en een URL antwoordt met toegestaan of geblokkeerd. Dit script test het voorbeeld hierboven:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Controleer je Python-versie voordat je de uitvoer vertrouwt. Ondersteuning voor matching volgens RFC 9309 is in 2026 aan CPython toegevoegd en zat voor het eerst in Python 3.13.14 en 3.14.5. Oudere releases, waaronder alle versies van 3.12 en eerder, passen de eerste passende regel in de volgorde van het bestand toe, niet de langste, en begrijpen * of $ in paden niet. Op die versies geeft het script de eerste en vierde test verkeerd om: Googlebot geblokkeerd voor /search/help/billing en OAI-SearchBot toegestaan om de pdf op te halen.
Nog twee verschillen gelden voor elke versie. RobotFileParser.read() behandelt een 401- of 403-respons voor robots.txt als alles uitgesloten, terwijl RFC 9309 zegt dat bij een 4xx alles mag worden opgehaald. En read() downloadt het bestand met de standaard user agent van Python, die sommige firewalls blokkeren, zodat een test geblokkeerd kan melden om redenen die niets met je regels te maken hebben. Als je het bestand zelf ophaalt en aan parse() doorgeeft, zoals hierboven, vermijd je beide.
Waarom slaagt een robots.txt-test terwijl de crawler nog steeds wordt geblokkeerd?
Een tester beantwoordt één vraag: staan de regels deze URL toe? Verschillende dingen vallen buiten dat antwoord:
- Het live bestand verschilt van het bestand dat je hebt getest, of de crawler gebruikt nog een kopie uit de cache. RFC 9309 zegt dat crawlers een gecachte kopie niet langer dan 24 uur horen te gebruiken, en Google cachet in het algemeen tot 24 uur.
- De URL van robots.txt geeft een HTML-pagina of een fout terug. Een HTML-pagina met status 200 bevat geen geldige regels, en een 5xx-respons blokkeert de hele site.
- robots.txt is een verzoek, geen toegangscontrole. Een firewall, cdn of botbescherming kan de crawler nog steeds een 403 of een challenge-pagina geven.
Hoe controleer ik robots.txt voor alle AI-crawlers tegelijk?
De gratis robots.txt-checker van AISeeWhy neemt een paginaadres of een geplakte robots.txt en laat voor elke AI- en zoekcrawler zien of die pagina mag worden opgehaald. De gratis robots.txt-generator schrijft een bestand op basis van je keuzes, en de gratis controle haalt de pagina op als 16 crawlers om te laten zien of een firewall blokkeert wat robots.txt toestaat.
Oplossingen voor dit probleem
- robots.txt staat GPTBot toe, maar de server blokkeert het
- robots.txt verbiedt OAI-SearchBot
- robots.txt is een HTML-pagina
- robots.txt kan niet worden opgehaald
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Is er nog een robots.txt-tester in Google Search Console?
Nee. Google verving hem in november 2023 door het robots.txt-rapport, dat de bestanden toont die Google heeft opgehaald, met hun status en eventuele fouten. Gebruik de tool URL-inspectie om te controleren of Googlebot een specifieke URL mag crawlen.
Gaat Allow voor Disallow in robots.txt?
Alleen als de Allow-regel langer is, of precies even lang. De regel met het langste passende pad wint, van welke soort ook, en bij gelijke lengte wint Allow.
Is robots.txt hoofdlettergevoelig?
Gedeeltelijk. De waarde van User-agent wordt zonder onderscheid tussen hoofd- en kleine letters gematcht, dus gptbot en GPTBot noemen dezelfde groep. Paden zijn hoofdlettergevoelig, dus Disallow: /Private/ blokkeert /private/ niet.
Wat controleert een robots.txt-validator?
Een validator controleert of het bestand bereikbaar is, als tekst wordt geleverd en in geldige syntaxis is geschreven. Een tester gaat verder en geeft een oordeel voor een specifieke URL en crawler. Meestal heb je beide nodig, want een geldig bestand kan nog steeds een pagina blokkeren die je wilde toestaan.
Als een crawler een eigen groep heeft, volgt hij dan nog User-agent: *?
Nee. Een groep met een naam vervangt de groep * volledig voor die crawler. Elke regel die voor iedereen moet gelden, moet je in elke groep met een naam herhalen.
Bronnen
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py