Zo rem je AI-crawlers af zonder ze te blokkeren
Begrens in plaats van te blokkeren. Beantwoord overtollige crawlerverzoeken met 429 of 503 en een Retry-After-header, geef elke crawler een eigen budget, houd /robots.txt buiten elke limiet en bedien crawlers vanuit de cache. Crawl-delay in robots.txt helpt alleen waar de beheerder het documenteert: Anthropic en Bing doen dat, Google zegt het niet te ondersteunen, en OpenAI en Perplexity noemen het niet. Laat de AI-zoekcrawlers toegelaten, anders verdwijn je ook uit de antwoorden die zij voeden.
Als een crawler duizenden verzoeken per uur stuurt, is de snelle oplossing Disallow: / of een firewallblokkade. Voor een trainingscrawler kan dat een redelijke keuze zijn. Voor OAI-SearchBot, Claude-SearchBot of PerplexityBot haalt het je pagina's weg uit de AI-antwoorden waarin je wilt verschijnen. Meestal kun je de belasting verlagen zonder dat op te geven, met signalen die crawlers al begrijpen: statuscodes, caching en, bij sommige beheerders, Crawl-delay.
Op deze pagina
- Welke crawler veroorzaakt de belasting echt?
- Werkt Crawl-delay voor AI-crawlers?
- Hoe remmen 429- en 503-antwoorden crawlers af?
- Hoe stel ik een rate limit in voor AI-crawlers?
- Kan caching de crawlbelasting verlagen?
- Wat moet ik vermijden bij het afremmen van crawlers?
- Hoe controleer ik of crawlers er nog door komen?
Welke crawler veroorzaakt de belasting echt?
Kijk voordat je iets verandert. Tel in je toegangslogs de verzoeken per user agent en per uur, en controleer de bron-IP's aan de hand van de bereiken die elke aanbieder publiceert; onze gids over het controleren van serverlogs op AI-crawlers heeft de commando's. Twee bevindingen komen vaak voor:
- Het zware verkeer beweert alleen een AI-crawler te zijn. Staan de IP's niet in de lijst van de aanbieder, dan helpen regels voor de echte crawler niet. Begrens of blokkeer dat verkeer dan op basis van de herkomst.
- Een echte crawler zit vast in een crawl trap, zoals eindeloze kalenderpagina's, filtercombinaties of sessie-ID's in URL's. De trap dichtzetten met
Disallow-regels voor die paden bespaart meer dan welke rate limit ook.
Sorteer crawlers ook op taak. Trainingscrawlers zoals GPTBot en ClaudeBot zijn niet de crawlers die je citeerbaar maken in AI-zoeken, dus als een van hen het probleem is, is uitsluiten een redelijke optie. De rest van deze gids gaat over crawlers die je wilt houden.
Werkt Crawl-delay voor AI-crawlers?
Crawl-delay maakt geen deel uit van RFC 9309, dus elke beheerder beslist zelf of hij het leest. Dit zegt de documentatie per november 2026:
- Anthropic: ondersteund. De helppagina zegt dat het de niet-standaard extensie
Crawl-delayondersteunt om crawlactiviteit te beperken, metCrawl-delay: 1in een groepClaudeBotals voorbeeld. - Microsoft Bing: ondersteund. Het webmasterblog van Bing beschrijft de waarde als een tijdvenster van 1 tot 30 seconden waarin
bingbothoogstens één pagina crawlt, en zegt dat een crawl-delay in robots.txt voorrang heeft op de crawlinstellingen in Bing Webmaster Tools. - Google: niet ondersteund. De robots.txt-documentatie van Google noemt
crawl-delayals veld dat het niet ondersteunt. - OpenAI en Perplexity: hun crawlerpagina's noemen het niet, dus het effect op
GPTBot,OAI-SearchBotofPerplexityBotis niet gedocumenteerd.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ Let op de groepslogica. Een crawler die een groep met zijn eigen naam vindt, negeert de groep User-agent: * volledig, dus een groep ClaudeBot met alleen Crawl-delay laat elke Disallow vallen die je voor alle anderen hebt ingesteld. Herhaal ze, zoals hierboven. Bing beschrijft Crawl-delay als een uitzondering die het uit beide groepen leest, maar ga daar bij andere crawlers niet van uit.
Hoe remmen 429- en 503-antwoorden crawlers af?
Bij pieken in de belasting is de statuscode het signaal waar crawlers op zijn gebouwd. 429 Too Many Requests, gedefinieerd in RFC 6585, betekent dat de client in een bepaalde tijd te veel verzoeken stuurde, en kan een Retry-After-header bevatten die zegt hoe lang hij moet wachten. 503 Service Unavailable zegt dat de server het op dat moment niet aankan.
Google documenteert dit als de manier om de crawlsnelheid van Googlebot snel te verlagen: geef op een deel van de crawlverzoeken 500, 503 of 429 terug in plaats van 200. Het zegt dat dit de crawlsnelheid voor de hele hostnaam verlaagt, en dat Retry-After een aantal seconden of een datum kan bevatten.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. Houd het kort. Google raadt af dit langer dan een of twee dagen te doen, omdat een URL die deze codes meerdere dagen teruggeeft uit de index kan verdwijnen. Voor een blijvende verlaging biedt Google in plaats daarvan een speciaal verzoek via Search Console.
OpenAI, Anthropic en Perplexity documenteren niet hoe hun crawlers reageren op 429, 503 of Retry-After. De codes zijn de standaardmanier om om minder te vragen, maar hoe snel elke AI-crawler terugschakelt, kun je nergens opzoeken.
Hoe stel ik een rate limit in voor AI-crawlers?
Geef elke crawler een eigen budget in plaats van één limiet voor al het verkeer, en beantwoord verzoeken daarboven met 429. In nginx doet de module limit_req dit. Verzoeken met een lege sleutel worden niet geteld, dus een map die alleen voor user agents van crawlers een sleutel teruggeeft, laat menselijke bezoekers met rust. Hier krijgt elke crawler 60 verzoeken per minuut met een burst van 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} De sleutel is hier de user agent, dus iedereen die de naam van een crawler kopieert, deelt het budget van die crawler. Voor een rate limit is dat acceptabel. Voor een allow-regel match je ook de IP-bereiken die de aanbieder publiceert.
Bij Cloudflare doen rate limiting-regels hetzelfde aan de edge. Op het Free-abonnement krijg je één regel, geteld per IP over 10 seconden, en de expressie van de regel kan het pad en het veld Verified Bot gebruiken. Per IP tellen is grof voor crawlers die verzoeken over veel adressen spreiden, en hogere abonnementen bieden meer telopties. Het standaardantwoord is 429, en je kunt een andere 4xx-code en een eigen body instellen. AI Crawl Control biedt per crawler Allow, Block en, in een private bèta, Charge, maar geen snelheidsinstelling.
Wat je ook gebruikt, houd /robots.txt buiten de limiet. RFC 9309 zegt dat een serverfout voor robots.txt betekent dat de crawler moet aannemen dat de hele site verboden is, en Google sluit 429 uit van de 4xx-codes die het als een ontbrekend bestand behandelt.
Kan caching de crawlbelasting verlagen?
Vaak meer dan een rate limit. Crawlers vragen vooral openbare pagina's op die voor elke bezoeker gelijk zijn, dus als je die vanuit een cdn of paginacache serveert, worden dure renders goedkope hits. Controleer dat je cache geen aparte, niet-gecachte variant voor user agents van crawlers bijhoudt.
Voorwaardelijke verzoeken helpen ook. Google zegt dat zijn crawlers HTTP-caching ondersteunen met ETag en If-None-Match, en met Last-Modified en If-Modified-Since, en ETag gebruiken als beide aanwezig zijn. De crawlerpagina's van OpenAI, Anthropic en Perplexity zeggen niet of hun crawlers voorwaardelijke verzoeken sturen, dus reken alleen bij Google op die besparing.
Wat moet ik vermijden bij het afremmen van crawlers?
- De IP-bereiken van een aanbieder in de firewall blokkeren. Anthropic waarschuwt dat dit mogelijk niet goed werkt of een opt-out niet in stand houdt, omdat het zijn bots verhindert je robots.txt te lezen.
- Dagenlang
5xxof429teruggeven. Google zegt dat URL's die die codes blijven geven uit de index kunnen verdwijnen. - Botbescherming als rem gebruiken. Bot Fight Mode van Cloudflare geeft bots rekenintensieve challenges en kan niet worden overgeslagen met aangepaste WAF-regels, dus je kunt de crawlers die je wilt houden niet uitzonderen.
- Een zoekcrawler uitsluiten om bandbreedte te besparen. Een
DisallowvoorOAI-SearchBot,Claude-SearchBotofPerplexityBothaalt je uit de antwoorden die die crawlers voeden.
Hoe controleer ik of crawlers er nog door komen?
Rate limits stel je makkelijk te streng in. De gratis controle van AISeeWhy haalt een pagina op als 16 AI- en zoekcrawlers naast een echte browser, past je robots.txt per crawler toe en herkent challenge-pagina's van firewalls, zodat een regel die crawlers anders antwoordt dan browsers zichtbaar wordt. Eén verzoek per crawler activeert geen verstandige limiet, en dat is precies de bedoeling: voer de controle uit na het wijzigen van regels om te bevestigen dat normale verzoeken nog doorkomen. De gratis IP-controle voor AI-crawlers vertelt je of een IP uit je logs echt bij GPTBot of een andere crawler hoort.
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- IP-controle voor AI-crawlers
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Ondersteunt Google Crawl-delay?
Nee. De robots.txt-documentatie van Google noemt crawl-delay bij de velden die het niet ondersteunt. Om Googlebot kort af te remmen, geef je op een deel van de verzoeken 503, 500 of 429 terug; voor een langere verlaging biedt Google een speciaal verzoek via Search Console.
Houdt ClaudeBot zich aan Crawl-delay?
Anthropic zegt dat het de niet-standaard extensie Crawl-delay ondersteunt. Zet die in een groep ClaudeBot en herhaal daar alle Disallow-regels uit je groep User-agent: *.
Ondersteunen GPTBot en PerplexityBot Crawl-delay?
De crawlerpagina's van OpenAI en Perplexity noemen Crawl-delay niet, dus het effect is niet gedocumenteerd. Gebruik een limiet aan de serverkant die overtollige verzoeken met 429 beantwoordt.
Schaadt een 429-antwoord mijn rankings?
Niet voor een korte periode. Google documenteert 429 en 503 als manier om het crawlen tijdelijk te verminderen, maar waarschuwt dat URL's die ze meerdere dagen teruggeven uit de index kunnen verdwijnen.
Moet ik GPTBot blokkeren om de belasting te verlagen?
Dat kan. OpenAI zegt dat GPTBot content crawlt die voor training kan worden gebruikt en dat elke robots.txt-instelling onafhankelijk is, dus uitsluiten haalt je niet uit ChatGPT-zoeken, dat OAI-SearchBot gebruikt. Controleer eerst je logs om zeker te weten dat de belasting van de adressen van OpenAI komt.
Bronnen
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP-caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers