Blokkeert Cloudflare AI-crawlers? Zo kom je erachter en los je het op

Gepubliceerd 2026-11-12

Kort antwoord

Cloudflare en andere firewalls kunnen AI-crawlers beantwoorden met een 403, een 429 of een challenge-pagina “Just a moment...”, terwijl browsers de echte pagina krijgen, ook als robots.txt de crawler toestaat. Controleer het door de pagina op te vragen met de user agent van de crawler en sta AI-zoekcrawlers daarna toe in AI Crawl Control of met een WAF-skipregel.

Botbeveiliging bestaat om scrapers en misbruik tegen te houden, en dat doet ze goed. Het probleem is dat AI-zoekcrawlers ook bots zijn. Een beveiligingsinstelling die jaren geleden is aangezet, een rate limit of een brede regel tegen onbekende user agents kan de crawlers die jou citeren ongemerkt buitensluiten, terwijl je eigen bezoeken er helemaal normaal uitzien.

Op deze pagina

Waarom zou een firewall AI-crawlers blokkeren?
Hoe zie ik het verschil tussen een firewallblokkade en een robots.txt-blokkade?
Hoe sta ik AI-zoekcrawlers toe in Cloudflare?
En Bot Fight Mode?
Welke crawlers moet ik doorlaten?
Hoe herkent AISeeWhy firewallblokkades?

Waarom zou een firewall AI-crawlers blokkeren?

Firewalls beoordelen elk verzoek apart. Een crawler voert geen JavaScript-challenges uit, bewaart geen cookies zoals een browser en vraagt vaak veel pagina's achter elkaar op; hij kan er dus precies uitzien als het verkeer dat botbeveiliging moet tegenhouden. Veelvoorkomende oorzaken zijn:

Botbeveiligingsfuncties die verkeer dat past bij bekende botpatronen een challenge voorleggen. Bot Fight Mode van Cloudflare geeft bots bijvoorbeeld rekenintensieve challenges.
Aangepaste WAF-regels die user agents met woorden als “bot” of “crawler” blokkeren of een challenge geven, of die alleen een korte lijst zoekmachines toestaan.
Instellingen die AI-crawlers als categorie blokkeren. Cloudflare laat je beleid instellen voor Search-, Agent- en Training-crawlers, en een Block-instelling daar geldt voor alle drie.
Rate limiting die een snelle reeks verzoeken van een crawler met 429 beantwoordt.
Land- of ASN-blokkades die toevallig de netwerken omvatten waarvandaan crawlers werken.

Hoe zie ik het verschil tussen een firewallblokkade en een robots.txt-blokkade?

Een robots.txt-blokkade is een beleefd verzoek: de crawler leest je regels en haalt de pagina niet op. Een firewallblokkade is een antwoord: de crawler vraagt de pagina op en krijgt iets anders terug. Die tweede soort kun je direct zien. Vraag de pagina twee keer op, één keer met de user agent van een browser en één keer met die van de crawler, en vergelijk.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Tekenen van een firewallblokkade: status 403, 429 of 503 alleen voor de crawler; een pagina met de titel Just a moment... of Attention Required! | Cloudflare; een body die /cdn-cgi/challenge-platform bevat; of een 200-antwoord dat veel korter is dan dat voor de browser. Houd er rekening mee dat je test van je eigen IP komt en niet uit het geverifieerde IP-bereik van de crawler; hij laat dus zien hoe de firewall met de user agent omgaat, niet elk detail van hoe hij de echte crawler behandelt.

Hoe sta ik AI-zoekcrawlers toe in Cloudflare?

AI Crawl Control van Cloudflare, beschikbaar voor alle abonnementen, toont de AI-crawlers die je domein bezoeken en laat je per crawler een actie instellen. Open in het dashboard AI Crawl Control, ga naar de lijst Crawlers en kies per crawler Allow of Block in de kolom Action. Volgens Cloudflare maakt of wijzigt blokkeren daar een aangepaste WAF-regel in je zone.

Als een aangepaste WAF-regel, Super Bot Fight Mode of rate limiting de crawler blokkeert, voeg dan een aangepaste regel toe die die functies overslaat voor geverifieerde bots en voor het token van de crawler:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Zet de regel bovenaan. Let op dat matchen op de user agent ook iedereen doorlaat die die user agent vervalst. Gebruik waar mogelijk liever het veld voor geverifieerde bots (cf.client.bot) of de IP-bereiken die de aanbieder publiceert.

En Bot Fight Mode?

Cloudflare zegt in zijn documentatie uitdrukkelijk dat Bot Fight Mode niet kan worden omzeild of overgeslagen met aangepaste WAF-regels of Page Rules. Als deze functie de crawlers een challenge geeft, helpt een skipregel niet. Je kunt Bot Fight Mode uitzetten, of Super Bot Fight Mode gebruiken in een abonnement dat die heeft; die draait op de Ruleset Engine en ondersteunt skipregels.

Welke crawlers moet ik doorlaten?

Verdeel crawlers naar wat ze doen. Zoek- en gebruikerscrawlers bepalen of AI-antwoorden je kunnen vinden en citeren. Trainingscrawlers verzamelen data voor modellen; ze blokkeren is een legitieme keuze waarmee je niet uit AI-zoeken verdwijnt.

Zoeken: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
Ophalen door gebruikers: ChatGPT-User, Claude-User, Perplexity-User.
Training: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

De eigen beleidsinstellingen van Cloudflare gebruiken dezelfde indeling in Search, Agent en Training, dus je kunt de eerste twee toestaan en apart over de derde beslissen. Gebruik je een andere firewall of cdn, dan geldt hetzelfde principe: zet het token van de crawler op de allowlist, geverifieerd via de IP-bereiken die de aanbieder publiceert of, waar beschikbaar, via reverse DNS, zodat hij hetzelfde antwoord krijgt als een browser.

Hoe herkent AISeeWhy firewallblokkades?

AISeeWhy vraagt je pagina op als 14 crawlers en als normale browser, vergelijkt status, grootte en redirects, herkent challenge-pagina's en noemt de firewall of cdn die antwoordde. Staat robots.txt een crawler toe maar blokkeert de server hem, dan toont het rapport het conflict en geeft het de Cloudflare-regel of de allowlist-stap om het op te lossen.

Veelgestelde vragen

Blokkeert Cloudflare AI-crawlers standaard?

Dat hangt af van je account, je abonnement en de instellingen in je zone, en Cloudflare heeft deze opties in de loop van de tijd gewijzigd. Controleer AI Crawl Control en je botinstellingen en test met de user agent van de crawler in plaats van iets aan te nemen.

Waarom werkt mijn site in een browser maar niet voor crawlers?

Firewalls beoordelen elk verzoek apart. Een browser slaagt voor JavaScript-challenges en bewaart cookies; een crawler niet, dus die kan een challenge-pagina of een 403 krijgen die jij nooit ziet.

Is het veilig om AI-crawlers toe te staan in de WAF?

Een benoemde crawler toestaan is weinig riskant als je hem verifieert via de IP-bereiken van de aanbieder of het Verified Bot-signaal van Cloudflare. Regels die alleen op de user agent vertrouwen, laten ook iedereen door die hem kopieert.

Heeft de e-mailverhulling van Cloudflare invloed op AI-crawlers?

Ze vervangt e-mailadressen door een link die alleen een script decodeert, waardoor crawlers een placeholder zien in plaats van het adres. Wil je dat je contactadres leesbaar is, zet dan Email Address Obfuscation uit onder Scrape Shield en toon het adres als gewone tekst.