Zo lees je het rapport van AI Crawl Control in Cloudflare en zie je welke AI-crawlers binnenkomen
Open AI Crawl Control in je Cloudflare-dashboard: de crawlerlijst toont elke AI-crawler die Cloudflare op je domein heeft gezien, met zijn verzoeken, zijn overtredingen van robots.txt en of de actie Allow of Block is. Wil je in AI-zoeken blijven maar training weigeren, laat dan zoek- en agentcrawlers toe en blokkeer of weiger trainingscrawlers daar of onder AI Crawler and Agent access policies. Controleer het daarna van buitenaf met curl, want andere functies van Cloudflare kunnen een crawler die je hebt toegestaan nog steeds blokkeren.
Cloudflare heeft nu twee plekken die bepalen wat AI-crawlers krijgen: AI Crawl Control, het rapport en schakelpaneel per crawler dat vroeger AI Audit heette, en de AI Crawler and Agent access policies voor de hele zone onder de beveiligingsinstellingen. Beide zijn beschikbaar in het gratis abonnement, beide zijn in 2026 veranderd, en geen van beide vertelt je over alle andere functies die een crawler nog met een 403 kunnen beantwoorden. Deze gids loopt het rapport kolom voor kolom door, laat zien waar je toestaan en blokkeren instelt en eindigt met een test die je vanaf je eigen computer kunt uitvoeren.
Op deze pagina
- Waar staat het AI-crawlerrapport in Cloudflare?
- Wat betekent elke kolom en meetwaarde in het rapport van AI Crawl Control?
- Hoe laat ik AI-zoekcrawlers toe en blokkeer ik trainingscrawlers in Cloudflare?
- Wat is er veranderd aan de standaardinstellingen van Cloudflare voor AI-crawlers?
- Waarom blokkeert Cloudflare AI-crawlers nog steeds nadat ik ze heb toegestaan?
- Hoe controleer ik van buitenaf welke AI-crawlers Cloudflare binnenlaat?
- Hoe controleert AISeeWhy wat Cloudflare naar AI-crawlers stuurt?
Waar staat het AI-crawlerrapport in Cloudflare?
Kies in het dashboard je account en domein en open dan AI Crawl Control. Volgens Cloudflare werkt het zonder configuratie en is het beschikbaar in alle abonnementen, zolang het verkeer van je domein via Cloudflare wordt geproxied. Het heeft vier onderdelen:
- Overview: een samenvatting met het totaal aantal verzoeken, de verandering in volume, de meest voorkomende statuscode, het populairste pad en crawlers met veel verkeer, plus of de beheerde robots.txt van Cloudflare aanstaat, en crawlers gegroepeerd per beheerder, zoals OpenAI, Microsoft, Google, ByteDance, Anthropic en Meta.
- De crawlerlijst: één rij per AI-crawler, met een kolom Action waarin je Allow of Block kiest. De documentatie van Cloudflare noemt dit tabblad op de ene pagina Crawlers en op een andere Security, dus zoek de tabel met de kolom Action.
- Metrics: verzoeken door de tijd, verdeling van statuscodes, contentformaat, populairste paden en, in betaalde abonnementen, verwijzingen. Je kunt filteren op periode, crawler, beheerder, hostnaam en pad, en een CSV exporteren.
- Directives: de gezondheid van je robots.txt-bestand en de lijst met overtredingen van robots.txt.
Twee beperkingen van het abonnement zijn belangrijk als je de cijfers leest. In het gratis abonnement herkent AI Crawl Control crawlers alleen aan hun user-agent-string, dus het ziet crawlers die zichzelf bekendmaken en verder niets, en het tabblad Metrics beslaat de afgelopen 24 uur. Betaalde abonnementen voegen detectie via de detectie-ID van Bot Management toe, en Enterprise met Bot Management krijgt instelbare periodes.
Wat betekent elke kolom en meetwaarde in het rapport van AI Crawl Control?
Cloudflare documenteert de velden als volgt. De definities zijn belangrijk, want verschillende getallen tellen meer dan je zou verwachten.
- Crawler en Category: de naam van de crawler, de beheerder en de categorie, zoals AI-crawler, AI-assistent of archiver.
- Requests: toegestane plus mislukte verzoeken, met een trendgrafiek. Mislukte verzoeken kunnen komen door elke regel of responsfout, niet alleen door een blokkade in AI Crawl Control, dus een hoog getal bij een crawler die je hebt toegestaan wijst op een andere regel of op fouten op je origin.
- Allowed requests: verzoeken die een status tussen 200 en 299 kregen. Het dataverkeer wordt gemeten aan de bytes die Cloudflare voor toegestane verzoeken heeft verstuurd.
- Robots.txt violations: hoe vaak de crawler een pad heeft opgevraagd dat je robots.txt uitsluit. Cloudflare vergelijkt eerdere verzoeken met je huidige regels, dus een regel die je vandaag toevoegt, kan verzoeken markeren die op het moment zelf waren toegestaan.
- Action: Allow, Block of, voor accounts in de bèta van pay per crawl, Charge.
- Status code distribution: 2xx, 3xx, 4xx en 5xx. De groep 4xx bevat 403 van blokkades en 402 van pay per crawl.
- Referrals en top referrers, alleen in betaalde abonnementen: bezoeken die van AI-diensten kwamen, bijvoorbeeld van chatgpt.com, en de pagina's waarop ze binnenkwamen.
Lees het rapport vanuit de actie die je hebt gekozen. Een crawler op Allow hoort vooral toegestane verzoeken en 2xx-codes te tonen. Toont hij veel mislukte verzoeken, open dan de verdeling van statuscodes gefilterd op die crawler en kijk in Security Analytics welke regel heeft geantwoord.
Hoe laat ik AI-zoekcrawlers toe en blokkeer ik trainingscrawlers in Cloudflare?
Dat kan per crawler of per gedrag. Per crawler open je AI Crawl Control en stel je de Action voor elke rij in. Cloudflare zegt dat blokkeren daar een aangepaste WAF-regel op je zone aanmaakt of bijwerkt, die je in de WAF kunt uitbreiden met uitzonderingen voor paden. In betaalde abonnementen kun je kiezen of geblokkeerde crawlers een 403 of een 402 krijgen en een body in platte tekst instellen.
Per gedrag ga je naar Security en dan Settings, filter je op Bot traffic en open je AI Crawler and Agent access policies. Cloudflare deelt AI-verkeer in drie soorten gedrag in, en elk beleid geldt voor geverifieerde bots met dat gedrag en voor passende niet-geverifieerde bots:
- Search: content verzamelen of indexeren om later vragen te kunnen beantwoorden.
- Agent: in realtime handelen namens een persoon, zoals ophaalacties vanuit een chat en browseragents.
- Training: content verzamelen om modellen te trainen of fine-tunen, inclusief crawlers die zowel voor training als voor zoeken worden gebruikt.
Elk gedrag kan op Block, Block on pages with ads of Allow (do not block) worden gezet. Training heeft ook Disallow, dat crawlers alleen via robots.txt een verzoek doet. Met Bot Preference Sync aan zet Cloudflare beheerde regels vooraan in je robots.txt die Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot en meta-externalagent uitsluiten, voegt het een regel Content Signals toe en blokkeert het AI-trainingscrawlers ook aan de edge, behalve crawlers die voor zowel zoeken als training worden gebruikt.
Voor de meeste sites die AI-citaties willen, is de veilige combinatie Search en Agent op Allow en Training op Disallow, met daarna afzonderlijke Block-acties in AI Crawl Control voor crawlers die alleen voor training zijn en die je aan de edge wilt tegenhouden.
Wat is er veranderd aan de standaardinstellingen van Cloudflare voor AI-crawlers?
Op 1 juli 2025 kondigde Cloudflare aan dat het de standaard veranderde naar het blokkeren van AI-crawlers, tenzij ze makers betalen. Op 1 juli 2026 verving het de enkele schakelaar Block AI bots door de aparte beleidsregels Search, Agent en Training die hierboven zijn beschreven, voor alle abonnementen, ook het gratis abonnement. Dezelfde aankondiging zei dat nieuwe domeinen die vanaf 15 september 2026 worden toegevoegd Training en Agent geblokkeerd zouden hebben op pagina's met advertenties, met Search toegestaan.
De huidige beleidsdocumentatie van Cloudflare, voor het laatst bijgewerkt op 2 november 2026, zegt dat nieuwe domeinen voor alle drie soorten gedrag standaard op Allow (do not block) staan. Omdat Cloudflares eigen pagina's op verschillende momenten verschillende standaarden hebben beschreven, kun je voor je zone op geen van beide vertrouwen: open de beleidspagina en lees wat er is ingesteld.
Waarom blokkeert Cloudflare AI-crawlers nog steeds nadat ik ze heb toegestaan?
De actie Allow in AI Crawl Control zorgt er alleen voor dat AI Crawl Control niet blokkeert. Andere functies werken nog steeds op het verzoek in. Veelvoorkomende oorzaken:
- Training blokkeren blokkeert ook zoekcrawlers die beide doen. De documentatie van Cloudflare zegt dat acties voor Training gelden voor crawlers met een gemengd doel, en de aankondiging van juli 2026 noemt Googlebot, Applebot en bingbot als crawlers die klanten die Training blokkeren vanaf 15 september 2026 zullen blokkeren. Disallow is de smallere keuze, omdat de blokkade aan de edge crawlers met een gemengd doel overslaat.
- Bot Fight Mode staat aan. Cloudflare stelt dat je Bot Fight Mode niet kunt omzeilen of overslaan met aangepaste WAF-regels of Page Rules. Als het een crawler een challenge geeft, zet het dan uit, of gebruik in een abonnement dat het heeft Super Bot Fight Mode, dat skip-regels ondersteunt.
- Een oudere aangepaste WAF-regel blokkeert user agents die
botbevatten, of een rate-limitingregel beantwoordt pieken met 429. Die werken los van de Action in AI Crawl Control. - De blokkeerregel is met de hand aangepast. Als de WAF-regel achter AI Crawl Control naar een andere responscode is gewijzigd, kan het dashboard je keuze niet meer afdwingen.
- robots.txt sluit de crawler nog steeds uit. Allow in Cloudflare verandert je robots.txt niet, dus een beleefde crawler blijft toch weg. In ons onderzoek naar de 1.000 populairste domeinen blokkeerden 98 van de 155 sites die een AI-trainingscrawler in robots.txt blokkeerden ook minstens één AI-zoek- of gebruikerscrawler.
Hoe controleer ik van buitenaf welke AI-crawlers Cloudflare binnenlaat?
Vraag dezelfde pagina op met de user agent van een browser en met de user agent van elke crawler, en vergelijk status en grootte. De strings van OpenAI, Perplexity en Google hieronder zijn de strings die die bedrijven publiceren.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Een crawlerregel met 403, 429 of 503, of een veel kleinere grootte dan de browserregel, betekent dat iets vóór je origin anders heeft geantwoord. In het gratis abonnement herkent AI Crawl Control crawlers aan de user agent, dus deze test is een redelijke controle van de blokkades. Regels op basis van de status als geverifieerde bot of van botscores kunnen je verzoek anders behandelen dan de echte crawler, omdat het van jouw IP-adres komt en niet uit de gepubliceerde bereiken van de beheerder. Zoek na het testen je eigen verzoeken op in Security Analytics om te zien welke regel van toepassing was.
Hoe controleert AISeeWhy wat Cloudflare naar AI-crawlers stuurt?
De gratis controle van AISeeWhy vraagt je pagina op als 16 AI- en zoekcrawlers naast een echte browser, past je robots.txt per crawler toe en herkent challenge-pagina's van firewalls, zodat je ziet of het resultaat in het dashboard van Cloudflare overeenkomt met wat crawlers echt ontvangen.
Oplossingen voor dit probleem
Volgende stappen
- robots.txt tester en checker voor AI-crawlers
- IP-controle voor AI-crawlers
- Bekijk een voorbeeld van een volledig rapport
- AI-crawlermonitoring
- Abonnementen en prijzen
Crawlers in dit artikel
Veelgestelde vragen
Is AI Crawl Control van Cloudflare gratis?
Ja. Cloudflare vermeldt AI Crawl Control als beschikbaar in alle abonnementen. Het gratis abonnement herkent crawlers alleen aan de user agent en toont in Metrics de afgelopen 24 uur; verwijzingsgegevens en aangepaste blokkeerresponsen vereisen een betaald abonnement.
Wat is er gebeurd met AI Audit van Cloudflare?
Het heeft een nieuwe naam gekregen. De documentatie van Cloudflare beschrijft AI Crawl Control als het vroegere AI Audit, met hetzelfde doel: zien welke AI-crawlers langskomen en voor elke crawler een actie instellen.
Verandert het blokkeren van een crawler in AI Crawl Control mijn robots.txt?
Nee. Een Block-actie maakt een aangepaste WAF-regel aan of werkt die bij. robots.txt verandert alleen als je de optie Disallow voor Training gebruikt met Bot Preference Sync, dat de beheerde regels van Cloudflare vooraan in je bestand zet.
Wat telt in Cloudflare als overtreding van robots.txt?
Een verzoek van een AI-crawler naar een pad dat je robots.txt uitsluit. Cloudflare vergelijkt eerdere verzoeken met je huidige regels, dus een nieuwe regel kan oudere verzoeken markeren die op dat moment waren toegestaan.
Wat is pay per crawl?
Een Charge-actie die AI-crawlers vraagt per verzoek te betalen en anders antwoordt met HTTP 402 en een prijs. Cloudflare beschrijft het als een gesloten bèta, en blokkades van de WAF of Bot Management gaan ervoor.
Bronnen
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11