Zo lees je het rapport van AI Crawl Control in Cloudflare en zie je welke AI-crawlers binnenkomen

Gepubliceerd

Kort antwoord

Open AI Crawl Control in je Cloudflare-dashboard: de crawlerlijst toont elke AI-crawler die Cloudflare op je domein heeft gezien, met zijn verzoeken, zijn overtredingen van robots.txt en of de actie Allow of Block is. Wil je in AI-zoeken blijven maar training weigeren, laat dan zoek- en agentcrawlers toe en blokkeer of weiger trainingscrawlers daar of onder AI Crawler and Agent access policies. Controleer het daarna van buitenaf met curl, want andere functies van Cloudflare kunnen een crawler die je hebt toegestaan nog steeds blokkeren.

Cloudflare heeft nu twee plekken die bepalen wat AI-crawlers krijgen: AI Crawl Control, het rapport en schakelpaneel per crawler dat vroeger AI Audit heette, en de AI Crawler and Agent access policies voor de hele zone onder de beveiligingsinstellingen. Beide zijn beschikbaar in het gratis abonnement, beide zijn in 2026 veranderd, en geen van beide vertelt je over alle andere functies die een crawler nog met een 403 kunnen beantwoorden. Deze gids loopt het rapport kolom voor kolom door, laat zien waar je toestaan en blokkeren instelt en eindigt met een test die je vanaf je eigen computer kunt uitvoeren.

Op deze pagina
  1. Waar staat het AI-crawlerrapport in Cloudflare?
  2. Wat betekent elke kolom en meetwaarde in het rapport van AI Crawl Control?
  3. Hoe laat ik AI-zoekcrawlers toe en blokkeer ik trainingscrawlers in Cloudflare?
  4. Wat is er veranderd aan de standaardinstellingen van Cloudflare voor AI-crawlers?
  5. Waarom blokkeert Cloudflare AI-crawlers nog steeds nadat ik ze heb toegestaan?
  6. Hoe controleer ik van buitenaf welke AI-crawlers Cloudflare binnenlaat?
  7. Hoe controleert AISeeWhy wat Cloudflare naar AI-crawlers stuurt?

Waar staat het AI-crawlerrapport in Cloudflare?

Kies in het dashboard je account en domein en open dan AI Crawl Control. Volgens Cloudflare werkt het zonder configuratie en is het beschikbaar in alle abonnementen, zolang het verkeer van je domein via Cloudflare wordt geproxied. Het heeft vier onderdelen:

Twee beperkingen van het abonnement zijn belangrijk als je de cijfers leest. In het gratis abonnement herkent AI Crawl Control crawlers alleen aan hun user-agent-string, dus het ziet crawlers die zichzelf bekendmaken en verder niets, en het tabblad Metrics beslaat de afgelopen 24 uur. Betaalde abonnementen voegen detectie via de detectie-ID van Bot Management toe, en Enterprise met Bot Management krijgt instelbare periodes.

Wat betekent elke kolom en meetwaarde in het rapport van AI Crawl Control?

Cloudflare documenteert de velden als volgt. De definities zijn belangrijk, want verschillende getallen tellen meer dan je zou verwachten.

Lees het rapport vanuit de actie die je hebt gekozen. Een crawler op Allow hoort vooral toegestane verzoeken en 2xx-codes te tonen. Toont hij veel mislukte verzoeken, open dan de verdeling van statuscodes gefilterd op die crawler en kijk in Security Analytics welke regel heeft geantwoord.

Hoe laat ik AI-zoekcrawlers toe en blokkeer ik trainingscrawlers in Cloudflare?

Dat kan per crawler of per gedrag. Per crawler open je AI Crawl Control en stel je de Action voor elke rij in. Cloudflare zegt dat blokkeren daar een aangepaste WAF-regel op je zone aanmaakt of bijwerkt, die je in de WAF kunt uitbreiden met uitzonderingen voor paden. In betaalde abonnementen kun je kiezen of geblokkeerde crawlers een 403 of een 402 krijgen en een body in platte tekst instellen.

Per gedrag ga je naar Security en dan Settings, filter je op Bot traffic en open je AI Crawler and Agent access policies. Cloudflare deelt AI-verkeer in drie soorten gedrag in, en elk beleid geldt voor geverifieerde bots met dat gedrag en voor passende niet-geverifieerde bots:

Elk gedrag kan op Block, Block on pages with ads of Allow (do not block) worden gezet. Training heeft ook Disallow, dat crawlers alleen via robots.txt een verzoek doet. Met Bot Preference Sync aan zet Cloudflare beheerde regels vooraan in je robots.txt die Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot en meta-externalagent uitsluiten, voegt het een regel Content Signals toe en blokkeert het AI-trainingscrawlers ook aan de edge, behalve crawlers die voor zowel zoeken als training worden gebruikt.

Voor de meeste sites die AI-citaties willen, is de veilige combinatie Search en Agent op Allow en Training op Disallow, met daarna afzonderlijke Block-acties in AI Crawl Control voor crawlers die alleen voor training zijn en die je aan de edge wilt tegenhouden.

Wat is er veranderd aan de standaardinstellingen van Cloudflare voor AI-crawlers?

Op 1 juli 2025 kondigde Cloudflare aan dat het de standaard veranderde naar het blokkeren van AI-crawlers, tenzij ze makers betalen. Op 1 juli 2026 verving het de enkele schakelaar Block AI bots door de aparte beleidsregels Search, Agent en Training die hierboven zijn beschreven, voor alle abonnementen, ook het gratis abonnement. Dezelfde aankondiging zei dat nieuwe domeinen die vanaf 15 september 2026 worden toegevoegd Training en Agent geblokkeerd zouden hebben op pagina's met advertenties, met Search toegestaan.

De huidige beleidsdocumentatie van Cloudflare, voor het laatst bijgewerkt op 2 november 2026, zegt dat nieuwe domeinen voor alle drie soorten gedrag standaard op Allow (do not block) staan. Omdat Cloudflares eigen pagina's op verschillende momenten verschillende standaarden hebben beschreven, kun je voor je zone op geen van beide vertrouwen: open de beleidspagina en lees wat er is ingesteld.

Waarom blokkeert Cloudflare AI-crawlers nog steeds nadat ik ze heb toegestaan?

De actie Allow in AI Crawl Control zorgt er alleen voor dat AI Crawl Control niet blokkeert. Andere functies werken nog steeds op het verzoek in. Veelvoorkomende oorzaken:

Hoe controleer ik van buitenaf welke AI-crawlers Cloudflare binnenlaat?

Vraag dezelfde pagina op met de user agent van een browser en met de user agent van elke crawler, en vergelijk status en grootte. De strings van OpenAI, Perplexity en Google hieronder zijn de strings die die bedrijven publiceren.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Een crawlerregel met 403, 429 of 503, of een veel kleinere grootte dan de browserregel, betekent dat iets vóór je origin anders heeft geantwoord. In het gratis abonnement herkent AI Crawl Control crawlers aan de user agent, dus deze test is een redelijke controle van de blokkades. Regels op basis van de status als geverifieerde bot of van botscores kunnen je verzoek anders behandelen dan de echte crawler, omdat het van jouw IP-adres komt en niet uit de gepubliceerde bereiken van de beheerder. Zoek na het testen je eigen verzoeken op in Security Analytics om te zien welke regel van toepassing was.

Hoe controleert AISeeWhy wat Cloudflare naar AI-crawlers stuurt?

De gratis controle van AISeeWhy vraagt je pagina op als 16 AI- en zoekcrawlers naast een echte browser, past je robots.txt per crawler toe en herkent challenge-pagina's van firewalls, zodat je ziet of het resultaat in het dashboard van Cloudflare overeenkomt met wat crawlers echt ontvangen.

Oplossingen voor dit probleem

Gratis tools

Volgende stappen

Crawlers in dit artikel

Veelgestelde vragen

Is AI Crawl Control van Cloudflare gratis?

Ja. Cloudflare vermeldt AI Crawl Control als beschikbaar in alle abonnementen. Het gratis abonnement herkent crawlers alleen aan de user agent en toont in Metrics de afgelopen 24 uur; verwijzingsgegevens en aangepaste blokkeerresponsen vereisen een betaald abonnement.

Wat is er gebeurd met AI Audit van Cloudflare?

Het heeft een nieuwe naam gekregen. De documentatie van Cloudflare beschrijft AI Crawl Control als het vroegere AI Audit, met hetzelfde doel: zien welke AI-crawlers langskomen en voor elke crawler een actie instellen.

Verandert het blokkeren van een crawler in AI Crawl Control mijn robots.txt?

Nee. Een Block-actie maakt een aangepaste WAF-regel aan of werkt die bij. robots.txt verandert alleen als je de optie Disallow voor Training gebruikt met Bot Preference Sync, dat de beheerde regels van Cloudflare vooraan in je bestand zet.

Wat telt in Cloudflare als overtreding van robots.txt?

Een verzoek van een AI-crawler naar een pad dat je robots.txt uitsluit. Cloudflare vergelijkt eerdere verzoeken met je huidige regels, dus een nieuwe regel kan oudere verzoeken markeren die op dat moment waren toegestaan.

Wat is pay per crawl?

Een Charge-actie die AI-crawlers vraagt per verzoek te betalen en anders antwoordt met HTTP 402 en een prijs. Cloudflare beschrijft het als een gesloten bèta, en blokkades van de WAF of Bot Management gaan ervoor.

Bronnen

Meer artikelen