Sådan læser du Cloudflares AI Crawl Control-rapport og ser, hvilke AI-crawlere der slipper ind
Åbn AI Crawl Control i dit Cloudflare-dashboard: crawlerlisten viser alle AI-crawlere, Cloudflare har set på dit domæne, deres forespørgsler, deres overtrædelser af robots.txt, og om handlingen er Allow eller Block. Vil du beholde AI-søgning og samtidig sige nej til træning, så tillad søge- og agentcrawlere, og bloker eller forbyd træningscrawlere dér eller under AI Crawler and Agent access policies. Bekræft derefter udefra med curl, for andre Cloudflare-funktioner kan stadig blokere en crawler, du har tilladt.
Cloudflare har nu to steder, der afgør, hvad AI-crawlere modtager: AI Crawl Control, rapporten og kontrolpanelet pr. crawler, der tidligere hed AI Audit, og AI Crawler and Agent access policies for hele zonen under Security-indstillingerne. Begge findes på Free-planen, begge ændrede sig i løbet af 2026, og ingen af dem fortæller dig om alle de andre funktioner, der stadig kan svare en crawler med en 403. Denne guide gennemgår rapporten kolonne for kolonne, viser, hvor du tillader og blokerer, og slutter med en test, du kan køre fra din egen maskine.
På denne side
- Hvor finder jeg rapporten om AI-crawlere i Cloudflare?
- Hvad betyder hver kolonne og måling i AI Crawl Control-rapporten?
- Hvordan tillader jeg AI-søgecrawlere og blokerer træningscrawlere i Cloudflare?
- Hvad er ændret i Cloudflares standardindstillinger for AI-crawlere?
- Hvorfor blokerer Cloudflare stadig AI-crawlere, efter at jeg har tilladt dem?
- Hvordan bekræfter jeg udefra, hvilke AI-crawlere Cloudflare lukker ind?
- Hvordan tjekker AISeeWhy, hvad Cloudflare sender til AI-crawlere?
Hvor finder jeg rapporten om AI-crawlere i Cloudflare?
Vælg din konto og dit domæne i dashboardet, og åbn AI Crawl Control. Cloudflare siger, at den virker uden konfiguration og findes på alle planer, så længe dit domænes trafik går gennem Cloudflares proxy. Den har fire områder:
- Overview: et overblik med det samlede antal forespørgsler, ændringen i volumen, den hyppigste statuskode, den mest populære sti og crawlere med stor volumen, samt om Cloudflares administrerede robots.txt er slået til, og crawlere grupperet efter operatør som OpenAI, Microsoft, Google, ByteDance, Anthropic og Meta.
- Crawlerlisten: én række pr. AI-crawler med en Action-kolonne, hvor du vælger Allow eller Block. Cloudflares dokumentation kalder fanen Crawlers på én side og Security på en anden, så kig efter tabellen med kolonnen Action.
- Metrics: forespørgsler over tid, fordeling af statuskoder, indholdsformat, mest populære stier og, på betalte planer, henvisninger. Filtrene dækker datointerval, crawler, operatør, hostnavn og sti, og du kan eksportere en CSV.
- Directives: tilstanden af din robots.txt-fil og listen over overtrædelser af robots.txt.
To planbegrænsninger betyder noget, når du læser tallene. På Free-planen genkender AI Crawl Control kun crawlere på deres user agent-streng, så den ser crawlere, der giver sig til kende, og intet andet, og fanen Metrics dækker de seneste 24 timer. Betalte planer tilføjer genkendelse via Bot Managements detection ID, og Enterprise med Bot Management får tidsrammer, der kan konfigureres.
Hvad betyder hver kolonne og måling i AI Crawl Control-rapporten?
Cloudflare dokumenterer felterne sådan. Definitionerne betyder noget, for flere af tallene tæller mere, end man skulle tro.
- Crawler og Category: crawlerens navn, dens operatør og dens kategori, f.eks. AI crawler, AI assistant eller archiver.
- Requests: tilladte plus mislykkede forespørgsler med en tendensgraf. Mislykkede forespørgsler kan skyldes en hvilken som helst regel eller svarfejl, ikke kun en blokering i AI Crawl Control, så et højt tal for en crawler, du har tilladt, peger på en anden regel eller på fejl på din origin-server.
- Allowed requests: forespørgsler, der fik en status mellem 200 og 299. Dataoverførsel måles ud fra de bytes, Cloudflare har sendt for tilladte forespørgsler.
- Robots.txt violations: hvor mange gange crawleren har anmodet om en sti, som din robots.txt forbyder. Cloudflare sammenligner tidligere forespørgsler med dine nuværende regler, så en regel, du tilføjer i dag, kan markere forespørgsler, der var tilladt, da de blev foretaget.
- Action: Allow, Block eller, for konti i betaen af pay per crawl, Charge.
- Fordeling af statuskoder: 2xx, 3xx, 4xx og 5xx. Gruppen 4xx omfatter 403 fra blokeringer og 402 fra pay per crawl.
- Henvisninger og topreferrers, kun på betalte planer: besøg, der kom fra AI-tjenester, f.eks. fra chatgpt.com, og de sider, de landede på.
Læs rapporten ud fra den handling, du har valgt. En crawler, der står på Allow, bør vise mest tilladte forespørgsler og 2xx-koder. Hvis den viser mange mislykkede forespørgsler, så åbn fordelingen af statuskoder filtreret på den crawler, og tjek Security Analytics for at finde den regel, der svarede.
Hvordan tillader jeg AI-søgecrawlere og blokerer træningscrawlere i Cloudflare?
Du kan gøre det pr. crawler eller efter adfærd. Pr. crawler åbner du AI Crawl Control og sætter Action for hver række. Cloudflare siger, at en blokering dér opretter eller opdaterer en brugerdefineret WAF-regel i din zone, som du kan udvide i WAF'en med undtagelser for stier. På betalte planer kan du vælge, om blokerede crawlere får en 403 eller en 402, og angive en brødtekst i almindelig tekst.
Efter adfærd går du til Security, derefter Settings, filtrerer på Bot traffic og åbner AI Crawler and Agent access policies. Cloudflare inddeler AI-trafik i tre typer adfærd, og hver politik gælder for verificerede bots med den adfærd og for matchende ikke-verificerede bots:
- Search: indsamling eller indeksering af indhold, så det senere kan besvare spørgsmål.
- Agent: handling i realtid på en persons vegne, f.eks. hentninger fra chats og browseragenter.
- Training: indsamling af indhold til at træne eller finjustere modeller, herunder crawlere, der bruges til både træning og søgning.
Hver adfærd kan sættes til Block, Block on pages with ads eller Allow (do not block). Training har også Disallow, som kun beder crawlerne om det via robots.txt. Med Bot Preference Sync slået til indsætter Cloudflare øverst i din robots.txt administrerede regler, der forbyder Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot og meta-externalagent, tilføjer en Content Signals-linje og blokerer også AI-træningscrawlere på edge, undtagen crawlere, der bruges til både søgning og træning.
For de fleste websites, der vil citeres af AI, er den sikre kombination Search og Agent på Allow og Training på Disallow, efterfulgt af enkelte Block-handlinger i AI Crawl Control for rene træningscrawlere, du vil stoppe på edge.
Hvad er ændret i Cloudflares standardindstillinger for AI-crawlere?
Den 1. juli 2025 meddelte Cloudflare, at standarden blev ændret til at blokere AI-crawlere, medmindre de betaler indholdsskaberne. Den 1. juli 2026 erstattede Cloudflare den ene Block AI bots-kontakt med de separate politikker Search, Agent og Training, der er beskrevet ovenfor, for alle planer inklusive Free. Samme meddelelse sagde, at nye domæner, der blev tilføjet fra den 15. september 2026, ville få Training og Agent blokeret på sider med annoncer og Search tilladt.
Cloudflares nuværende dokumentation af politikkerne, senest opdateret den 2. november 2026, siger, at nye domæner som standard har Allow (do not block) for alle tre typer adfærd. Da Cloudflares egne sider har beskrevet forskellige standarder på forskellige tidspunkter, skal du ikke stole på nogen af dem for din zone: åbn politiksiden, og læs, hvad der er indstillet.
Hvorfor blokerer Cloudflare stadig AI-crawlere, efter at jeg har tilladt dem?
Handlingen Allow i AI Crawl Control forhindrer kun AI Crawl Control i at blokere. Andre funktioner handler stadig på forespørgslen. Almindelige årsager:
- Når du blokerer Training, blokerer du også søgecrawlere, der gør begge dele. Cloudflares dokumentation siger, at Training-handlinger gælder for crawlere med blandet formål, og meddelelsen fra juli 2026 nævner Googlebot, Applebot og bingbot som crawlere, som kunder, der blokerer Training, vil blokere fra den 15. september 2026. Disallow er det smallere valg, fordi dens blokering på edge springer crawlere med blandet formål over.
- Bot Fight Mode er slået til. Cloudflare oplyser, at du ikke kan omgå eller springe Bot Fight Mode over med brugerdefinerede WAF-regler eller Page Rules. Hvis den udfordrer en crawler, så slå den fra, eller brug Super Bot Fight Mode på en plan, der har den, for den understøtter skip-regler.
- En ældre brugerdefineret WAF-regel blokerer user agents, der indeholder
bot, eller en rate limiting-regel svarer på spidsbelastninger med 429. De kører uanset Action i AI Crawl Control. - Blokeringsreglen er redigeret manuelt. Hvis WAF-reglen bag AI Crawl Control er ændret til en anden svarkode, kan dashboardet ikke længere håndhæve dit valg.
- robots.txt forbyder stadig crawleren. Cloudflares Allow ændrer ikke din robots.txt, så en høflig crawler holder sig væk alligevel. I vores undersøgelse af de 1.000 mest populære domæner blokerede 98 af de 155 websites, der blokerede en AI-træningscrawler i robots.txt, også mindst én AI-søge- eller brugercrawler.
Hvordan bekræfter jeg udefra, hvilke AI-crawlere Cloudflare lukker ind?
Hent den samme side med en browsers user agent og med hver crawlers user agent, og sammenlign status og størrelse. Strengene fra OpenAI, Perplexity og Google nedenfor er dem, de pågældende virksomheder offentliggør.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" En crawlerlinje med 403, 429 eller 503 eller en meget mindre størrelse end browserlinjen betyder, at noget foran din origin-server har svaret anderledes. På Free-planen genkender AI Crawl Control crawlere på user agent, så denne test er et rimeligt tjek af dens blokeringer. Regler baseret på verificeret bot-status eller bot-scores kan behandle din forespørgsel anderledes end den rigtige crawler, fordi den kommer fra din IP-adresse og ikke fra operatørens offentliggjorte intervaller. Efter testen kan du finde dine egne forespørgsler i Security Analytics og se, hvilken regel der matchede.
Hvordan tjekker AISeeWhy, hvad Cloudflare sender til AI-crawlere?
Det gratis AISeeWhy-tjek henter din side som 16 AI- og søgecrawlere ved siden af en rigtig browser, anvender din robots.txt pr. crawler og genkender firewallens udfordringssider, så du kan se, om resultatet i Cloudflares dashboard stemmer med det, crawlerne faktisk modtager.
Rettelser til dette problem
Næste skridt
- robots.txt-tester og -tjek til AI-crawlere
- IP-tjek af AI-crawlere
- Se et eksempel på en fuld rapport
- Overvågning af AI-crawlere
- Planer og priser
Crawlere i denne artikel
Ofte stillede spørgsmål
Er Cloudflare AI Crawl Control gratis?
Ja. Cloudflare angiver, at AI Crawl Control findes på alle planer. Free-planen genkender kun crawlere på user agent og viser de seneste 24 timer i Metrics; henvisningsdata og brugerdefinerede blokeringssvar kræver en betalt plan.
Hvad skete der med Cloudflare AI Audit?
Den fik nyt navn. Cloudflares dokumentation beskriver AI Crawl Control som det tidligere AI Audit med samme formål: at se, hvilke AI-crawlere der besøger, og vælge en handling for hver.
Ændrer en blokering af en crawler i AI Crawl Control min robots.txt?
Nej. En Block-handling opretter eller opdaterer en brugerdefineret WAF-regel. robots.txt ændres kun, hvis du bruger muligheden Disallow for Training med Bot Preference Sync, som indsætter Cloudflares administrerede regler øverst i din fil.
Hvad tæller som en overtrædelse af robots.txt i Cloudflare?
En forespørgsel fra en AI-crawler til en sti, som din robots.txt forbyder. Cloudflare sammenligner tidligere forespørgsler med dine nuværende regler, så en ny regel kan markere ældre forespørgsler, der var tilladt dengang.
Hvad er pay per crawl?
En Charge-handling, der beder AI-crawlere betale pr. forespørgsel og ellers svarer med HTTP 402 og en pris. Cloudflare beskriver den som en lukket beta, og blokeringer fra WAF eller Bot Management har forrang.
Kilder
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11