Slik leser du rapporten i Cloudflare AI Crawl Control og ser hvilke AI-crawlere som slipper inn
Åpne AI Crawl Control i Cloudflare-dashbordet: crawlerlisten viser alle AI-crawlere Cloudflare har sett på domenet ditt, forespørslene deres, brudd på robots.txt og om handlingen er Allow eller Block. For å beholde AI-søk og samtidig si nei til trening tillater du søke- og agentcrawlere og blokkerer eller avviser treningscrawlere der eller under AI Crawler and Agent access policies. Bekreft deretter utenfra med curl, fordi andre Cloudflare-funksjoner fortsatt kan blokkere en crawler du har tillatt.
Cloudflare har nå to steder som bestemmer hva AI-crawlere får: AI Crawl Control, rapporten og bryterpanelet per crawler som tidligere het AI Audit, og retningslinjene AI Crawler and Agent access policies for hele sonen under sikkerhetsinnstillingene. Begge er tilgjengelige i gratisplanen, begge ble endret i løpet av 2026, og ingen av dem forteller deg om alle de andre funksjonene som fortsatt kan svare en crawler med 403. Denne guiden går gjennom rapporten kolonne for kolonne, viser hvor du stiller inn tillat og blokker, og avslutter med en test du kan kjøre fra din egen maskin.
På denne siden
- Hvor er rapporten om AI-crawlere i Cloudflare?
- Hva betyr hver kolonne og hvert tall i rapporten fra AI Crawl Control?
- Hvordan tillater jeg AI-søkecrawlere og blokkerer treningscrawlere i Cloudflare?
- Hva har endret seg i Cloudflares standardinnstillinger for AI-crawlere?
- Hvorfor blokkerer Cloudflare fortsatt AI-crawlere etter at jeg har tillatt dem?
- Hvordan bekrefter jeg utenfra hvilke AI-crawlere Cloudflare slipper inn?
- Hvordan sjekker AISeeWhy hva Cloudflare sender til AI-crawlere?
Hvor er rapporten om AI-crawlere i Cloudflare?
I dashbordet velger du konto og domene og åpner AI Crawl Control. Cloudflare sier at den fungerer uten konfigurasjon og er tilgjengelig i alle planer, så lenge trafikken til domenet ditt går via Cloudflares proxy. Den har fire områder:
- Overview: et sammendrag med totalt antall forespørsler, endring i volum, den vanligste statuskoden, den mest populære banen og crawlere med høyt volum, i tillegg til om Cloudflares administrerte robots.txt er slått på, og crawlere gruppert etter operatør som OpenAI, Microsoft, Google, ByteDance, Anthropic og Meta.
- Crawlerlisten: én rad per AI-crawler, med en Action-kolonne der du velger Allow eller Block. Cloudflares dokumentasjon kaller denne fanen Crawlers på én side og Security på en annen, så se etter tabellen med Action-kolonnen.
- Metrics: forespørsler over tid, fordeling av statuskoder, innholdsformat, de mest populære banene og, i betalte planer, henvisninger. Filtrene dekker datointervall, crawler, operatør, vertsnavn og bane, og du kan eksportere en CSV-fil.
- Directives: tilstanden til robots.txt-filen din og listen over brudd på robots.txt.
To begrensninger i planene betyr noe når du leser tallene. I gratisplanen gjenkjenner AI Crawl Control crawlere bare ut fra user agent-strengen, så den ser crawlere som oppgir hvem de er, og ingenting annet, og Metrics-fanen dekker de siste 24 timene. Betalte planer legger til gjenkjenning via deteksjons-ID-en i Bot Management, og Enterprise med Bot Management får tidsrom som kan stilles inn.
Hva betyr hver kolonne og hvert tall i rapporten fra AI Crawl Control?
Cloudflare dokumenterer feltene slik. Definisjonene er viktige, fordi flere tall teller mer enn du kanskje tror.
- Crawler og Category: navnet på crawleren, operatøren og kategorien, for eksempel AI-crawler, AI-assistent eller arkivering.
- Requests: tillatte pluss mislykkede forespørsler, med et trenddiagram. Mislykkede forespørsler kan komme fra hvilken som helst regel eller svarfeil, ikke bare fra en blokkering i AI Crawl Control, så et høyt tall for en crawler du har tillatt, peker mot en annen regel eller feil på opprinnelsesserveren.
- Allowed requests: forespørsler som fikk en status mellom 200 og 299. Dataoverføring måles ut fra bytene Cloudflare sendte for tillatte forespørsler.
- Robots.txt violations: hvor mange ganger crawleren ba om en bane som robots.txt-filen din ikke tillater. Cloudflare sammenligner tidligere forespørsler med de nåværende reglene dine, så en regel du legger til i dag, kan flagge forespørsler som var tillatt da de ble gjort.
- Action: Allow, Block eller, for kontoer i betaversjonen av pay per crawl, Charge.
- Fordeling av statuskoder: 2xx, 3xx, 4xx og 5xx. 4xx-gruppen inkluderer 403 fra blokkeringer og 402 fra pay per crawl.
- Referrals og de viktigste henviserne, bare i betalte planer: besøk som kom fra AI-tjenester, for eksempel fra chatgpt.com, og sidene de landet på.
Les rapporten ut fra handlingen du valgte. En crawler satt til Allow bør vise mest tillatte forespørsler og 2xx-koder. Hvis den viser mange mislykkede forespørsler, åpner du fordelingen av statuskoder filtrert på den crawleren og sjekker Security Analytics for å finne regelen som svarte.
Hvordan tillater jeg AI-søkecrawlere og blokkerer treningscrawlere i Cloudflare?
Du kan gjøre det per crawler eller etter atferd. Per crawler åpner du AI Crawl Control og setter Action for hver rad. Cloudflare sier at en blokkering der oppretter eller oppdaterer en egendefinert WAF-regel i sonen din, som du kan utvide i WAF med unntak for baner. I betalte planer kan du velge om blokkerte crawlere skal få 403 eller 402, og angi en brødtekst i ren tekst.
Etter atferd går du til Security, så Settings, filtrerer på Bot traffic og åpner AI Crawler and Agent access policies. Cloudflare deler AI-trafikk inn i tre typer atferd, og hver retningslinje gjelder verifiserte boter med den atferden og samsvarende uverifiserte boter:
- Search: samler inn eller indekserer innhold for å kunne svare på spørsmål senere.
- Agent: handler i sanntid på vegne av en person, for eksempel henting fra chat og nettleseragenter.
- Training: samler inn innhold for å trene eller finjustere modeller, inkludert crawlere som brukes til både trening og søk.
Hver atferd kan settes til Block, Block on pages with ads eller Allow (do not block). Training har i tillegg Disallow, som bare ber crawlere holde seg unna via robots.txt. Med Bot Preference Sync slått på legger Cloudflare administrerte regler øverst i robots.txt-filen din som avviser Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot og meta-externalagent, legger til en Content Signals-linje og blokkerer også AI-treningscrawlere på kanten, unntatt crawlere som brukes til både søk og trening.
For de fleste nettsteder som vil bli sitert av AI, er den trygge kombinasjonen Search og Agent på Allow og Training på Disallow, og deretter enkeltvise Block-handlinger i AI Crawl Control for rene treningscrawlere du vil stoppe på kanten.
Hva har endret seg i Cloudflares standardinnstillinger for AI-crawlere?
1. juli 2025 kunngjorde Cloudflare at standarden ble endret til å blokkere AI-crawlere med mindre de betaler innholdsskaperne. 1. juli 2026 erstattet Cloudflare den ene bryteren Block AI bots med de separate retningslinjene Search, Agent og Training som er beskrevet over, for alle planer, også gratisplanen. Den samme kunngjøringen sa at nye domener som ble lagt til fra 15. september 2026, ville få Training og Agent blokkert på sider som viser annonser, med Search tillatt.
Cloudflares nåværende dokumentasjon for retningslinjene, sist oppdatert 2. november 2026, sier at nye domener som standard har Allow (do not block) for alle tre atferdstypene. Fordi Cloudflares egne sider har beskrevet ulike standarder til ulike tider, bør du ikke stole på noen av dem for sonen din: åpne siden med retningslinjene og les hva som er satt.
Hvorfor blokkerer Cloudflare fortsatt AI-crawlere etter at jeg har tillatt dem?
Handlingen Allow i AI Crawl Control hindrer bare AI Crawl Control i å blokkere. Andre funksjoner påvirker fortsatt forespørselen. Vanlige årsaker:
- Blokkering av Training blokkerer også søkecrawlere som gjør begge deler. Cloudflares dokumentasjon sier at Training-handlinger gjelder crawlere med blandet formål, og kunngjøringen fra juli 2026 nevner Googlebot, Applebot og bingbot som crawlere som kunder som blokkerer Training, vil blokkere fra 15. september 2026. Disallow er det smalere valget, fordi blokkeringen på kanten hopper over crawlere med blandet formål.
- Bot Fight Mode er slått på. Cloudflare sier at du ikke kan omgå eller hoppe over Bot Fight Mode med egendefinerte WAF-regler eller Page Rules. Hvis den utfordrer en crawler, slår du den av, eller bruker Super Bot Fight Mode, som støtter regler for å hoppe over, hvis planen din har det.
- En eldre egendefinert WAF-regel blokkerer user agents som inneholder
bot, eller en regel for hastighetsbegrensning svarer på topper med 429. Disse kjører uansett hvilken Action som er valgt i AI Crawl Control. - Blokkeringsregelen er redigert for hånd. Hvis WAF-regelen bak AI Crawl Control er endret til en annen svarkode, kan dashbordet ikke lenger håndheve valget ditt.
- robots.txt avviser fortsatt crawleren. Allow i Cloudflare endrer ikke robots.txt-filen din, så en høflig crawler holder seg unna likevel. I vår studie av de 1000 mest populære domenene blokkerte 98 av de 155 nettstedene som blokkerte en AI-treningscrawler i robots.txt, også minst én AI-søke- eller brukercrawler.
Hvordan bekrefter jeg utenfra hvilke AI-crawlere Cloudflare slipper inn?
Be om den samme siden med en nettlesers user agent og med hver crawlers user agent, og sammenlign status og størrelse. Strengene for OpenAI, Perplexity og Google nedenfor er de som disse selskapene publiserer.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" En crawlerlinje med 403, 429 eller 503, eller en mye mindre størrelse enn nettleserlinjen, betyr at noe foran opprinnelsesserveren svarte annerledes. I gratisplanen gjenkjenner AI Crawl Control crawlere etter user agent, så denne testen er en rimelig sjekk av blokkeringene. Regler basert på status som verifisert bot eller botpoeng kan behandle forespørselen din annerledes enn den ekte crawleren, fordi den kommer fra IP-adressen din og ikke fra operatørens publiserte områder. Etter testen ser du etter dine egne forespørsler i Security Analytics for å se hvilken regel som slo til.
Hvordan sjekker AISeeWhy hva Cloudflare sender til AI-crawlere?
Den gratis AISeeWhy-sjekken ber om siden din som 16 AI- og søkecrawlere ved siden av en ekte nettleser, anvender robots.txt per crawler og gjenkjenner utfordringssider fra brannmurer, slik at du kan se om resultatet i Cloudflare-dashbordet stemmer med det crawlerne faktisk får.
Rettelser for dette problemet
Neste steg
- robots.txt-tester og -sjekk for AI-crawlere
- IP-sjekk for AI-crawlere
- Se et eksempel på en full rapport
- Overvåking av AI-crawlere
- Planer og priser
Crawlere i denne artikkelen
Vanlige spørsmål
Er Cloudflare AI Crawl Control gratis?
Ja. Cloudflare oppgir at AI Crawl Control er tilgjengelig i alle planer. Gratisplanen gjenkjenner crawlere bare etter user agent og viser de siste 24 timene i Metrics; henvisningsdata og egendefinerte blokkeringssvar krever en betalt plan.
Hva skjedde med Cloudflare AI Audit?
Den fikk nytt navn. Cloudflares dokumentasjon beskriver AI Crawl Control som tidligere AI Audit, med samme formål: å se hvilke AI-crawlere som besøker, og å angi en handling for hver av dem.
Endrer blokkering av en crawler i AI Crawl Control robots.txt-filen min?
Nei. En Block-handling oppretter eller oppdaterer en egendefinert WAF-regel. robots.txt endres bare hvis du bruker valget Disallow for Training med Bot Preference Sync, som legger Cloudflares administrerte regler øverst i filen din.
Hva regnes som brudd på robots.txt i Cloudflare?
En forespørsel fra en AI-crawler til en bane som robots.txt-filen din ikke tillater. Cloudflare sammenligner tidligere forespørsler med de nåværende reglene dine, så en ny regel kan flagge eldre forespørsler som var tillatt da de ble gjort.
Hva er pay per crawl?
En Charge-handling som ber AI-crawlere betale per forespørsel og ellers svarer med HTTP 402 og en pris. Cloudflare beskriver det som en lukket betaversjon, og blokkeringer i WAF eller Bot Management går foran.
Kilder
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11