Så läser du Cloudflares rapport i AI Crawl Control och ser vilka AI-crawlers som släpps in

Publicerad

Kort svar

Öppna AI Crawl Control i Cloudflares instrumentpanel: crawlerlistan visar varje AI-crawler som Cloudflare har sett på din domän, dess förfrågningar, dess överträdelser av robots.txt och om dess åtgärd är Allow eller Block. För att behålla AI-sök men säga nej till träning tillåter du sök- och agentcrawlers och blockerar eller nekar träningscrawlers där eller under AI Crawler and Agent access policies. Bekräfta sedan utifrån med curl, eftersom andra funktioner i Cloudflare fortfarande kan blockera en crawler som du har tillåtit.

Cloudflare har nu två ställen som avgör vad AI-crawlers får: AI Crawl Control, rapporten och reglagepanelen per crawler som tidigare hette AI Audit, och AI Crawler and Agent access policies för hela zonen under säkerhetsinställningarna. Båda finns i gratisplanen, båda ändrades under 2026, och ingen av dem berättar om alla andra funktioner som fortfarande kan svara en crawler med en 403. Den här guiden går igenom rapporten kolumn för kolumn, visar var du ställer in tillåt och blockera och avslutas med ett test som du kan köra från din egen dator.

På den här sidan
  1. Var finns rapporten om AI-crawlers i Cloudflare?
  2. Vad betyder varje kolumn och mätvärde i rapporten i AI Crawl Control?
  3. Hur tillåter jag AI-sökcrawlers och blockerar träningscrawlers i Cloudflare?
  4. Vad har ändrats i Cloudflares standardinställningar för AI-crawlers?
  5. Varför blockerar Cloudflare fortfarande AI-crawlers fast jag har tillåtit dem?
  6. Hur bekräftar jag utifrån vilka AI-crawlers Cloudflare släpper in?
  7. Hur kontrollerar AISeeWhy vad Cloudflare skickar till AI-crawlers?

Var finns rapporten om AI-crawlers i Cloudflare?

Välj ditt konto och din domän i instrumentpanelen och öppna sedan AI Crawl Control. Cloudflare säger att den fungerar utan konfiguration och finns i alla planer, så länge domänens trafik går via Cloudflares proxy. Den har fyra delar:

Två begränsningar i planerna spelar roll när du läser siffrorna. I gratisplanen känner AI Crawl Control igen crawlers enbart på deras user agent-sträng, så den ser crawlers som presenterar sig och inget annat, och fliken Metrics täcker de senaste 24 timmarna. Betalplaner lägger till identifiering via detection ID i Bot Management, och Enterprise med Bot Management får valbara tidsintervall.

Vad betyder varje kolumn och mätvärde i rapporten i AI Crawl Control?

Cloudflare dokumenterar fälten så här. Definitionerna är viktiga, eftersom flera siffror räknar mer än man kanske tror.

Läs rapporten utifrån den åtgärd du valde. En crawler som är satt till Allow bör mest visa tillåtna förfrågningar och 2xx-koder. Om den visar många misslyckade förfrågningar öppnar du fördelningen av statuskoder filtrerad på den crawlern och kontrollerar Security Analytics för att hitta regeln som svarade.

Hur tillåter jag AI-sökcrawlers och blockerar träningscrawlers i Cloudflare?

Du kan göra det per crawler eller efter beteende. Per crawler öppnar du AI Crawl Control och ställer in Action för varje rad. Cloudflare säger att en blockering där skapar eller uppdaterar en anpassad WAF-regel i din zon, som du kan bygga ut i WAF med undantag för sökvägar. I betalplaner kan du välja om blockerade crawlers ska få en 403 eller en 402 och ange en brödtext i vanlig text.

Efter beteende går du till Security, sedan Settings, filtrerar på Bot traffic och öppnar AI Crawler and Agent access policies. Cloudflare delar in AI-trafik i tre beteenden, och varje policy gäller verifierade botar med det beteendet och matchande overifierade botar:

Varje beteende kan sättas till Block, Block on pages with ads eller Allow (do not block). Training har också Disallow, som bara ber crawlers att avstå via robots.txt. Med Bot Preference Sync påslaget lägger Cloudflare till hanterade regler först i din robots.txt som nekar Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot och meta-externalagent, lägger till en rad med Content Signals och blockerar dessutom AI-träningscrawlers vid nätverkskanten, utom crawlers som används både för sök och träning.

För de flesta webbplatser som vill bli citerade av AI är den säkra kombinationen Search och Agent på Allow och Training på Disallow, och därefter enskilda Block-åtgärder i AI Crawl Control för rena träningscrawlers som du vill stoppa vid nätverkskanten.

Vad har ändrats i Cloudflares standardinställningar för AI-crawlers?

Den 1 juli 2025 meddelade Cloudflare att standardinställningen ändrades till att blockera AI-crawlers om de inte betalar upphovspersonerna. Den 1 juli 2026 ersatte företaget det enda reglaget Block AI bots med de separata policyerna Search, Agent och Training som beskrivs ovan, för alla planer inklusive Free. Samma meddelande sa att nya domäner som ansluts från den 15 september 2026 skulle få Training och Agent blockerade på sidor som visar annonser, med Search tillåtet.

Cloudflares aktuella policydokumentation, senast uppdaterad den 2 november 2026, säger att nya domäner som standard har Allow (do not block) för alla tre beteenden. Eftersom Cloudflares egna sidor har beskrivit olika standardvärden vid olika tidpunkter ska du inte lita på någon av dem för din zon: öppna policysidan och läs vad som är inställt.

Varför blockerar Cloudflare fortfarande AI-crawlers fast jag har tillåtit dem?

Åtgärden Allow i AI Crawl Control hindrar bara AI Crawl Control från att blockera. Andra funktioner agerar fortfarande på förfrågan. Vanliga orsaker:

Hur bekräftar jag utifrån vilka AI-crawlers Cloudflare släpper in?

Begär samma sida med en webbläsares user agent och med varje crawlers user agent, och jämför sedan status och storlek. Strängarna för OpenAI, Perplexity och Google nedan är de som företagen själva publicerar.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

En crawlerrad med 403, 429 eller 503, eller en mycket mindre storlek än webbläsarraden, betyder att något framför din ursprungsserver svarade annorlunda. I gratisplanen känner AI Crawl Control igen crawlers på user agent, så det här testet är en rimlig kontroll av dess blockeringar. Regler som bygger på status som verifierad bot eller på botpoäng kan behandla din förfrågan annorlunda än den riktiga crawlern, eftersom den kommer från din IP-adress och inte från operatörens publicerade intervall. Leta efter dina egna förfrågningar i Security Analytics efter testet för att se vilken regel som matchade.

Hur kontrollerar AISeeWhy vad Cloudflare skickar till AI-crawlers?

Den kostnadsfria kontrollen i AISeeWhy begär din sida som 16 AI- och sökcrawlers bredvid en riktig webbläsare, tillämpar din robots.txt per crawler och känner igen utmaningssidor från brandväggar, så att du kan se om resultatet i Cloudflares instrumentpanel stämmer med vad crawlers faktiskt får.

Åtgärder för det här problemet

Gratis verktyg

Nästa steg

Crawlers i den här artikeln

Vanliga frågor

Är Cloudflare AI Crawl Control gratis?

Ja. Cloudflare anger att AI Crawl Control finns i alla planer. Gratisplanen känner bara igen crawlers på user agent och visar de senaste 24 timmarna i Metrics; hänvisningsdata och anpassade blockeringssvar kräver en betalplan.

Vad hände med Cloudflare AI Audit?

Den bytte namn. Cloudflares dokumentation beskriver AI Crawl Control som tidigare AI Audit, med samma syfte: att se vilka AI-crawlers som besöker webbplatsen och ange en åtgärd för var och en.

Ändrar en blockering i AI Crawl Control min robots.txt?

Nej. En Block-åtgärd skapar eller uppdaterar en anpassad WAF-regel. robots.txt ändras bara om du använder alternativet Disallow för Training med Bot Preference Sync, som lägger till Cloudflares hanterade regler först i din fil.

Vad räknas som en överträdelse av robots.txt i Cloudflare?

En förfrågan från en AI-crawler till en sökväg som din robots.txt nekar. Cloudflare jämför tidigare förfrågningar med dina nuvarande regler, så en ny regel kan flagga äldre förfrågningar som var tillåtna när de gjordes.

Vad är pay per crawl?

En Charge-åtgärd som ber AI-crawlers att betala per förfrågan och annars svarar med HTTP 402 och ett pris. Cloudflare beskriver det som en stängd betaversion, och blockeringar i WAF eller Bot Management har företräde framför den.

Källor

Fler artiklar