Så läser du Cloudflares rapport i AI Crawl Control och ser vilka AI-crawlers som släpps in
Öppna AI Crawl Control i Cloudflares instrumentpanel: crawlerlistan visar varje AI-crawler som Cloudflare har sett på din domän, dess förfrågningar, dess överträdelser av robots.txt och om dess åtgärd är Allow eller Block. För att behålla AI-sök men säga nej till träning tillåter du sök- och agentcrawlers och blockerar eller nekar träningscrawlers där eller under AI Crawler and Agent access policies. Bekräfta sedan utifrån med curl, eftersom andra funktioner i Cloudflare fortfarande kan blockera en crawler som du har tillåtit.
Cloudflare har nu två ställen som avgör vad AI-crawlers får: AI Crawl Control, rapporten och reglagepanelen per crawler som tidigare hette AI Audit, och AI Crawler and Agent access policies för hela zonen under säkerhetsinställningarna. Båda finns i gratisplanen, båda ändrades under 2026, och ingen av dem berättar om alla andra funktioner som fortfarande kan svara en crawler med en 403. Den här guiden går igenom rapporten kolumn för kolumn, visar var du ställer in tillåt och blockera och avslutas med ett test som du kan köra från din egen dator.
På den här sidan
- Var finns rapporten om AI-crawlers i Cloudflare?
- Vad betyder varje kolumn och mätvärde i rapporten i AI Crawl Control?
- Hur tillåter jag AI-sökcrawlers och blockerar träningscrawlers i Cloudflare?
- Vad har ändrats i Cloudflares standardinställningar för AI-crawlers?
- Varför blockerar Cloudflare fortfarande AI-crawlers fast jag har tillåtit dem?
- Hur bekräftar jag utifrån vilka AI-crawlers Cloudflare släpper in?
- Hur kontrollerar AISeeWhy vad Cloudflare skickar till AI-crawlers?
Var finns rapporten om AI-crawlers i Cloudflare?
Välj ditt konto och din domän i instrumentpanelen och öppna sedan AI Crawl Control. Cloudflare säger att den fungerar utan konfiguration och finns i alla planer, så länge domänens trafik går via Cloudflares proxy. Den har fyra delar:
- Overview: en sammanfattning med totalt antal förfrågningar, förändringen i volym, den vanligaste statuskoden, den populäraste sökvägen och crawlers med hög volym, plus om Cloudflares hanterade robots.txt är påslagen, och crawlers grupperade efter operatör som OpenAI, Microsoft, Google, ByteDance, Anthropic och Meta.
- Crawlerlistan: en rad per AI-crawler, med en Action-kolumn där du väljer Allow eller Block. Cloudflares dokumentation kallar fliken Crawlers på en sida och Security på en annan, så leta efter tabellen med Action-kolumnen.
- Metrics: förfrågningar över tid, fördelning av statuskoder, innehållsformat, populäraste sökvägar och, i betalplaner, hänvisningar. Filtren täcker datumintervall, crawler, operatör, värdnamn och sökväg, och du kan exportera en CSV-fil.
- Directives: hur din robots.txt-fil mår och listan över överträdelser av robots.txt.
Två begränsningar i planerna spelar roll när du läser siffrorna. I gratisplanen känner AI Crawl Control igen crawlers enbart på deras user agent-sträng, så den ser crawlers som presenterar sig och inget annat, och fliken Metrics täcker de senaste 24 timmarna. Betalplaner lägger till identifiering via detection ID i Bot Management, och Enterprise med Bot Management får valbara tidsintervall.
Vad betyder varje kolumn och mätvärde i rapporten i AI Crawl Control?
Cloudflare dokumenterar fälten så här. Definitionerna är viktiga, eftersom flera siffror räknar mer än man kanske tror.
- Crawler och Category: crawlerns namn, dess operatör och dess kategori, till exempel AI crawler, AI assistant eller archiver.
- Requests: tillåtna plus misslyckade förfrågningar, med ett trenddiagram. Misslyckade förfrågningar kan komma från vilken regel eller vilket svarsfel som helst, inte bara från en blockering i AI Crawl Control, så ett högt tal för en crawler som du har tillåtit pekar på en annan regel eller på fel på din ursprungsserver.
- Allowed requests: förfrågningar som fick en status mellan 200 och 299. Dataöverföringen mäts utifrån de byte som Cloudflare skickade för tillåtna förfrågningar.
- Robots.txt violations: hur många gånger crawlern begärde en sökväg som din robots.txt nekar. Cloudflare jämför tidigare förfrågningar med dina nuvarande regler, så en regel som du lägger till i dag kan flagga förfrågningar som var tillåtna när de gjordes.
- Action: Allow, Block eller, för konton i betaversionen av pay per crawl, Charge.
- Fördelning av statuskoder: 2xx, 3xx, 4xx och 5xx. Gruppen 4xx omfattar 403 från blockeringar och 402 från pay per crawl.
- Hänvisningar och främsta hänvisare, bara i betalplaner: besök som kom från AI-tjänster, till exempel från chatgpt.com, och sidorna där de landade.
Läs rapporten utifrån den åtgärd du valde. En crawler som är satt till Allow bör mest visa tillåtna förfrågningar och 2xx-koder. Om den visar många misslyckade förfrågningar öppnar du fördelningen av statuskoder filtrerad på den crawlern och kontrollerar Security Analytics för att hitta regeln som svarade.
Hur tillåter jag AI-sökcrawlers och blockerar träningscrawlers i Cloudflare?
Du kan göra det per crawler eller efter beteende. Per crawler öppnar du AI Crawl Control och ställer in Action för varje rad. Cloudflare säger att en blockering där skapar eller uppdaterar en anpassad WAF-regel i din zon, som du kan bygga ut i WAF med undantag för sökvägar. I betalplaner kan du välja om blockerade crawlers ska få en 403 eller en 402 och ange en brödtext i vanlig text.
Efter beteende går du till Security, sedan Settings, filtrerar på Bot traffic och öppnar AI Crawler and Agent access policies. Cloudflare delar in AI-trafik i tre beteenden, och varje policy gäller verifierade botar med det beteendet och matchande overifierade botar:
- Search: samlar in eller indexerar innehåll så att det kan besvara frågor senare.
- Agent: agerar i realtid för en persons räkning, till exempel hämtningar från chattar och webbläsaragenter.
- Training: samlar in innehåll för att träna eller finjustera modeller, inklusive crawlers som används både för träning och sök.
Varje beteende kan sättas till Block, Block on pages with ads eller Allow (do not block). Training har också Disallow, som bara ber crawlers att avstå via robots.txt. Med Bot Preference Sync påslaget lägger Cloudflare till hanterade regler först i din robots.txt som nekar Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot och meta-externalagent, lägger till en rad med Content Signals och blockerar dessutom AI-träningscrawlers vid nätverkskanten, utom crawlers som används både för sök och träning.
För de flesta webbplatser som vill bli citerade av AI är den säkra kombinationen Search och Agent på Allow och Training på Disallow, och därefter enskilda Block-åtgärder i AI Crawl Control för rena träningscrawlers som du vill stoppa vid nätverkskanten.
Vad har ändrats i Cloudflares standardinställningar för AI-crawlers?
Den 1 juli 2025 meddelade Cloudflare att standardinställningen ändrades till att blockera AI-crawlers om de inte betalar upphovspersonerna. Den 1 juli 2026 ersatte företaget det enda reglaget Block AI bots med de separata policyerna Search, Agent och Training som beskrivs ovan, för alla planer inklusive Free. Samma meddelande sa att nya domäner som ansluts från den 15 september 2026 skulle få Training och Agent blockerade på sidor som visar annonser, med Search tillåtet.
Cloudflares aktuella policydokumentation, senast uppdaterad den 2 november 2026, säger att nya domäner som standard har Allow (do not block) för alla tre beteenden. Eftersom Cloudflares egna sidor har beskrivit olika standardvärden vid olika tidpunkter ska du inte lita på någon av dem för din zon: öppna policysidan och läs vad som är inställt.
Varför blockerar Cloudflare fortfarande AI-crawlers fast jag har tillåtit dem?
Åtgärden Allow i AI Crawl Control hindrar bara AI Crawl Control från att blockera. Andra funktioner agerar fortfarande på förfrågan. Vanliga orsaker:
- Att blockera Training blockerar också sökcrawlers som gör båda. Cloudflares dokumentation säger att Training-åtgärder gäller crawlers med blandade syften, och meddelandet från juli 2026 nämner Googlebot, Applebot och bingbot som crawlers som kunder som blockerar Training kommer att blockera från den 15 september 2026. Disallow är det snävare valet, eftersom dess blockering vid nätverkskanten hoppar över crawlers med blandade syften.
- Bot Fight Mode är påslaget. Cloudflare anger att du inte kan kringgå eller hoppa över Bot Fight Mode med anpassade WAF-regler eller Page Rules. Om det utmanar en crawler stänger du av det, eller använder Super Bot Fight Mode i en plan som har det, eftersom det stöder skip-regler.
- En äldre anpassad WAF-regel blockerar user agents som innehåller
bot, eller en regel för hastighetsbegränsning svarar på toppar med 429. De körs oavsett vilken Action som är vald i AI Crawl Control. - Blockeringsregeln har redigerats för hand. Om WAF-regeln bakom AI Crawl Control har ändrats till en annan svarskod kan instrumentpanelen inte längre tillämpa ditt val.
- robots.txt nekar fortfarande crawlern. Cloudflares Allow ändrar inte din robots.txt, så en väluppfostrad crawler håller sig borta ändå. I vår studie av de 1 000 populäraste domänerna blockerade 98 av de 155 webbplatser som blockerade en AI-träningscrawler i robots.txt också minst en AI-sökcrawler eller användarcrawler.
Hur bekräftar jag utifrån vilka AI-crawlers Cloudflare släpper in?
Begär samma sida med en webbläsares user agent och med varje crawlers user agent, och jämför sedan status och storlek. Strängarna för OpenAI, Perplexity och Google nedan är de som företagen själva publicerar.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" En crawlerrad med 403, 429 eller 503, eller en mycket mindre storlek än webbläsarraden, betyder att något framför din ursprungsserver svarade annorlunda. I gratisplanen känner AI Crawl Control igen crawlers på user agent, så det här testet är en rimlig kontroll av dess blockeringar. Regler som bygger på status som verifierad bot eller på botpoäng kan behandla din förfrågan annorlunda än den riktiga crawlern, eftersom den kommer från din IP-adress och inte från operatörens publicerade intervall. Leta efter dina egna förfrågningar i Security Analytics efter testet för att se vilken regel som matchade.
Hur kontrollerar AISeeWhy vad Cloudflare skickar till AI-crawlers?
Den kostnadsfria kontrollen i AISeeWhy begär din sida som 16 AI- och sökcrawlers bredvid en riktig webbläsare, tillämpar din robots.txt per crawler och känner igen utmaningssidor från brandväggar, så att du kan se om resultatet i Cloudflares instrumentpanel stämmer med vad crawlers faktiskt får.
Åtgärder för det här problemet
Nästa steg
- robots.txt-testare och kontroll för AI-crawlers
- IP-kontroll för AI-crawlers
- Se ett exempel på en fullständig rapport
- Bevakning av AI-crawlers
- Planer och priser
Crawlers i den här artikeln
Vanliga frågor
Är Cloudflare AI Crawl Control gratis?
Ja. Cloudflare anger att AI Crawl Control finns i alla planer. Gratisplanen känner bara igen crawlers på user agent och visar de senaste 24 timmarna i Metrics; hänvisningsdata och anpassade blockeringssvar kräver en betalplan.
Vad hände med Cloudflare AI Audit?
Den bytte namn. Cloudflares dokumentation beskriver AI Crawl Control som tidigare AI Audit, med samma syfte: att se vilka AI-crawlers som besöker webbplatsen och ange en åtgärd för var och en.
Ändrar en blockering i AI Crawl Control min robots.txt?
Nej. En Block-åtgärd skapar eller uppdaterar en anpassad WAF-regel. robots.txt ändras bara om du använder alternativet Disallow för Training med Bot Preference Sync, som lägger till Cloudflares hanterade regler först i din fil.
Vad räknas som en överträdelse av robots.txt i Cloudflare?
En förfrågan från en AI-crawler till en sökväg som din robots.txt nekar. Cloudflare jämför tidigare förfrågningar med dina nuvarande regler, så en ny regel kan flagga äldre förfrågningar som var tillåtna när de gjordes.
Vad är pay per crawl?
En Charge-åtgärd som ber AI-crawlers att betala per förfrågan och annars svarar med HTTP 402 och ett pris. Cloudflare beskriver det som en stängd betaversion, och blockeringar i WAF eller Bot Management har företräde framför den.
Källor
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11