AISeeWhy
SV
Starta gratis prov

Blockerar Cloudflare AI-crawlers? Så tar du reda på det och åtgärdar det

Publicerad

Kort svar

Cloudflare och andra brandväggar kan svara AI-crawlers med en 403, en 429 eller en utmaningssida med texten ”Just a moment...” medan webbläsare får den riktiga sidan, även när robots.txt tillåter crawlern. Kontrollera genom att hämta sidan med crawlerns user agent och tillåt sedan AI-sökcrawlers i AI Crawl Control eller med en WAF-regel som hoppar över kontrollen.

Botskydd finns för att stoppa scrapers och missbruk, och det gör det bra. Problemet är att AI-sökcrawlers också är bottar. En säkerhetsinställning som slogs på för flera år sedan, en hastighetsgräns eller en bred regel mot okända user agents kan i tysthet hålla ute just de crawlers som citerar dig, medan dina egna besök ser helt normala ut.

På den här sidan
  1. Varför skulle en brandvägg blockera AI-crawlers
  2. Hur skiljer jag ett brandväggsblock från ett robots.txt-block
  3. Hur tillåter jag AI-sökcrawlers i Cloudflare
  4. Hur är det med Bot Fight Mode
  5. Vilka crawlers bör jag släppa in
  6. Hur upptäcker AISeeWhy brandväggsblock

Varför skulle en brandvägg blockera AI-crawlers

Brandväggar bedömer varje begäran. En crawler kör inga JavaScript-utmaningar, sparar inte cookies som en webbläsare och hämtar ofta många sidor i följd, så den kan se ut precis som den trafik botskyddet är byggt för att stoppa. Vanliga orsaker är:

Hur skiljer jag ett brandväggsblock från ett robots.txt-block

Ett robots.txt-block är en artig begäran: crawlern läser dina regler och hämtar inte sidan. Ett brandväggsblock är ett svar: crawlern begär sidan och får något annat. Den andra sorten kan du se direkt. Hämta sidan två gånger, en gång med en webbläsares user agent och en gång med crawlerns, och jämför.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Tecken på ett brandväggsblock: status 403, 429 eller 503 bara för crawlern; en sida med titeln Just a moment... eller Attention Required! | Cloudflare; en kropp som innehåller /cdn-cgi/challenge-platform; eller ett 200-svar som är mycket kortare än webbläsarens. Tänk på att ditt test kommer från din egen IP och inte från crawlerns verifierade IP-intervall, så det visar hur brandväggen behandlar user agent, inte allt om hur den behandlar den riktiga crawlern.

Hur tillåter jag AI-sökcrawlers i Cloudflare

Cloudflares AI Crawl Control, som finns på alla planer, listar de AI-crawlers som besöker din domän och låter dig välja en åtgärd för var och en. Öppna AI Crawl Control i instrumentpanelen, gå till listan Crawlers och välj Allow eller Block i kolumnen Action för varje crawler. Cloudflare säger att en blockering där skapar eller uppdaterar en anpassad WAF-regel i din zon.

Om det är en anpassad WAF-regel, Super Bot Fight Mode eller hastighetsbegränsning som blockerar crawlern, lägg till en anpassad regel som hoppar över de funktionerna för verifierade bottar och för crawlerns token:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Placera regeln först. Tänk på att en matchning på user agent också släpper in alla som förfalskar den user agenten. Där det går är det bättre att använda fältet för verifierade bottar (cf.client.bot) eller de IP-intervall som leverantören publicerar.

Hur är det med Bot Fight Mode

Cloudflares dokumentation är tydlig med att Bot Fight Mode inte kan kringgås eller hoppas över med anpassade WAF-regler eller Page Rules. Om det är den funktionen som utmanar crawlers hjälper inte en regel som hoppar över kontrollen. Alternativen är att stänga av Bot Fight Mode eller att använda Super Bot Fight Mode på en plan som har det, vilket körs på Ruleset Engine och stöder skip-regler.

Vilka crawlers bör jag släppa in

Dela upp crawlers efter vad de gör. Sök- och användarhämtande crawlers avgör om AI-svar kan hitta och citera dig. Träningscrawlers samlar in data till modeller, och att blockera dem är ett legitimt val som inte tar bort dig från AI-sök.

Cloudflares egna policyinställningar använder samma uppdelning i sök, agent och träning, så du kan tillåta de två första och besluta separat om den tredje. Använder du en annan brandvägg eller CDN gäller samma princip: släpp igenom crawlerns token, verifierad mot leverantörens publicerade IP-intervall eller omvänd DNS där det erbjuds, så att den får samma svar som en webbläsare.

Hur upptäcker AISeeWhy brandväggsblock

AISeeWhy hämtar din sida som 14 crawlers och en vanlig webbläsare, jämför status, storlek och omdirigeringar, känner igen utmaningssidor och namnger brandväggen eller CDN:en som svarade. När robots.txt tillåter en crawler men servern blockerar den visar rapporten konflikten och ger Cloudflare-regeln eller tillåtelselistan som åtgärdar det.

Vanliga frågor

Blockerar Cloudflare AI-crawlers som standard?

Det beror på ditt konto, din plan och inställningarna i din zon, och Cloudflare har ändrat de här alternativen över tid. Kontrollera AI Crawl Control och dina botinställningar, och testa med crawlerns user agent i stället för att anta.

Varför fungerar min webbplats i en webbläsare men inte för crawlers?

Brandväggar bedömer varje begäran. En webbläsare klarar JavaScript-utmaningar och sparar cookies; en crawler gör inte det och kan därför få en utmaningssida eller en 403 som du aldrig ser.

Är det säkert att släppa in AI-crawlers genom WAF:en?

Att tillåta en namngiven crawler är en låg risk om du verifierar den mot leverantörens IP-intervall eller Cloudflares signal för verifierade bottar. Regler som litar enbart på user agent släpper också in den som kopierar den.

Påverkar Cloudflares funktion för att dölja e-postadresser AI-crawlers?

Den ersätter e-postadresser med en länk som bara ett skript kan avkoda, så crawlers ser en platshållare i stället för adressen. Vill du att din kontaktadress ska vara läsbar stänger du av Email Address Obfuscation under Scrape Shield och visar adressen som vanlig text.

Källor

Fler artiklar