AISeeWhy
DA
Start gratis prøveperiode

Blokerer Cloudflare AI-crawlere? Sådan finder du ud af det og retter det

Udgivet

Kort svar

Cloudflare og andre firewalls kan svare AI-crawlere med en 403, en 429 eller en udfordringsside med »Just a moment...«, mens browsere får den rigtige side, selv om robots.txt tillader crawleren. Tjek det ved at hente siden med crawlerens user agent, og tillad derefter AI-søgecrawlere i AI Crawl Control eller med en WAF-skip-regel.

Bot-beskyttelse findes for at stoppe scrapere og misbrug, og den er god til det. Problemet er, at AI-søgecrawlere også er bots. En sikkerhedsindstilling, der blev slået til for år tilbage, en rate limit eller en bred regel mod ukendte user agents kan stille og roligt holde de crawlere ude, der citerer dig, mens dine egne besøg ser helt normale ud.

På denne side
  1. Hvorfor skulle en firewall blokere AI-crawlere?
  2. Hvordan kan jeg se forskel på en firewallblokering og en robots.txt-blokering?
  3. Hvordan tillader jeg AI-søgecrawlere i Cloudflare?
  4. Hvad med Bot Fight Mode?
  5. Hvilke crawlere skal jeg lade slippe igennem?
  6. Hvordan opdager AISeeWhy firewallblokeringer?

Hvorfor skulle en firewall blokere AI-crawlere?

Firewalls vurderer hver forespørgsel for sig. En crawler kører ikke JavaScript-udfordringer, gemmer ikke cookies som en browser og henter ofte mange sider i træk, så den kan ligne præcis den trafik, bot-beskyttelsen er bygget til at stoppe. Almindelige årsager er:

Hvordan kan jeg se forskel på en firewallblokering og en robots.txt-blokering?

En robots.txt-blokering er en høflig anmodning: Crawleren læser dine regler og henter ikke siden. En firewallblokering er et svar: Crawleren anmoder om siden og får noget andet. Den anden slags kan du se direkte. Hent siden to gange, én gang med en browsers user agent og én gang med crawlerens, og sammenlign.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Tegn på en firewallblokering: status 403, 429 eller 503 kun for crawleren; en side med titlen Just a moment... eller Attention Required! | Cloudflare; et indhold med /cdn-cgi/challenge-platform; eller et 200-svar, der er markant kortere end browserens. Husk, at din test kommer fra din egen IP og ikke fra crawlerens verificerede IP-interval; den viser derfor, hvordan firewallen behandler user agent'en, ikke alle detaljer i, hvordan den behandler den rigtige crawler.

Hvordan tillader jeg AI-søgecrawlere i Cloudflare?

Cloudflares AI Crawl Control, som er tilgængelig på alle planer, viser de AI-crawlere, der besøger dit domæne, og lader dig vælge en handling for hver. Åbn AI Crawl Control i dashboardet, gå til listen Crawlers, og vælg Allow eller Block i kolonnen Action for hver crawler. Cloudflare siger, at en blokering dér opretter eller opdaterer en brugerdefineret WAF-regel i din zone.

Hvis en brugerdefineret WAF-regel, Super Bot Fight Mode eller rate limiting er det, der blokerer crawleren, så tilføj en brugerdefineret regel, der springer de funktioner over for verificerede bots og for crawlerens token:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Placér reglen først. Bemærk, at matching på user agent også lader enhver slippe igennem, der forfalsker den user agent. Brug helst feltet for verificerede bots (cf.client.bot) eller de IP-intervaller, leverandøren offentliggør, hvor det er muligt.

Hvad med Bot Fight Mode?

Cloudflares dokumentation er tydelig på, at Bot Fight Mode ikke kan omgås eller springes over med brugerdefinerede WAF-regler eller Page Rules. Hvis det er den funktion, der udfordrer crawlere, hjælper en skip-regel ikke. Mulighederne er at slå Bot Fight Mode fra eller bruge Super Bot Fight Mode på en plan, der har den; den kører på Ruleset Engine og understøtter skip-regler.

Hvilke crawlere skal jeg lade slippe igennem?

Del crawlere op efter, hvad de gør. Søge- og brugerhentende crawlere afgør, om AI-svar kan finde og citere dig. Træningscrawlere indsamler data til modeller, og at blokere dem er et legitimt valg, der ikke fjerner dig fra AI-søgning.

Cloudflares egne politikindstillinger bruger den samme opdeling i Search, Agent og Training, så du kan tillade de to første og beslutte særskilt om den tredje. Bruger du en anden firewall eller et andet CDN, gælder det samme princip: Sæt crawlerens token på allowlisten, verificeret via leverandørens offentliggjorte IP-intervaller eller, hvor det tilbydes, reverse DNS, så den får det samme svar som en browser.

Hvordan opdager AISeeWhy firewallblokeringer?

AISeeWhy henter din side som 14 crawlere og en almindelig browser, sammenligner status, størrelse og omdirigeringer, genkender udfordringssider og nævner den firewall eller det CDN, der svarede. Når robots.txt tillader en crawler, men serveren blokerer den, viser rapporten konflikten og giver den Cloudflare-regel eller det allowlist-trin, der løser den.

Ofte stillede spørgsmål

Blokerer Cloudflare AI-crawlere som standard?

Det afhænger af din konto, din plan og indstillingerne i din zone, og Cloudflare har ændret disse muligheder over tid. Tjek AI Crawl Control og dine botindstillinger, og test med crawlerens user agent i stedet for at antage noget.

Hvorfor virker mit site i en browser, men ikke for crawlere?

Firewalls vurderer hver forespørgsel for sig. En browser består JavaScript-udfordringer og gemmer cookies; det gør en crawler ikke, så den kan få en udfordringsside eller en 403, som du aldrig ser.

Er det sikkert at tillade AI-crawlere i WAF'en?

At tillade en navngiven crawler indebærer lav risiko, hvis du verificerer den via leverandørens IP-intervaller eller Cloudflares signal for verificerede bots. Regler, der kun stoler på user agent'en, lader også enhver slippe igennem, der kopierer den.

Påvirker Cloudflares skjulning af e-mailadresser AI-crawlere?

Den erstatter e-mailadresser med et link, som kun et script afkoder, så crawlere ser en pladsholder i stedet for adressen. Hvis din kontakt-e-mail skal kunne læses, så slå Email Address Obfuscation fra under Scrape Shield, og vis adressen som almindelig tekst.

Kilder

Flere artikler