AISeeWhy
NB
Start gratis prøveperiode

Blokkerer Cloudflare AI-crawlere? Slik finner du ut det og fikser det

Publisert

Kort svar

Cloudflare og andre brannmurer kan svare AI-crawlere med en 403, en 429 eller en utfordringsside med teksten «Just a moment...» mens nettlesere får den ekte siden, selv når robots.txt tillater crawleren. Sjekk ved å hente siden med crawlerens user agent, og tillat deretter AI-søkecrawlere i AI Crawl Control eller med en WAF-regel som hopper over kontrollen.

Botbeskyttelse finnes for å stoppe scrapere og misbruk, og den er god til det. Problemet er at AI-søkecrawlere også er boter. En sikkerhetsinnstilling som ble slått på for flere år siden, en hastighetsgrense eller en bred regel mot ukjente user agents kan i det stille holde ute akkurat de crawlerne som siterer deg, mens dine egne besøk ser helt normale ut.

På denne siden
  1. Hvorfor skulle en brannmur blokkere AI-crawlere
  2. Hvordan skiller jeg en brannmurblokkering fra en robots.txt-blokkering
  3. Hvordan tillater jeg AI-søkecrawlere i Cloudflare
  4. Hva med Bot Fight Mode
  5. Hvilke crawlere bør jeg slippe inn
  6. Hvordan oppdager AISeeWhy brannmurblokkeringer

Hvorfor skulle en brannmur blokkere AI-crawlere

Brannmurer vurderer hver forespørsel. En crawler kjører ikke JavaScript-utfordringer, beholder ikke informasjonskapsler som en nettleser og henter ofte mange sider på rad, så den kan se ut akkurat som trafikken botbeskyttelsen er bygget for å stoppe. Vanlige årsaker er:

Hvordan skiller jeg en brannmurblokkering fra en robots.txt-blokkering

En robots.txt-blokkering er en høflig forespørsel: crawleren leser reglene dine og henter ikke siden. En brannmurblokkering er et svar: crawleren ber om siden og får noe annet. Den siste typen kan du se direkte. Hent siden to ganger, én gang med en nettlesers user agent og én gang med crawlerens, og sammenlign.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Tegn på en brannmurblokkering: status 403, 429 eller 503 bare for crawleren; en side med tittelen Just a moment... eller Attention Required! | Cloudflare; et innhold som inneholder /cdn-cgi/challenge-platform; eller et 200-svar som er mye kortere enn nettleserens. Husk at testen din kommer fra din egen IP, ikke fra crawlerens verifiserte IP-område, så den viser hvordan brannmuren behandler user agent, ikke alle detaljer om hvordan den behandler den ekte crawleren.

Hvordan tillater jeg AI-søkecrawlere i Cloudflare

Cloudflares AI Crawl Control, som er tilgjengelig på alle planer, lister AI-crawlerne som besøker domenet ditt, og lar deg velge en handling for hver av dem. Åpne AI Crawl Control i dashbordet, gå til listen Crawlers og velg Allow eller Block i kolonnen Action for hver crawler. Cloudflare sier at en blokkering der oppretter eller oppdaterer en egendefinert WAF-regel i sonen din.

Hvis det er en egendefinert WAF-regel, Super Bot Fight Mode eller hastighetsbegrensning som blokkerer crawleren, legger du til en egendefinert regel som hopper over disse funksjonene for verifiserte boter og for crawlerens token:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Plasser regelen først. Merk at en matching på user agent også slipper inn alle som forfalsker den user agent-en. Der det går, er det bedre å bruke feltet for verifiserte boter (cf.client.bot) eller IP-områdene leverandøren publiserer.

Hva med Bot Fight Mode

Cloudflares dokumentasjon er tydelig på at Bot Fight Mode ikke kan omgås eller hoppes over med egendefinerte WAF-regler eller Page Rules. Hvis det er denne funksjonen som utfordrer crawlere, hjelper ikke en regel som hopper over kontrollen. Alternativene er å slå av Bot Fight Mode eller å bruke Super Bot Fight Mode på en plan som har det, som kjører på Ruleset Engine og støtter skip-regler.

Hvilke crawlere bør jeg slippe inn

Del crawlerne etter hva de gjør. Søke- og brukerhentende crawlere avgjør om AI-svar kan finne og sitere deg. Treningscrawlere samler inn data til modeller, og å blokkere dem er et legitimt valg som ikke fjerner deg fra AI-søk.

Cloudflares egne policyinnstillinger bruker samme inndeling i søk, agent og trening, så du kan tillate de to første og bestemme deg separat for den tredje. Bruker du en annen brannmur eller CDN, gjelder samme prinsipp: slipp gjennom crawlerens token, verifisert mot leverandørens publiserte IP-områder eller omvendt DNS der det tilbys, slik at den får samme svar som en nettleser.

Hvordan oppdager AISeeWhy brannmurblokkeringer

AISeeWhy henter siden din som 14 crawlere og en vanlig nettleser, sammenligner status, størrelse og omdirigeringer, gjenkjenner utfordringssider og navngir brannmuren eller CDN-en som svarte. Når robots.txt tillater en crawler, men serveren blokkerer den, viser rapporten konflikten og gir Cloudflare-regelen eller tillatelseslisten som løser det.

Vanlige spørsmål

Blokkerer Cloudflare AI-crawlere som standard?

Det avhenger av kontoen, planen og innstillingene i sonen din, og Cloudflare har endret disse alternativene over tid. Sjekk AI Crawl Control og botinnstillingene dine, og test med crawlerens user agent i stedet for å anta.

Hvorfor fungerer nettstedet mitt i en nettleser, men ikke for crawlere?

Brannmurer vurderer hver forespørsel. En nettleser klarer JavaScript-utfordringer og beholder informasjonskapsler; en crawler gjør ikke det, så den kan få en utfordringsside eller en 403 som du aldri ser.

Er det trygt å slippe AI-crawlere gjennom WAF-en?

Å tillate en navngitt crawler er lav risiko hvis du verifiserer den mot leverandørens IP-områder eller Cloudflares signal for verifiserte boter. Regler som stoler bare på user agent, slipper også inn alle som kopierer den.

Påvirker Cloudflares funksjon for å skjule e-postadresser AI-crawlere?

Den erstatter e-postadresser med en lenke som bare et skript kan dekode, så crawlere ser en plassholder i stedet for adressen. Vil du at kontakt-e-posten din skal være lesbar, slår du av Email Address Obfuscation under Scrape Shield og viser adressen som vanlig tekst.

Kilder

Flere artikler