Näin luet Cloudflaren AI Crawl Control -raporttia ja näet, mitkä tekoälycrawlerit pääsevät sisään

Julkaistu

Lyhyt vastaus

Avaa Cloudflaren hallintapaneelista AI Crawl Control: crawler-lista näyttää jokaisen tekoälycrawlerin, jonka Cloudflare on nähnyt verkkotunnuksessasi, sen pyynnöt, sen robots.txt-rikkomukset ja onko sen toiminto Allow vai Block. Jos haluat pitää tekoälyhaun mutta kieltäytyä koulutuksesta, salli haku- ja agentticrawlerit ja estä tai kiellä koulutuscrawlerit siellä tai AI Crawler and Agent access policies -asetuksissa. Varmista sitten tulos ulkopuolelta curlilla, koska muut Cloudflaren ominaisuudet voivat yhä estää sallimasi crawlerin.

Cloudflarella on nyt kaksi paikkaa, jotka päättävät, mitä tekoälycrawlerit saavat: AI Crawl Control, crawler-kohtainen raportti ja ohjauspaneeli, jonka nimi oli aiemmin AI Audit, sekä koko vyöhykettä koskevat AI Crawler and Agent access policies -käytännöt Security-asetuksissa. Molemmat ovat käytettävissä Free-paketissa, molemmat muuttuivat vuoden 2026 aikana, eikä kumpikaan kerro kaikista muista ominaisuuksista, jotka voivat yhä vastata crawlerille 403-virheellä. Tämä opas käy raportin läpi sarake sarakkeelta, näyttää, missä sallinta ja esto asetetaan, ja päättyy testiin, jonka voit ajaa omalta koneeltasi.

Tällä sivulla
  1. Missä Cloudflaren tekoälycrawler-raportti on?
  2. Mitä AI Crawl Control -raportin sarakkeet ja mittarit tarkoittavat?
  3. Miten sallin tekoälyn hakucrawlerit ja estän koulutuscrawlerit Cloudflaressa?
  4. Mikä muuttui Cloudflaren tekoälycrawlerien oletusasetuksissa?
  5. Miksi Cloudflare estää yhä tekoälycrawlerit, vaikka sallin ne?
  6. Miten varmistan ulkopuolelta, mitkä tekoälycrawlerit Cloudflare päästää sisään?
  7. Miten AISeeWhy tarkistaa, mitä Cloudflare lähettää tekoälycrawlereille?

Missä Cloudflaren tekoälycrawler-raportti on?

Valitse hallintapaneelissa tilisi ja verkkotunnuksesi ja avaa AI Crawl Control. Cloudflaren mukaan se toimii ilman asetuksia ja on käytettävissä kaikissa paketeissa, kunhan verkkotunnuksesi liikenne kulkee Cloudflaren välityspalvelimen kautta. Siinä on neljä osaa:

Kaksi pakettirajoitusta on tärkeää lukujen tulkinnassa. Free-paketissa AI Crawl Control tunnistaa crawlerit pelkän user agent -merkkijonon perusteella, joten se näkee vain itsensä esittelevät crawlerit, ja Metrics-välilehti kattaa viimeiset 24 tuntia. Maksulliset paketit lisäävät tunnistuksen Bot Managementin tunnistus-ID:n avulla, ja Enterprise-paketissa Bot Managementin kanssa aikavälin voi määrittää itse.

Mitä AI Crawl Control -raportin sarakkeet ja mittarit tarkoittavat?

Cloudflare dokumentoi kentät seuraavasti. Määritelmillä on merkitystä, koska useat luvut laskevat enemmän kuin voisi olettaa.

Lue raporttia valitsemasi toiminnon kautta. Allow-tilaan asetetulla crawlerilla pitäisi näkyä enimmäkseen sallittuja pyyntöjä ja 2xx-koodeja. Jos sillä näkyy paljon epäonnistuneita pyyntöjä, avaa tilakoodien jakauma suodatettuna kyseiseen crawleriin ja etsi Security Analyticsista sääntö, joka vastasi.

Miten sallin tekoälyn hakucrawlerit ja estän koulutuscrawlerit Cloudflaressa?

Voit tehdä sen crawler kerrallaan tai toiminnan tyypin mukaan. Crawler kerrallaan: avaa AI Crawl Control ja aseta jokaisen rivin Action. Cloudflaren mukaan esto siellä luo tai päivittää vyöhykkeellesi WAF:n mukautetun säännön, jota voit laajentaa WAF:ssa polkupoikkeuksilla. Maksullisissa paketeissa voit valita, saavatko estetyt crawlerit vastaukseksi 403 vai 402, ja asettaa pelkkää tekstiä olevan vastausrungon.

Toiminnan tyypin mukaan: siirry kohtaan Security ja sitten Settings, suodata Bot traffic ja avaa AI Crawler and Agent access policies. Cloudflare jakaa tekoälyliikenteen kolmeen toimintatapaan, ja jokainen käytäntö koskee kyseisellä tavalla toimivia vahvistettuja botteja ja vastaavia vahvistamattomia botteja:

Jokaisen toimintatavan voi asettaa tilaan Block, Block on pages with ads (estä mainoksia sisältävillä sivuilla) tai Allow (do not block). Trainingilla on lisäksi Disallow, joka vain pyytää crawlereita robots.txt:n kautta. Kun Bot Preference Sync on päällä, Cloudflare lisää robots.txt:n alkuun hallinnoidut säännöt, jotka kieltävät Amazonbotin, Applebot-Extendedin, Bytespiderin, CCBotin, ClaudeBotin, Google-Extendedin, GPTBotin ja meta-externalagentin, lisää Content Signals -rivin ja estää lisäksi tekoälyn koulutuscrawlerit reunalla, paitsi crawlerit, joita käytetään sekä hakuun että koulutukseen.

Useimmille sivustoille, jotka haluavat tekoälyn lainauksia, turvallinen yhdistelmä on Search ja Agent tilassa Allow ja Training tilassa Disallow, ja sen lisäksi yksittäiset Block-toiminnot AI Crawl Controlissa niille vain koulutukseen käytetyille crawlereille, jotka haluat pysäyttää reunalla.

Mikä muuttui Cloudflaren tekoälycrawlerien oletusasetuksissa?

Cloudflare ilmoitti 1. heinäkuuta 2025 muuttavansa oletuksen niin, että tekoälycrawlerit estetään, elleivät ne maksa sisällöntuottajille. 1. heinäkuuta 2026 se korvasi yksittäisen Block AI bots -kytkimen edellä kuvatuilla erillisillä Search-, Agent- ja Training-käytännöillä kaikissa paketeissa, myös Free-paketissa. Samassa ilmoituksessa kerrottiin, että 15. syyskuuta 2026 alkaen käyttöön otettavilla uusilla verkkotunnuksilla Training ja Agent estettäisiin mainoksia näyttävillä sivuilla ja Search sallittaisiin.

Cloudflaren nykyinen käytäntödokumentaatio, joka on päivitetty viimeksi 2. marraskuuta 2026, sanoo uusien verkkotunnusten oletukseksi Allow (do not block) kaikille kolmelle toimintatavalle. Koska Cloudflaren omat sivut ovat kuvanneet eri aikoina eri oletuksia, älä luota niistä mihinkään oman vyöhykkeesi kohdalla: avaa käytäntösivu ja katso, mitä on asetettu.

Miksi Cloudflare estää yhä tekoälycrawlerit, vaikka sallin ne?

AI Crawl Controlin Allow-toiminto estää vain AI Crawl Controlia estämästä. Muut ominaisuudet käsittelevät pyyntöä edelleen. Tavallisia syitä:

Miten varmistan ulkopuolelta, mitkä tekoälycrawlerit Cloudflare päästää sisään?

Pyydä sama sivu selaimen user agentilla ja kunkin crawlerin user agentilla ja vertaa tilaa ja kokoa. Alla olevat OpenAI:n, Perplexityn ja Googlen merkkijonot ovat yritysten itse julkaisemia.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Crawler-rivi, jossa on 403, 429 tai 503 tai selvästi pienempi koko kuin selainrivillä, tarkoittaa, että jokin alkuperäpalvelimesi edessä vastasi eri tavalla. Free-paketissa AI Crawl Control tunnistaa crawlerit user agentin perusteella, joten tämä testi tarkistaa sen estot kohtuullisen hyvin. Vahvistettuun bottitilaan tai bottipisteisiin perustuvat säännöt voivat kohdella pyyntöäsi eri tavalla kuin oikeaa crawleria, koska se tulee sinun IP-osoitteestasi eikä ylläpitäjän julkaisemista osoitealueista. Etsi testin jälkeen omat pyyntösi Security Analyticsista nähdäksesi, mikä sääntö osui.

Miten AISeeWhy tarkistaa, mitä Cloudflare lähettää tekoälycrawlereille?

Ilmainen AISeeWhy-tarkistus pyytää sivusi 16 tekoäly- ja hakucrawlerina oikean selaimen rinnalla, soveltaa robots.txt:ää crawler kerrallaan ja tunnistaa palomuurien haastesivut, joten näet, vastaako Cloudflaren hallintapaneelin tulos sitä, mitä crawlerit oikeasti saavat.

Korjaukset tähän ongelmaan

Ilmaiset työkalut

Seuraavat vaiheet

Tämän artikkelin indeksoijat

Usein kysytyt kysymykset

Onko Cloudflaren AI Crawl Control ilmainen?

On. Cloudflaren mukaan AI Crawl Control on käytettävissä kaikissa paketeissa. Free-paketti tunnistaa crawlerit vain user agentin perusteella ja näyttää Metricsissä viimeiset 24 tuntia; viittausdata ja mukautetut estovastaukset vaativat maksullisen paketin.

Mitä Cloudflaren AI Auditille tapahtui?

Se nimettiin uudelleen. Cloudflaren dokumentaatio kuvaa AI Crawl Controlin entiseksi AI Auditiksi, jolla on sama tarkoitus: nähdä, mitkä tekoälycrawlerit vierailevat, ja asettaa kullekin toiminto.

Muuttaako crawlerin estäminen AI Crawl Controlissa robots.txt-tiedostoani?

Ei. Block-toiminto luo tai päivittää WAF:n mukautetun säännön. robots.txt muuttuu vain, jos käytät Trainingin Disallow-vaihtoehtoa Bot Preference Syncin kanssa, jolloin Cloudflaren hallinnoidut säännöt lisätään tiedostosi alkuun.

Mikä lasketaan Cloudflaressa robots.txt-rikkomukseksi?

Tekoälycrawlerin pyyntö polkuun, jonka robots.txt kieltää. Cloudflare vertaa aiempia pyyntöjä nykyisiin sääntöihisi, joten uusi sääntö voi merkitä vanhempia pyyntöjä, jotka olivat tuolloin sallittuja.

Mikä on pay per crawl?

Charge-toiminto, joka pyytää tekoälycrawlereita maksamaan pyyntöä kohden ja muuten vastaa HTTP-koodilla 402 ja hinnalla. Cloudflare kuvaa sen suljetuksi betaksi, ja WAF:n tai Bot Managementin estot menevät sen edelle.

Lähteet

Lisää artikkeleita