Näin luet Cloudflaren AI Crawl Control -raporttia ja näet, mitkä tekoälycrawlerit pääsevät sisään
Avaa Cloudflaren hallintapaneelista AI Crawl Control: crawler-lista näyttää jokaisen tekoälycrawlerin, jonka Cloudflare on nähnyt verkkotunnuksessasi, sen pyynnöt, sen robots.txt-rikkomukset ja onko sen toiminto Allow vai Block. Jos haluat pitää tekoälyhaun mutta kieltäytyä koulutuksesta, salli haku- ja agentticrawlerit ja estä tai kiellä koulutuscrawlerit siellä tai AI Crawler and Agent access policies -asetuksissa. Varmista sitten tulos ulkopuolelta curlilla, koska muut Cloudflaren ominaisuudet voivat yhä estää sallimasi crawlerin.
Cloudflarella on nyt kaksi paikkaa, jotka päättävät, mitä tekoälycrawlerit saavat: AI Crawl Control, crawler-kohtainen raportti ja ohjauspaneeli, jonka nimi oli aiemmin AI Audit, sekä koko vyöhykettä koskevat AI Crawler and Agent access policies -käytännöt Security-asetuksissa. Molemmat ovat käytettävissä Free-paketissa, molemmat muuttuivat vuoden 2026 aikana, eikä kumpikaan kerro kaikista muista ominaisuuksista, jotka voivat yhä vastata crawlerille 403-virheellä. Tämä opas käy raportin läpi sarake sarakkeelta, näyttää, missä sallinta ja esto asetetaan, ja päättyy testiin, jonka voit ajaa omalta koneeltasi.
Tällä sivulla
- Missä Cloudflaren tekoälycrawler-raportti on?
- Mitä AI Crawl Control -raportin sarakkeet ja mittarit tarkoittavat?
- Miten sallin tekoälyn hakucrawlerit ja estän koulutuscrawlerit Cloudflaressa?
- Mikä muuttui Cloudflaren tekoälycrawlerien oletusasetuksissa?
- Miksi Cloudflare estää yhä tekoälycrawlerit, vaikka sallin ne?
- Miten varmistan ulkopuolelta, mitkä tekoälycrawlerit Cloudflare päästää sisään?
- Miten AISeeWhy tarkistaa, mitä Cloudflare lähettää tekoälycrawlereille?
Missä Cloudflaren tekoälycrawler-raportti on?
Valitse hallintapaneelissa tilisi ja verkkotunnuksesi ja avaa AI Crawl Control. Cloudflaren mukaan se toimii ilman asetuksia ja on käytettävissä kaikissa paketeissa, kunhan verkkotunnuksesi liikenne kulkee Cloudflaren välityspalvelimen kautta. Siinä on neljä osaa:
- Overview: tiivistelmä, jossa on pyyntöjen kokonaismäärä, määrän muutos, yleisin tilakoodi, suosituin polku ja paljon pyyntöjä tekevät crawlerit, sekä tieto siitä, onko Cloudflaren hallinnoima robots.txt päällä, ja crawlerit ryhmiteltyinä ylläpitäjän mukaan, kuten OpenAI, Microsoft, Google, ByteDance, Anthropic ja Meta.
- Crawler-lista: yksi rivi tekoälycrawleria kohden ja Action-sarake, jossa valitset Allow tai Block. Cloudflaren dokumentaatio kutsuu tätä välilehteä yhdellä sivulla nimellä Crawlers ja toisella nimellä Security, joten etsi taulukko, jossa on Action-sarake.
- Metrics: pyynnöt ajan mittaan, tilakoodien jakauma, sisältömuoto, suosituimmat polut ja maksullisissa paketeissa viittaukset (referrals). Suodattimet kattavat aikavälin, crawlerin, ylläpitäjän, isäntänimen ja polun, ja voit viedä tiedot CSV-tiedostoon.
- Directives: robots.txt-tiedostosi kunto ja luettelo robots.txt-rikkomuksista.
Kaksi pakettirajoitusta on tärkeää lukujen tulkinnassa. Free-paketissa AI Crawl Control tunnistaa crawlerit pelkän user agent -merkkijonon perusteella, joten se näkee vain itsensä esittelevät crawlerit, ja Metrics-välilehti kattaa viimeiset 24 tuntia. Maksulliset paketit lisäävät tunnistuksen Bot Managementin tunnistus-ID:n avulla, ja Enterprise-paketissa Bot Managementin kanssa aikavälin voi määrittää itse.
Mitä AI Crawl Control -raportin sarakkeet ja mittarit tarkoittavat?
Cloudflare dokumentoi kentät seuraavasti. Määritelmillä on merkitystä, koska useat luvut laskevat enemmän kuin voisi olettaa.
- Crawler ja Category: crawlerin nimi, sen ylläpitäjä ja sen luokka, kuten tekoälycrawler, tekoälyavustaja tai arkistoija.
- Requests: sallitut ja epäonnistuneet pyynnöt yhteensä trendikaavion kera. Epäonnistuneet pyynnöt voivat johtua mistä tahansa säännöstä tai vastausvirheestä, eivät vain AI Crawl Controlin estosta, joten suuri luku sallimallesi crawlerille viittaa toiseen sääntöön tai alkuperäpalvelimen virheisiin.
- Allowed requests: pyynnöt, jotka saivat tilakoodin väliltä 200–299. Siirretyn datan määrä lasketaan tavuista, jotka Cloudflare lähetti sallittuihin pyyntöihin.
- Robots.txt violations: kuinka monta kertaa crawler pyysi polkua, jonka robots.txt kieltää. Cloudflare vertaa aiempia pyyntöjä nykyisiin sääntöihisi, joten tänään lisäämäsi sääntö voi merkitä pyyntöjä, jotka olivat sallittuja tehtäessä.
- Action: Allow, Block tai pay per crawl -betaan kuuluvilla tileillä Charge.
- Tilakoodien jakauma: 2xx, 3xx, 4xx ja 5xx. 4xx-ryhmään kuuluvat estojen 403-koodit ja pay per crawlin 402-koodit.
- Viittaukset ja tärkeimmät viittaajat, vain maksullisissa paketeissa: käynnit, jotka tulivat tekoälypalveluista, esimerkiksi chatgpt.comista, ja sivut, joille ne saapuivat.
Lue raporttia valitsemasi toiminnon kautta. Allow-tilaan asetetulla crawlerilla pitäisi näkyä enimmäkseen sallittuja pyyntöjä ja 2xx-koodeja. Jos sillä näkyy paljon epäonnistuneita pyyntöjä, avaa tilakoodien jakauma suodatettuna kyseiseen crawleriin ja etsi Security Analyticsista sääntö, joka vastasi.
Miten sallin tekoälyn hakucrawlerit ja estän koulutuscrawlerit Cloudflaressa?
Voit tehdä sen crawler kerrallaan tai toiminnan tyypin mukaan. Crawler kerrallaan: avaa AI Crawl Control ja aseta jokaisen rivin Action. Cloudflaren mukaan esto siellä luo tai päivittää vyöhykkeellesi WAF:n mukautetun säännön, jota voit laajentaa WAF:ssa polkupoikkeuksilla. Maksullisissa paketeissa voit valita, saavatko estetyt crawlerit vastaukseksi 403 vai 402, ja asettaa pelkkää tekstiä olevan vastausrungon.
Toiminnan tyypin mukaan: siirry kohtaan Security ja sitten Settings, suodata Bot traffic ja avaa AI Crawler and Agent access policies. Cloudflare jakaa tekoälyliikenteen kolmeen toimintatapaan, ja jokainen käytäntö koskee kyseisellä tavalla toimivia vahvistettuja botteja ja vastaavia vahvistamattomia botteja:
- Search: sisällön kerääminen tai indeksointi, jotta kysymyksiin voidaan vastata myöhemmin.
- Agent: reaaliaikainen toiminta ihmisen puolesta, kuten keskustelun noudot ja selainagentit.
- Training: sisällön kerääminen mallien koulutukseen tai hienosäätöön, mukaan lukien crawlerit, joita käytetään sekä koulutukseen että hakuun.
Jokaisen toimintatavan voi asettaa tilaan Block, Block on pages with ads (estä mainoksia sisältävillä sivuilla) tai Allow (do not block). Trainingilla on lisäksi Disallow, joka vain pyytää crawlereita robots.txt:n kautta. Kun Bot Preference Sync on päällä, Cloudflare lisää robots.txt:n alkuun hallinnoidut säännöt, jotka kieltävät Amazonbotin, Applebot-Extendedin, Bytespiderin, CCBotin, ClaudeBotin, Google-Extendedin, GPTBotin ja meta-externalagentin, lisää Content Signals -rivin ja estää lisäksi tekoälyn koulutuscrawlerit reunalla, paitsi crawlerit, joita käytetään sekä hakuun että koulutukseen.
Useimmille sivustoille, jotka haluavat tekoälyn lainauksia, turvallinen yhdistelmä on Search ja Agent tilassa Allow ja Training tilassa Disallow, ja sen lisäksi yksittäiset Block-toiminnot AI Crawl Controlissa niille vain koulutukseen käytetyille crawlereille, jotka haluat pysäyttää reunalla.
Mikä muuttui Cloudflaren tekoälycrawlerien oletusasetuksissa?
Cloudflare ilmoitti 1. heinäkuuta 2025 muuttavansa oletuksen niin, että tekoälycrawlerit estetään, elleivät ne maksa sisällöntuottajille. 1. heinäkuuta 2026 se korvasi yksittäisen Block AI bots -kytkimen edellä kuvatuilla erillisillä Search-, Agent- ja Training-käytännöillä kaikissa paketeissa, myös Free-paketissa. Samassa ilmoituksessa kerrottiin, että 15. syyskuuta 2026 alkaen käyttöön otettavilla uusilla verkkotunnuksilla Training ja Agent estettäisiin mainoksia näyttävillä sivuilla ja Search sallittaisiin.
Cloudflaren nykyinen käytäntödokumentaatio, joka on päivitetty viimeksi 2. marraskuuta 2026, sanoo uusien verkkotunnusten oletukseksi Allow (do not block) kaikille kolmelle toimintatavalle. Koska Cloudflaren omat sivut ovat kuvanneet eri aikoina eri oletuksia, älä luota niistä mihinkään oman vyöhykkeesi kohdalla: avaa käytäntösivu ja katso, mitä on asetettu.
Miksi Cloudflare estää yhä tekoälycrawlerit, vaikka sallin ne?
AI Crawl Controlin Allow-toiminto estää vain AI Crawl Controlia estämästä. Muut ominaisuudet käsittelevät pyyntöä edelleen. Tavallisia syitä:
- Trainingin estäminen estää myös hakucrawlerit, jotka tekevät molempia. Cloudflaren dokumentaation mukaan Training-toiminnot koskevat monikäyttöisiä crawlereita, ja sen heinäkuun 2026 ilmoitus nimeää Googlebotin, Applebotin ja bingbotin crawlereiksi, jotka Trainingin estävät asiakkaat estävät 15. syyskuuta 2026 alkaen. Disallow on suppeampi valinta, koska sen reunaesto ohittaa monikäyttöiset crawlerit.
- Bot Fight Mode on päällä. Cloudflare toteaa, ettei Bot Fight Modea voi ohittaa WAF:n mukautetuilla säännöillä tai Page Rules -säännöillä. Jos se näyttää crawlerille haasteen, kytke se pois tai käytä paketissa, jossa se on saatavilla, Super Bot Fight Modea, joka tukee ohitussääntöjä.
- Vanha WAF:n mukautettu sääntö estää user agentit, joissa on
bot, tai nopeusrajoitussääntö vastaa ryöppyihin koodilla 429. Nämä toimivat AI Crawl Controlin Action-asetuksesta riippumatta. - Estosääntöä on muokattu käsin. Jos AI Crawl Controlin takana olevaa WAF-sääntöä on muutettu palauttamaan toinen vastauskoodi, hallintapaneeli ei voi enää valvoa valintaasi.
- robots.txt kieltää yhä crawlerin. Cloudflaren Allow ei muuta robots.txt:tä, joten sääntöjä noudattava crawler pysyy silti poissa. Tutkimuksessamme 1 000 suosituimmasta verkkotunnuksesta 98 niistä 155 sivustosta, jotka estivät tekoälyn koulutuscrawlerin robots.txt:ssä, esti myös vähintään yhden tekoälyn haku- tai käyttäjäcrawlerin.
Miten varmistan ulkopuolelta, mitkä tekoälycrawlerit Cloudflare päästää sisään?
Pyydä sama sivu selaimen user agentilla ja kunkin crawlerin user agentilla ja vertaa tilaa ja kokoa. Alla olevat OpenAI:n, Perplexityn ja Googlen merkkijonot ovat yritysten itse julkaisemia.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Crawler-rivi, jossa on 403, 429 tai 503 tai selvästi pienempi koko kuin selainrivillä, tarkoittaa, että jokin alkuperäpalvelimesi edessä vastasi eri tavalla. Free-paketissa AI Crawl Control tunnistaa crawlerit user agentin perusteella, joten tämä testi tarkistaa sen estot kohtuullisen hyvin. Vahvistettuun bottitilaan tai bottipisteisiin perustuvat säännöt voivat kohdella pyyntöäsi eri tavalla kuin oikeaa crawleria, koska se tulee sinun IP-osoitteestasi eikä ylläpitäjän julkaisemista osoitealueista. Etsi testin jälkeen omat pyyntösi Security Analyticsista nähdäksesi, mikä sääntö osui.
Miten AISeeWhy tarkistaa, mitä Cloudflare lähettää tekoälycrawlereille?
Ilmainen AISeeWhy-tarkistus pyytää sivusi 16 tekoäly- ja hakucrawlerina oikean selaimen rinnalla, soveltaa robots.txt:ää crawler kerrallaan ja tunnistaa palomuurien haastesivut, joten näet, vastaako Cloudflaren hallintapaneelin tulos sitä, mitä crawlerit oikeasti saavat.
Korjaukset tähän ongelmaan
Seuraavat vaiheet
- robots.txt-testeri ja -tarkistin tekoälyindeksoijille
- Tekoälyindeksoijan IP-tarkistus
- Katso esimerkki koko raportista
- Tekoälyindeksoijien valvonta
- Tilaukset ja hinnat
Tämän artikkelin indeksoijat
Usein kysytyt kysymykset
Onko Cloudflaren AI Crawl Control ilmainen?
On. Cloudflaren mukaan AI Crawl Control on käytettävissä kaikissa paketeissa. Free-paketti tunnistaa crawlerit vain user agentin perusteella ja näyttää Metricsissä viimeiset 24 tuntia; viittausdata ja mukautetut estovastaukset vaativat maksullisen paketin.
Mitä Cloudflaren AI Auditille tapahtui?
Se nimettiin uudelleen. Cloudflaren dokumentaatio kuvaa AI Crawl Controlin entiseksi AI Auditiksi, jolla on sama tarkoitus: nähdä, mitkä tekoälycrawlerit vierailevat, ja asettaa kullekin toiminto.
Muuttaako crawlerin estäminen AI Crawl Controlissa robots.txt-tiedostoani?
Ei. Block-toiminto luo tai päivittää WAF:n mukautetun säännön. robots.txt muuttuu vain, jos käytät Trainingin Disallow-vaihtoehtoa Bot Preference Syncin kanssa, jolloin Cloudflaren hallinnoidut säännöt lisätään tiedostosi alkuun.
Mikä lasketaan Cloudflaressa robots.txt-rikkomukseksi?
Tekoälycrawlerin pyyntö polkuun, jonka robots.txt kieltää. Cloudflare vertaa aiempia pyyntöjä nykyisiin sääntöihisi, joten uusi sääntö voi merkitä vanhempia pyyntöjä, jotka olivat tuolloin sallittuja.
Mikä on pay per crawl?
Charge-toiminto, joka pyytää tekoälycrawlereita maksamaan pyyntöä kohden ja muuten vastaa HTTP-koodilla 402 ja hinnalla. Cloudflare kuvaa sen suljetuksi betaksi, ja WAF:n tai Bot Managementin estot menevät sen edelle.
Lähteet
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11