AISeeWhy
FI
Aloita ilmainen kokeilu

Estääkö Cloudflare tekoälycrawlerit? Näin selvität asian ja korjaat sen

Julkaistu

Lyhyt vastaus

Cloudflare ja muut palomuurit voivat vastata tekoälycrawlereille 403-, 429- tai ”Just a moment...” -haastesivulla, vaikka selaimet saavat oikean sivun ja robots.txt sallii crawlerin. Tarkista asia noutamalla sivu crawlerin user agentilla ja salli sitten tekoälyhakucrawlerit AI Crawl Controlissa tai WAF:n ohitussäännöllä.

Bottisuojaus on olemassa scraperien ja väärinkäytön pysäyttämiseksi, ja se on siinä hyvä. Ongelma on, että tekoälyhakucrawlerit ovat myös botteja. Vuosia sitten käyttöön otettu suojausasetus, nopeusrajoitus tai laaja sääntö tuntemattomia user agenteja vastaan voi huomaamatta pitää ulkona juuri ne crawlerit, jotka lainaavat sinua, vaikka omat vierailusi näyttävät täysin normaaleilta.

Tällä sivulla
  1. Miksi palomuuri estäisi tekoälycrawlerit
  2. Miten erotan palomuuriesteen robots.txt-esteestä
  3. Miten sallin tekoälyhakucrawlerit Cloudflaressa
  4. Entä Bot Fight Mode
  5. Mitkä crawlerit kannattaa päästää läpi
  6. Miten AISeeWhy havaitsee palomuuriesteet

Miksi palomuuri estäisi tekoälycrawlerit

Palomuurit arvioivat jokaisen pyynnön. Crawler ei suorita JavaScript-haasteita, ei säilytä evästeitä kuten selain ja pyytää usein monta sivua peräkkäin, joten se voi näyttää täsmälleen siltä liikenteeltä, jonka pysäyttämiseksi bottisuojaus on rakennettu. Yleisiä syitä ovat:

Miten erotan palomuuriesteen robots.txt-esteestä

robots.txt-esto on kohtelias pyyntö: crawler lukee sääntösi eikä nouda sivua. Palomuuriesto on vastaus: crawler pyytää sivua ja saa jotain muuta. Jälkimmäisen näet suoraan. Pyydä sivu kahdesti, kerran selaimen user agentilla ja kerran crawlerin, ja vertaa.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Palomuuriesteen merkkejä: tilakoodi 403, 429 tai 503 vain crawlerille; sivu, jonka otsikko on Just a moment... tai Attention Required! | Cloudflare; sisältö, jossa on /cdn-cgi/challenge-platform; tai 200-vastaus, joka on selvästi lyhyempi kuin selaimen. Muista, että testisi tulee omasta IP-osoitteestasi, ei crawlerin varmennetulta IP-alueelta, joten se näyttää, miten palomuuri kohtelee user agentia, ei kaikkea siitä, miten se kohtelee oikeaa crawleria.

Miten sallin tekoälyhakucrawlerit Cloudflaressa

Cloudflaren AI Crawl Control, joka on käytettävissä kaikissa paketeissa, listaa verkkotunnuksellasi vierailevat tekoälycrawlerit ja antaa valita toiminnon kullekin. Avaa hallintapaneelissa AI Crawl Control, siirry Crawlers-listaan ja valitse Action-sarakkeesta Allow tai Block kullekin crawlerille. Cloudflare sanoo, että siellä tehty esto luo tai päivittää mukautetun WAF-säännön vyöhykkeellesi.

Jos crawlerin estää mukautettu WAF-sääntö, Super Bot Fight Mode tai nopeusrajoitus, lisää mukautettu sääntö, joka ohittaa nämä ominaisuudet varmennetuille boteille ja crawlerin tokenille:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Sijoita sääntö ensimmäiseksi. Huomaa, että user agentiin perustuva vertailu päästää läpi myös kaikki, jotka väärentävät kyseisen user agentin. Käytä mahdollisuuksien mukaan mieluummin varmennettujen bottien kenttää (cf.client.bot) tai toimittajan julkaisemia IP-alueita.

Entä Bot Fight Mode

Cloudflaren dokumentaatio sanoo selvästi, ettei Bot Fight Modea voi ohittaa mukautetuilla WAF-säännöillä tai Page Rulesilla. Jos juuri se haastaa crawlerit, ohitussääntö ei auta. Vaihtoehtoina on kytkeä Bot Fight Mode pois tai käyttää Super Bot Fight Modea paketissa, jossa se on, ja joka toimii Ruleset Enginellä ja tukee ohitussääntöjä.

Mitkä crawlerit kannattaa päästää läpi

Jaa crawlerit sen mukaan, mitä ne tekevät. Haku- ja käyttäjän puolesta noutavat crawlerit ratkaisevat, voivatko tekoälyvastaukset löytää ja lainata sinua. Koulutuscrawlerit keräävät dataa malleille, ja niiden estäminen on perusteltu valinta, joka ei poista sinua tekoälyhausta.

Cloudflaren omat linjausasetukset käyttävät samaa jakoa hakuun, agentteihin ja koulutukseen, joten voit sallia kaksi ensimmäistä ja päättää kolmannesta erikseen. Jos käytät toista palomuuria tai CDN:ää, periaate on sama: salli crawlerin token, varmennettuna toimittajan julkaisemilla IP-alueilla tai käänteisellä DNS:llä siellä, missä sitä tarjotaan, jotta se saa saman vastauksen kuin selain.

Miten AISeeWhy havaitsee palomuuriesteet

AISeeWhy pyytää sivusi 14 crawlerina ja tavallisena selaimena, vertaa tilaa, kokoa ja uudelleenohjauksia, tunnistaa haastesivut ja nimeää vastanneen palomuurin tai CDN:n. Kun robots.txt sallii crawlerin mutta palvelin estää sen, raportti näyttää ristiriidan ja antaa Cloudflare-säännön tai sallittujen listan vaiheen, jolla se korjataan.

Usein kysytyt kysymykset

Estääkö Cloudflare tekoälycrawlerit oletuksena?

Se riippuu tilistäsi, paketistasi ja vyöhykkeesi asetuksista, ja Cloudflare on muuttanut näitä vaihtoehtoja ajan myötä. Tarkista AI Crawl Control ja bottiasetuksesi ja testaa crawlerin user agentilla sen sijaan, että oletat.

Miksi sivustoni toimii selaimessa mutta ei crawlereille?

Palomuurit arvioivat jokaisen pyynnön. Selain läpäisee JavaScript-haasteet ja säilyttää evästeet; crawler ei, joten se voi saada haastesivun tai 403-virheen, jota et koskaan näe.

Onko tekoälycrawlerien päästäminen WAF:n läpi turvallista?

Nimetyn crawlerin salliminen on pieni riski, jos varmennat sen toimittajan IP-alueilla tai Cloudflaren varmennettujen bottien signaalilla. Säännöt, jotka luottavat pelkkään user agentiin, päästävät läpi myös kaikki, jotka kopioivat sen.

Vaikuttaako Cloudflaren sähköpostiosoitteiden hämärtäminen tekoälycrawlereihin?

Se korvaa sähköpostiosoitteet linkillä, jonka vain skripti purkaa, joten crawlerit näkevät osoitteen sijaan paikkamerkin. Jos haluat yhteyssähköpostisi olevan luettavissa, kytke Scrape Shieldin Email Address Obfuscation pois ja näytä osoite tavallisena tekstinä.

Lähteet

Lisää artikkeleita