AISeeWhy
HU
Ingyenes próba

Blokkolja a Cloudflare az AI-crawlereket? Így derítheti ki és javíthatja

Megjelent

Rövid válasz

A Cloudflare és más tűzfalak 403-mal, 429-cel vagy „Just a moment...” kihívásoldallal válaszolhatnak az AI-crawlereknek, miközben a böngészők a valódi oldalt kapják, még akkor is, ha a robots.txt engedi a crawlert. Ellenőrizze úgy, hogy lekéri az oldalt a crawler user agentjével, majd engedélyezze az AI-keresőcrawlereket az AI Crawl Controlban vagy egy WAF-kihagyási szabállyal.

A botvédelem azért van, hogy megállítsa a scrapereket és a visszaéléseket, és ebben jó is. A gond az, hogy az AI-keresőcrawlerek is botok. Egy évekkel ezelőtt bekapcsolt biztonsági beállítás, egy sebességkorlát vagy az ismeretlen user agentek elleni általános szabály észrevétlenül kint tarthatja azokat a crawlereket, amelyek idéznék Önt, miközben az Ön saját látogatásai tökéletesen működnek.

Ezen az oldalon
  1. Miért blokkolna egy tűzfal AI-crawlereket?
  2. Hogyan különböztetem meg a tűzfalblokkot a robots.txt-blokktól?
  3. Hogyan engedélyezem az AI-keresőcrawlereket a Cloudflare-ben?
  4. Mi a helyzet a Bot Fight Mode-dal?
  5. Melyik crawlereket engedjem át?
  6. Hogyan észleli az AISeeWhy a tűzfalblokkokat?

Miért blokkolna egy tűzfal AI-crawlereket?

A tűzfalak minden kérést megítélnek. A crawler nem futtat JavaScript-kihívásokat, nem tart meg sütiket, mint egy böngésző, és gyakran sok oldalt kér le egymás után, így pontosan úgy nézhet ki, mint az a forgalom, amelynek megállítására a botvédelmet építették. Gyakori okok:

Hogyan különböztetem meg a tűzfalblokkot a robots.txt-blokktól?

A robots.txt-blokk udvarias kérés: a crawler elolvassa a szabályait, és nem tölti le az oldalt. A tűzfalblokk egy válasz: a crawler lekéri az oldalt, és mást kap. Ez utóbbit közvetlenül láthatja. Kérje le az oldalt kétszer, egyszer böngésző user agenttel, egyszer a crawlerével, és hasonlítsa össze.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

A tűzfalblokk jelei: csak a crawlernek adott 403-as, 429-es vagy 503-as státusz; Just a moment... vagy Attention Required! | Cloudflare című oldal; olyan törzs, amely tartalmazza a /cdn-cgi/challenge-platform szöveget; vagy a böngészőénél jóval rövidebb 200-as válasz. Tartsa észben, hogy a teszt az Ön IP-címéről érkezik, nem a crawler ellenőrzött IP-tartományából, ezért azt mutatja meg, hogyan kezeli a tűzfal a user agentet, nem azt, hogy a valódi crawlert minden részletében hogyan kezeli.

Hogyan engedélyezem az AI-keresőcrawlereket a Cloudflare-ben?

A Cloudflare AI Crawl Control funkciója, amely minden csomagban elérhető, felsorolja a domainjét meglátogató AI-crawlereket, és mindegyikhez műveletet állíthat be. A dashboardon nyissa meg az AI Crawl Controlt, lépjen a Crawlers listához, és az Action oszlopban válassza az Allow vagy Block lehetőséget az egyes crawlerekhez. A Cloudflare szerint az ottani blokkolás létrehoz vagy frissít egy egyéni WAF-szabályt a zónáján.

Ha a crawlert egy egyéni WAF-szabály, a Super Bot Fight Mode vagy a sebességkorlátozás blokkolja, vegyen fel egy egyéni szabályt, amely ezeket a funkciókat kihagyja az ellenőrzött botokra és a crawler tokenjére:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Tegye a szabályt az első helyre. Vegye figyelembe, hogy a user agentre illesztés azokat is átengedi, akik meghamisítják ezt a user agentet. Ahol lehet, részesítse előnyben az ellenőrzött bot mezőt (cf.client.bot) vagy a szolgáltató által közzétett IP-tartományokat.

Mi a helyzet a Bot Fight Mode-dal?

A Cloudflare dokumentációja egyértelműen kimondja, hogy a Bot Fight Mode nem kerülhető meg és nem hagyható ki egyéni WAF-szabályokkal vagy Page Rules-szal. Ha ez a funkció állítja kihívás elé a crawlereket, a kihagyási szabály nem segít. A lehetőségek: kikapcsolja a Bot Fight Mode-ot, vagy olyan csomagban használja a Super Bot Fight Mode-ot, amelyben megvan, mert az a Ruleset Engine-en fut, és támogatja a kihagyási szabályokat.

Melyik crawlereket engedjem át?

Válassza szét a crawlereket aszerint, mit csinálnak. A keresési és a felhasználói lekérő crawlerek döntik el, hogy az AI-válaszok megtalálhatják-e és idézhetik-e Önt. A tanító crawlerek a modellekhez gyűjtenek adatot, és blokkolásuk jogos döntés, amely nem távolít el az AI-keresésből.

A Cloudflare saját irányelvbeállításai is ugyanezt a Search, Agent és Training felosztást használják, így az első kettőt engedélyezheti, a harmadikról pedig külön dönthet. Ha másik tűzfalat vagy CDN-t használ, az elv ugyanez: tegye engedélyezési listára a crawler tokenjét, a szolgáltató közzétett IP-tartományaival vagy ahol van, reverse DNS-sel ellenőrizve, hogy ugyanazt a választ kapja, mint egy böngésző.

Hogyan észleli az AISeeWhy a tűzfalblokkokat?

Az AISeeWhy 14 crawlerként és egy hagyományos böngészőként kéri le az oldalát, összehasonlítja a státuszt, a méretet és az átirányításokat, felismeri a kihívásoldalakat, és megnevezi a válaszoló tűzfalat vagy CDN-t. Ha a robots.txt engedélyez egy crawlert, de a szerver blokkolja, a jelentés megmutatja az ellentmondást, és megadja a javító Cloudflare-szabályt vagy az engedélyezési lista lépését.

Gyakran ismételt kérdések

Alapértelmezetten blokkolja a Cloudflare az AI-crawlereket?

Ez a fiókjától, a csomagjától és a zónája beállításaitól függ, és a Cloudflare az idők során változtatott ezeken a lehetőségeken. Nézze meg az AI Crawl Controlt és a bot-beállításokat, és a crawler user agentjével tesztelje, ne feltételezzen.

Miért működik az oldalam böngészőben, de crawlereknek nem?

A tűzfalak minden kérést megítélnek. A böngésző átmegy a JavaScript-kihívásokon, és megtartja a sütiket; a crawler nem, ezért kaphat kihívásoldalt vagy 403-at, amit Ön soha nem lát.

Biztonságos AI-crawlereket átengedni a WAF-on?

Egy megnevezett crawler engedélyezése kis kockázatú, ha a szolgáltató IP-tartományaival vagy a Cloudflare ellenőrzött bot jelzésével ellenőrzi. Azok a szabályok, amelyek csak a user agentben bíznak, bárkit beengednek, aki lemásolja.

Befolyásolja a Cloudflare e-mailcím-elrejtési funkciója az AI-crawlereket?

Az e-mail-címeket egy olyan linkre cseréli, amelyet csak egy szkript fejt vissza, így a crawlerek a cím helyett helyőrzőt látnak. Ha azt szeretné, hogy a kapcsolati e-mail-címe olvasható legyen, kapcsolja ki az Email Address Obfuscation funkciót a Scrape Shield alatt, és a címet egyszerű szövegként jelenítse meg.

Források

További cikkek