Hogyan olvassa a Cloudflare AI Crawl Control jelentését, és hogyan lássa, mely AI-crawlerek jutnak be

Megjelent

Rövid válasz

Nyissa meg az AI Crawl Controlt a Cloudflare irányítópultján: a crawlerlista minden AI-crawlert mutat, amelyet a Cloudflare a domainjén látott, a kéréseiket, a robots.txt-sértéseiket, és hogy az action Allow vagy Block. Ha az AI-keresést meg akarja tartani, de a tanítást elutasítaná, engedélyezze a kereső- és ügynökcrawlereket, a tanítócrawlereket pedig blokkolja vagy tiltsa (Disallow) ugyanitt vagy az AI Crawler and Agent access policies alatt. Ezután kívülről ellenőrizze curllel, mert más Cloudflare-funkciók egy engedélyezett crawlert is blokkolhatnak.

A Cloudflare-ben most két hely dönti el, mit kapnak az AI-crawlerek: az AI Crawl Control, a crawlerenkénti jelentés és kapcsolótábla, amelyet korábban AI Auditnak hívtak, és a zóna szintű AI Crawler and Agent access policies a Security beállításai között. Mindkettő elérhető az ingyenes csomagban, mindkettő változott 2026-ban, és egyik sem szól az összes többi funkcióról, amely továbbra is 403-mal válaszolhat egy crawlernek. Ez az útmutató oszlopról oszlopra végigmegy a jelentésen, megmutatja, hol állíthatja az engedélyezést és a blokkolást, és egy olyan teszttel zárul, amelyet a saját gépéről futtathat.

Ezen az oldalon
  1. Hol van az AI-crawler-jelentés a Cloudflare-ben?
  2. Mit jelentenek az AI Crawl Control jelentés oszlopai és mutatói?
  3. Hogyan engedélyezzem az AI-keresőcrawlereket és blokkoljam a tanítócrawlereket a Cloudflare-ben?
  4. Mi változott a Cloudflare AI-crawlerekre vonatkozó alapértelmezéseiben?
  5. Miért blokkolja a Cloudflare továbbra is az AI-crawlereket, miután engedélyeztem őket?
  6. Hogyan ellenőrizzem kívülről, mely AI-crawlereket engedi be a Cloudflare?
  7. Hogyan ellenőrzi az AISeeWhy, mit küld a Cloudflare az AI-crawlereknek?

Hol van az AI-crawler-jelentés a Cloudflare-ben?

Az irányítópulton válassza ki a fiókját és a domainjét, majd nyissa meg az AI Crawl Controlt. A Cloudflare szerint beállítás nélkül működik, és minden csomagban elérhető, amennyiben a domain forgalma a Cloudflare proxyján halad át. Négy része van:

Két csomagkorlát számít a számok olvasásakor. Az ingyenes csomagban az AI Crawl Control csak a user agent karakterlánca alapján ismeri fel a crawlereket, így csak azokat látja, amelyek bemutatkoznak, és a Metrics lap az elmúlt 24 órát fedi le. A fizetős csomagok a Bot Management detection ID alapján is felismernek, az Enterprise csomag Bot Managementtel pedig állítható időkereteket kap.

Mit jelentenek az AI Crawl Control jelentés oszlopai és mutatói?

A Cloudflare a mezőket az alábbiak szerint dokumentálja. A definíciók számítanak, mert több szám többet számol, mint várná.

A jelentést a választott action felől olvassa. Egy Allow-ra állított crawlernél túlnyomórészt engedélyezett kéréseket és 2xx kódokat kell látnia. Ha sok a sikertelen kérés, nyissa meg az állapotkódok eloszlását erre a crawlerre szűrve, és a Security Analyticsben keresse meg a választ adó szabályt.

Hogyan engedélyezzem az AI-keresőcrawlereket és blokkoljam a tanítócrawlereket a Cloudflare-ben?

Megteheti crawlerenként vagy viselkedés szerint. Crawlerenként nyissa meg az AI Crawl Controlt, és minden sorban állítsa be az Actiont. A Cloudflare szerint az ott beállított blokkolás létrehoz vagy frissít egy WAF custom rule-t a zónájában, amelyet a WAF-ban útvonal-kivételekkel bővíthet. Fizetős csomagokban kiválaszthatja, hogy a blokkolt crawlerek 403-at vagy 402-t kapjanak, és megadhat egyszerű szöveges törzset.

Viselkedés szerint lépjen a Security, majd a Settings részre, szűrjön a Bot traffic kategóriára, és nyissa meg az AI Crawler and Agent access policies beállítást. A Cloudflare az AI-forgalmat három viselkedésre bontja, és mindegyik szabályzat az adott viselkedésű hitelesített botokra és a hozzájuk illő nem hitelesített botokra vonatkozik:

Minden viselkedés beállítható Block, Block on pages with ads vagy Allow (do not block) értékre. A Trainingnek van Disallow lehetősége is, amely csak a robots.txt-n keresztül kéri a crawlereket. Bekapcsolt Bot Preference Sync esetén a Cloudflare a robots.txt elejére kezelt szabályokat illeszt, amelyek tiltják az Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot és meta-externalagent crawlert, hozzáad egy Content Signals sort, és az edge-en is blokkolja az AI-tanítócrawlereket, kivéve a keresésre és tanításra egyaránt használtakat.

A legtöbb webhelynél, amely AI-idézéseket szeretne, a biztonságos kombináció: Search és Agent Allow, Training Disallow, majd az AI Crawl Controlban egyedi Block action azokra a csak tanító crawlerekre, amelyeket az edge-en szeretne megállítani.

Mi változott a Cloudflare AI-crawlerekre vonatkozó alapértelmezéseiben?

2025. július 1-jén a Cloudflare bejelentette, hogy az alapértelmezést az AI-crawlerek blokkolására változtatja, hacsak nem fizetnek a tartalomkészítőknek. 2026. július 1-jén az egyetlen Block AI bots kapcsolót a fent leírt külön Search, Agent és Training szabályzatokra cserélte, minden csomagban, az ingyeneset is beleértve. Ugyanez a bejelentés szerint a 2026. szeptember 15-től csatlakozó új domaineknél a hirdetéseket megjelenítő oldalakon a Training és az Agent blokkolva lesz, a Search pedig engedélyezve.

A Cloudflare jelenlegi, utoljára 2026. november 2-án frissített szabályzati dokumentációja szerint az új domainek alapértelmezése mindhárom viselkedésnél Allow (do not block). Mivel a Cloudflare saját oldalai különböző időkben különböző alapértelmezéseket írtak le, egyikre se hagyatkozzon a zónájánál: nyissa meg a szabályzati oldalt, és nézze meg, mi van beállítva.

Miért blokkolja a Cloudflare továbbra is az AI-crawlereket, miután engedélyeztem őket?

Az AI Crawl Control Allow actionje csak azt akadályozza meg, hogy az AI Crawl Control blokkoljon. Más funkciók továbbra is hatnak a kérésre. Gyakori okok:

Hogyan ellenőrizzem kívülről, mely AI-crawlereket engedi be a Cloudflare?

Kérje le ugyanazt az oldalt böngésző user agenttel és minden crawler user agentjével, majd vesse össze az állapotot és a méretet. Az alábbi OpenAI-, Perplexity- és Google-karakterláncok azok, amelyeket ezek a cégek közzétesznek.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Ha egy crawler sora 403-at, 429-et vagy 503-at mutat, vagy sokkal kisebb méretet, mint a böngészőé, akkor valami a forrásszerver előtt másként válaszolt. Az ingyenes csomagban az AI Crawl Control a user agent alapján ismeri fel a crawlereket, így ez a teszt ésszerűen ellenőrzi a blokkolásait. A hitelesített botállapotra vagy botpontszámra épülő szabályok azonban másként kezelhetik az Ön kérését, mint a valódi crawlert, mert az az Ön IP-címéről érkezik, nem az üzemeltető közzétett tartományaiból. A teszt után keresse meg a saját kéréseit a Security Analyticsben, hogy lássa, melyik szabály illeszkedett.

Hogyan ellenőrzi az AISeeWhy, mit küld a Cloudflare az AI-crawlereknek?

Az ingyenes AISeeWhy-ellenőrzés 16 AI- és keresőcrawlerként kéri le az oldalát egy valódi böngésző mellett, crawlerenként alkalmazza a robots.txt-t, és felismeri a tűzfalak kihívásoldalait, így láthatja, hogy a Cloudflare irányítópultján látott eredmény egyezik-e azzal, amit a crawlerek ténylegesen kapnak.

Javítások erre a problémára

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Gyakran ismételt kérdések

Ingyenes a Cloudflare AI Crawl Control?

Igen. A Cloudflare szerint az AI Crawl Control minden csomagban elérhető. Az ingyenes csomag csak user agent alapján ismeri fel a crawlereket, és a Metrics lapon az elmúlt 24 órát mutatja; a hivatkozási adatokhoz és az egyedi blokkolási válaszokhoz fizetős csomag kell.

Mi lett a Cloudflare AI Audittal?

Átnevezték. A Cloudflare dokumentációja az AI Crawl Controlt a korábbi AI Auditként írja le, ugyanazzal a céllal: látni, mely AI-crawlerek látogatnak, és mindegyikhez actiont beállítani.

Megváltoztatja a robots.txt-met, ha blokkolok egy crawlert az AI Crawl Controlban?

Nem. A Block action egy WAF custom rule-t hoz létre vagy frissít. A robots.txt csak akkor változik, ha a Training Disallow lehetőségét a Bot Preference Sync funkcióval használja, amely a fájl elejére illeszti a Cloudflare kezelt szabályait.

Mi számít robots.txt-sértésnek a Cloudflare-ben?

Egy AI-crawler kérése olyan útvonalra, amelyet a robots.txt tilt. A Cloudflare a korábbi kéréseket a jelenlegi szabályaival veti össze, így egy új szabály olyan régebbi kéréseket is megjelölhet, amelyek akkor engedélyezettek voltak.

Mi az a pay per crawl?

Egy Charge action, amely arra kéri az AI-crawlereket, hogy kérésenként fizessenek, egyébként HTTP 402-vel és egy árral válaszol. A Cloudflare zárt bétaként írja le, és a WAF- vagy Bot Management-blokkolások elsőbbséget élveznek vele szemben.

Források

További cikkek