Како да го читате извештајот AI Crawl Control во Cloudflare и да видите кои AI краулери влегуваат

Објавено

Краток одговор

Отворете AI Crawl Control во контролната табла на Cloudflare: листата на краулери го покажува секој AI краулер што Cloudflare го видел на вашиот домен, неговите барања, неговите прекршувања на robots.txt и дали неговата акција е Allow или Block. За да останете во AI пребарувањето, а да ја одбиете обуката, таму или во AI Crawler and Agent access policies дозволете ги краулерите за пребарување и агентите, а блокирајте ги или забранете ги краулерите за обука. Потоа потврдете однадвор со curl, бидејќи други функции на Cloudflare сè уште може да блокираат краулер што сте го дозволиле.

Cloudflare сега има две места што одлучуваат што добиваат AI краулерите: AI Crawl Control, извештајот и контролната табла по краулер што порано се викаше AI Audit, и AI Crawler and Agent access policies за целата зона, во безбедносните поставки. И двете се достапни на бесплатниот план, и двете се променија во текот на 2026, а ниту едното не ве известува за сите други функции што сè уште може да му одговорат на краулерот со 403. Овој водич го минува извештајот колона по колона, покажува каде се поставува дозволата и блокирањето и завршува со тест што можете да го пуштите од сопствениот компјутер.

На оваа страница
  1. Каде е извештајот за AI краулери во Cloudflare?
  2. Што значи секоја колона и метрика во извештајот AI Crawl Control?
  3. Како да ги дозволам AI краулерите за пребарување, а да ги блокирам краулерите за обука во Cloudflare?
  4. Што се промени во стандардните поставки на Cloudflare за AI краулери?
  5. Зошто Cloudflare сè уште ги блокира AI краулерите откако ги дозволив?
  6. Како однадвор да потврдам кои AI краулери ги пушта Cloudflare?
  7. Како AISeeWhy проверува што Cloudflare им праќа на AI краулерите?

Каде е извештајот за AI краулери во Cloudflare?

Во контролната табла изберете ја сметката и доменот, па отворете AI Crawl Control. Cloudflare наведува дека работи без конфигурација и е достапен на сите планови, сè додека сообраќајот на доменот минува преку прокси на Cloudflare. Има четири делови:

Две ограничувања на плановите се важни кога ги читате бројките. На бесплатниот план, AI Crawl Control ги препознава краулерите само според низата на корисничкиот агент, па ги гледа краулерите што се претставуваат и ништо друго, а картичката Metrics ги опфаќа последните 24 часа. Платените планови додаваат откривање преку detection ID на Bot Management, а Enterprise со Bot Management добива временски рамки што можат да се прилагодат.

Што значи секоја колона и метрика во извештајот AI Crawl Control?

Cloudflare ги документира полињата вака. Дефинициите се важни, бидејќи неколку бројки бројат повеќе отколку што можеби очекувате.

Читајте го извештајот почнувајќи од акцијата што ја избравте. Краулер поставен на Allow треба да покажува претежно дозволени барања и кодови 2xx. Ако покажува многу неуспешни барања, отворете ја распределбата на статусните кодови филтрирана за тој краулер и проверете во Security Analytics за да го најдете правилото што одговорило.

Како да ги дозволам AI краулерите за пребарување, а да ги блокирам краулерите за обука во Cloudflare?

Можете да го направите тоа по краулер или по однесување. По краулер: отворете AI Crawl Control и поставете ја Action за секој ред. Cloudflare наведува дека блокирањето таму создава или ажурира прилагодено WAF-правило на вашата зона, кое можете да го проширите во WAF со исклучоци за патеки. На платените планови можете да изберете дали блокираните краулери ќе добијат 403 или 402 и да поставите тело во обичен текст.

По однесување: одете во Security, па Settings, филтрирајте по Bot traffic и отворете AI Crawler and Agent access policies. Cloudflare го дели AI сообраќајот во три однесувања, а секоја политика важи за верификуваните ботови со тоа однесување и за соодветните неверификувани ботови:

Секое однесување може да се постави на Block, Block on pages with ads или Allow (do not block). Training има и Disallow, што само ги замолува краулерите преку robots.txt. Со вклучен Bot Preference Sync, Cloudflare на почетокот на вашиот robots.txt додава управувани правила што ги забрануваат Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot и meta-externalagent, додава ред Content Signals и ги блокира AI краулерите за обука на работ на мрежата, освен краулерите што се користат и за пребарување и за обука.

За повеќето сајтови што сакаат AI цитати, безбедната комбинација е Search и Agent на Allow и Training на Disallow, а потоа поединечни акции Block во AI Crawl Control за краулерите само за обука што сакате да ги запрете на работ на мрежата.

Што се промени во стандардните поставки на Cloudflare за AI краулери?

На 1 јули 2025, Cloudflare објави дека го менува стандардното однесување така што ќе ги блокира AI краулерите, освен ако не им платат на авторите. На 1 јули 2026, го замени единствениот прекинувач Block AI bots со посебните политики Search, Agent и Training опишани погоре, за сите планови, вклучително бесплатниот. Во истата објава се наведува дека новите домени што ќе се приклучат од 15 септември 2026 ќе имаат блокирано Training и Agent на страниците што прикажуваат реклами, со дозволено Search.

Тековната документација на Cloudflare за политиките, последен пат ажурирана на 2 ноември 2026, наведува дека новите домени стандардно имаат Allow (do not block) за сите три однесувања. Бидејќи самите страници на Cloudflare опишувале различни стандардни поставки во различни периоди, не потпирајте се на ниту една од нив за вашата зона: отворете ја страницата со политики и прочитајте што е поставено.

Зошто Cloudflare сè уште ги блокира AI краулерите откако ги дозволив?

Акцијата Allow во AI Crawl Control само спречува AI Crawl Control да блокира. Другите функции сè уште дејствуваат врз барањето. Чести причини:

Како однадвор да потврдам кои AI краулери ги пушта Cloudflare?

Побарајте ја истата страница со кориснички агент на прелистувач и со корисничкиот агент на секој краулер, па споредете ги статусот и големината. Низите за OpenAI, Perplexity и Google подолу се оние што ги објавуваат тие компании.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Ред за краулер со 403, 429 или 503, или со многу помала големина од редот за прелистувачот, значи дека нешто пред вашиот изворен сервер одговорило поинаку. На бесплатниот план, AI Crawl Control ги открива краулерите според корисничкиот агент, па овој тест е разумна проверка на неговите блокирања. Правилата засновани на статусот на верификуван бот или на оценките за ботови може да го третираат вашето барање поинаку од вистинскиот краулер, бидејќи доаѓа од вашата IP адреса, а не од објавените опсези на операторот. По тестирањето, побарајте ги вашите барања во Security Analytics за да видите кое правило се совпаднало.

Како AISeeWhy проверува што Cloudflare им праќа на AI краулерите?

Бесплатната проверка на AISeeWhy ја бара вашата страница како 16 AI краулери и краулери за пребарување покрај вистински прелистувач, го применува вашиот robots.txt за секој краулер и ги препознава страниците со предизвик од заштитниот ѕид, за да видите дали резултатот во контролната табла на Cloudflare се совпаѓа со она што краулерите навистина го добиваат.

Поправки за овој проблем

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Дали Cloudflare AI Crawl Control е бесплатен?

Да. Cloudflare го наведува AI Crawl Control како достапен на сите планови. Бесплатниот план ги открива краулерите само според корисничкиот агент и ги прикажува последните 24 часа во Metrics; податоците за упатувања и прилагодените одговори при блокирање бараат платен план.

Што се случи со Cloudflare AI Audit?

Го преименуваа. Документацијата на Cloudflare го опишува AI Crawl Control како поранешниот AI Audit, со иста намена: да се види кои AI краулери доаѓаат и да се постави акција за секој.

Дали блокирањето краулер во AI Crawl Control го менува мојот robots.txt?

Не. Акцијата Block создава или ажурира прилагодено WAF-правило. robots.txt се менува само ако ја користите опцијата Disallow за Training со Bot Preference Sync, која на почетокот на вашата датотека ги додава управуваните правила на Cloudflare.

Што се смета за прекршување на robots.txt во Cloudflare?

Барање од AI краулер за патека што вашиот robots.txt ја забранува. Cloudflare ги споредува минатите барања со вашите тековни правила, па ново правило може да означи постари барања што во тоа време биле дозволени.

Што е pay per crawl?

Акција Charge што бара од AI краулерите да плаќаат по барање, а во спротивно одговара со HTTP 402 и цена. Cloudflare го опишува како затворена бета-верзија, а блокирањата од WAF или Bot Management имаат предност пред него.

Извори

Уште статии