Како да го читате извештајот AI Crawl Control во Cloudflare и да видите кои AI краулери влегуваат
Отворете AI Crawl Control во контролната табла на Cloudflare: листата на краулери го покажува секој AI краулер што Cloudflare го видел на вашиот домен, неговите барања, неговите прекршувања на robots.txt и дали неговата акција е Allow или Block. За да останете во AI пребарувањето, а да ја одбиете обуката, таму или во AI Crawler and Agent access policies дозволете ги краулерите за пребарување и агентите, а блокирајте ги или забранете ги краулерите за обука. Потоа потврдете однадвор со curl, бидејќи други функции на Cloudflare сè уште може да блокираат краулер што сте го дозволиле.
Cloudflare сега има две места што одлучуваат што добиваат AI краулерите: AI Crawl Control, извештајот и контролната табла по краулер што порано се викаше AI Audit, и AI Crawler and Agent access policies за целата зона, во безбедносните поставки. И двете се достапни на бесплатниот план, и двете се променија во текот на 2026, а ниту едното не ве известува за сите други функции што сè уште може да му одговорат на краулерот со 403. Овој водич го минува извештајот колона по колона, покажува каде се поставува дозволата и блокирањето и завршува со тест што можете да го пуштите од сопствениот компјутер.
На оваа страница
- Каде е извештајот за AI краулери во Cloudflare?
- Што значи секоја колона и метрика во извештајот AI Crawl Control?
- Како да ги дозволам AI краулерите за пребарување, а да ги блокирам краулерите за обука во Cloudflare?
- Што се промени во стандардните поставки на Cloudflare за AI краулери?
- Зошто Cloudflare сè уште ги блокира AI краулерите откако ги дозволив?
- Како однадвор да потврдам кои AI краулери ги пушта Cloudflare?
- Како AISeeWhy проверува што Cloudflare им праќа на AI краулерите?
Каде е извештајот за AI краулери во Cloudflare?
Во контролната табла изберете ја сметката и доменот, па отворете AI Crawl Control. Cloudflare наведува дека работи без конфигурација и е достапен на сите планови, сè додека сообраќајот на доменот минува преку прокси на Cloudflare. Има четири делови:
- Overview: краток преглед со вкупните барања, промената во обемот, најчестиот статусен код, најпопуларната патека и краулерите со голем обем, плус дали управуваниот robots.txt на Cloudflare е вклучен, и краулерите групирани по оператор, како OpenAI, Microsoft, Google, ByteDance, Anthropic и Meta.
- Листата на краулери: по еден ред за секој AI краулер, со колона Action каде што избирате Allow или Block. Документацијата на Cloudflare ја нарекува оваа картичка Crawlers на една страница, а Security на друга, па барајте ја табелата со колоната Action.
- Metrics: барања низ времето, распределба на статусните кодови, формат на содржината, најпопуларни патеки и, на платените планови, упатувања. Филтрите опфаќаат временски опсег, краулер, оператор, име на хост и патека, а можете да извезете CSV.
- Directives: здравјето на вашата датотека robots.txt и листата на прекршувања на robots.txt.
Две ограничувања на плановите се важни кога ги читате бројките. На бесплатниот план, AI Crawl Control ги препознава краулерите само според низата на корисничкиот агент, па ги гледа краулерите што се претставуваат и ништо друго, а картичката Metrics ги опфаќа последните 24 часа. Платените планови додаваат откривање преку detection ID на Bot Management, а Enterprise со Bot Management добива временски рамки што можат да се прилагодат.
Што значи секоја колона и метрика во извештајот AI Crawl Control?
Cloudflare ги документира полињата вака. Дефинициите се важни, бидејќи неколку бројки бројат повеќе отколку што можеби очекувате.
- Crawler и Category: името на краулерот, неговиот оператор и неговата категорија, како AI краулер, AI асистент или архивер.
- Requests: дозволени плус неуспешни барања, со графикон на трендот. Неуспешните барања може да доаѓаат од кое било правило или грешка во одговорот, не само од блокирање во AI Crawl Control, па голема бројка кај краулер што сте го дозволиле упатува на друго правило или на грешки на вашиот изворен сервер.
- Allowed requests: барања што добиле статус меѓу 200 и 299. Преносот на податоци се мери според бајтите што Cloudflare ги испратил за дозволените барања.
- Robots.txt violations: колку пати краулерот побарал патека што вашиот robots.txt ја забранува. Cloudflare ги споредува минатите барања со вашите тековни правила, па правило што ќе го додадете денес може да означи барања што биле дозволени кога биле направени.
- Action: Allow, Block или, за сметки во бета-верзијата на pay per crawl, Charge.
- Распределба на статусните кодови: 2xx, 3xx, 4xx и 5xx. Групата 4xx вклучува 403 од блокирања и 402 од pay per crawl.
- Referrals и најчести реферери, само на платените планови: посети што пристигнале од AI услуги, на пример од chatgpt.com, и страниците на кои слетале.
Читајте го извештајот почнувајќи од акцијата што ја избравте. Краулер поставен на Allow треба да покажува претежно дозволени барања и кодови 2xx. Ако покажува многу неуспешни барања, отворете ја распределбата на статусните кодови филтрирана за тој краулер и проверете во Security Analytics за да го најдете правилото што одговорило.
Како да ги дозволам AI краулерите за пребарување, а да ги блокирам краулерите за обука во Cloudflare?
Можете да го направите тоа по краулер или по однесување. По краулер: отворете AI Crawl Control и поставете ја Action за секој ред. Cloudflare наведува дека блокирањето таму создава или ажурира прилагодено WAF-правило на вашата зона, кое можете да го проширите во WAF со исклучоци за патеки. На платените планови можете да изберете дали блокираните краулери ќе добијат 403 или 402 и да поставите тело во обичен текст.
По однесување: одете во Security, па Settings, филтрирајте по Bot traffic и отворете AI Crawler and Agent access policies. Cloudflare го дели AI сообраќајот во три однесувања, а секоја политика важи за верификуваните ботови со тоа однесување и за соодветните неверификувани ботови:
- Search: собирање или индексирање содржина за подоцна да одговара на прашања.
- Agent: дејствување во реално време во име на човек, како преземања од разговор и агенти во прелистувач.
- Training: собирање содржина за обука или дотерување модели, вклучително краулери што се користат и за обука и за пребарување.
Секое однесување може да се постави на Block, Block on pages with ads или Allow (do not block). Training има и Disallow, што само ги замолува краулерите преку robots.txt. Со вклучен Bot Preference Sync, Cloudflare на почетокот на вашиот robots.txt додава управувани правила што ги забрануваат Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot и meta-externalagent, додава ред Content Signals и ги блокира AI краулерите за обука на работ на мрежата, освен краулерите што се користат и за пребарување и за обука.
За повеќето сајтови што сакаат AI цитати, безбедната комбинација е Search и Agent на Allow и Training на Disallow, а потоа поединечни акции Block во AI Crawl Control за краулерите само за обука што сакате да ги запрете на работ на мрежата.
Што се промени во стандардните поставки на Cloudflare за AI краулери?
На 1 јули 2025, Cloudflare објави дека го менува стандардното однесување така што ќе ги блокира AI краулерите, освен ако не им платат на авторите. На 1 јули 2026, го замени единствениот прекинувач Block AI bots со посебните политики Search, Agent и Training опишани погоре, за сите планови, вклучително бесплатниот. Во истата објава се наведува дека новите домени што ќе се приклучат од 15 септември 2026 ќе имаат блокирано Training и Agent на страниците што прикажуваат реклами, со дозволено Search.
Тековната документација на Cloudflare за политиките, последен пат ажурирана на 2 ноември 2026, наведува дека новите домени стандардно имаат Allow (do not block) за сите три однесувања. Бидејќи самите страници на Cloudflare опишувале различни стандардни поставки во различни периоди, не потпирајте се на ниту една од нив за вашата зона: отворете ја страницата со политики и прочитајте што е поставено.
Зошто Cloudflare сè уште ги блокира AI краулерите откако ги дозволив?
Акцијата Allow во AI Crawl Control само спречува AI Crawl Control да блокира. Другите функции сè уште дејствуваат врз барањето. Чести причини:
- Блокирањето на Training ги блокира и краулерите за пребарување што прават и двете. Документацијата на Cloudflare наведува дека акциите за Training важат за краулери со мешана намена, а неговата објава од јули 2026 ги именува Googlebot, Applebot и bingbot како краулери што клиентите што го блокираат Training ќе ги блокираат од 15 септември 2026. Disallow е потесниот избор, бидејќи неговото блокирање на работ ги прескокнува краулерите со мешана намена.
- Bot Fight Mode е вклучен. Cloudflare наведува дека Bot Fight Mode не може да се заобиколи ниту прескокне со прилагодени WAF-правила или Page Rules. Ако му поставува предизвик на краулер, исклучете го или, на план што го има, користете Super Bot Fight Mode, кој поддржува правила за прескокнување.
- Постаро прилагодено WAF-правило ги блокира корисничките агенти што содржат
botили правило за ограничување на стапката одговара на налетите со 429. Тие се извршуваат без оглед на Action во AI Crawl Control. - Правилото за блокирање е рачно изменето. Ако WAF-правилото зад AI Crawl Control е променето на друг код на одговор, контролната табла повеќе не може да го спроведе вашиот избор.
- robots.txt сè уште го забранува краулерот. Allow во Cloudflare не го менува вашиот robots.txt, па учтивиот краулер сепак се држи настрана. Во нашата студија на 1.000 најпопуларни домени, 98 од 155 сајтови што блокираа AI краулер за обука во robots.txt блокираа и барем еден AI краулер за пребарување или кориснички краулер.
Како однадвор да потврдам кои AI краулери ги пушта Cloudflare?
Побарајте ја истата страница со кориснички агент на прелистувач и со корисничкиот агент на секој краулер, па споредете ги статусот и големината. Низите за OpenAI, Perplexity и Google подолу се оние што ги објавуваат тие компании.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Ред за краулер со 403, 429 или 503, или со многу помала големина од редот за прелистувачот, значи дека нешто пред вашиот изворен сервер одговорило поинаку. На бесплатниот план, AI Crawl Control ги открива краулерите според корисничкиот агент, па овој тест е разумна проверка на неговите блокирања. Правилата засновани на статусот на верификуван бот или на оценките за ботови може да го третираат вашето барање поинаку од вистинскиот краулер, бидејќи доаѓа од вашата IP адреса, а не од објавените опсези на операторот. По тестирањето, побарајте ги вашите барања во Security Analytics за да видите кое правило се совпаднало.
Како AISeeWhy проверува што Cloudflare им праќа на AI краулерите?
Бесплатната проверка на AISeeWhy ја бара вашата страница како 16 AI краулери и краулери за пребарување покрај вистински прелистувач, го применува вашиот robots.txt за секој краулер и ги препознава страниците со предизвик од заштитниот ѕид, за да видите дали резултатот во контролната табла на Cloudflare се совпаѓа со она што краулерите навистина го добиваат.
Поправки за овој проблем
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- IP проверка на AI краулери
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Често поставувани прашања
Дали Cloudflare AI Crawl Control е бесплатен?
Да. Cloudflare го наведува AI Crawl Control како достапен на сите планови. Бесплатниот план ги открива краулерите само според корисничкиот агент и ги прикажува последните 24 часа во Metrics; податоците за упатувања и прилагодените одговори при блокирање бараат платен план.
Што се случи со Cloudflare AI Audit?
Го преименуваа. Документацијата на Cloudflare го опишува AI Crawl Control како поранешниот AI Audit, со иста намена: да се види кои AI краулери доаѓаат и да се постави акција за секој.
Дали блокирањето краулер во AI Crawl Control го менува мојот robots.txt?
Не. Акцијата Block создава или ажурира прилагодено WAF-правило. robots.txt се менува само ако ја користите опцијата Disallow за Training со Bot Preference Sync, која на почетокот на вашата датотека ги додава управуваните правила на Cloudflare.
Што се смета за прекршување на robots.txt во Cloudflare?
Барање од AI краулер за патека што вашиот robots.txt ја забранува. Cloudflare ги споредува минатите барања со вашите тековни правила, па ново правило може да означи постари барања што во тоа време биле дозволени.
Што е pay per crawl?
Акција Charge што бара од AI краулерите да плаќаат по барање, а во спротивно одговара со HTTP 402 и цена. Cloudflare го опишува како затворена бета-верзија, а блокирањата од WAF или Bot Management имаат предност пред него.
Извори
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: Извештај за пристапот на AI краулерите, 2026-11