Како читати Cloudflare-ов извештај AI Crawl Control и видети који AI краулери пролазе

Објављено

Кратак одговор

Отворите AI Crawl Control у Cloudflare контролној табли: листа краулера приказује сваки AI краулер који је Cloudflare видео на вашем домену, његове захтеве, кршења robots.txt и да ли је његова акција Allow или Block. Да бисте задржали AI претрагу, а одбили обуку, дозволите краулере за претрагу и агенте, а краулере за обуку блокирајте или забраните ту или у AI Crawler and Agent access policies. Затим проверите споља curl-ом, јер друге Cloudflare функције и даље могу да блокирају краулер који сте дозволили.

Cloudflare сада има два места која одлучују шта AI краулери добијају: AI Crawl Control, извештај и контролну таблу по краулерима која се раније звала AI Audit, и AI Crawler and Agent access policies за целу зону у безбедносним подешавањима. Оба су доступна у бесплатном плану, оба су се мењала током 2026. и ниједно вам не говори о свим другим функцијама које краулеру и даље могу да одговоре са 403. Овај водич пролази кроз извештај колону по колону, показује где се подешавају дозвола и блокада и завршава се тестом који можете да покренете са свог рачунара.

На овој страници
  1. Где је извештај о AI краулерима у Cloudflare-у?
  2. Шта значи свака колона и метрика у извештају AI Crawl Control?
  3. Како у Cloudflare-у да дозволим AI краулере за претрагу, а блокирам краулере за обуку?
  4. Шта се променило у Cloudflare-овим подразумеваним подешавањима за AI краулере?
  5. Зашто Cloudflare и даље блокира AI краулере пошто сам их дозволио?
  6. Како споља да проверим које AI краулере Cloudflare пропушта?
  7. Како AISeeWhy проверава шта Cloudflare шаље AI краулерима?

Где је извештај о AI краулерима у Cloudflare-у?

У контролној табли изаберите налог и домен, а затим отворите AI Crawl Control. Cloudflare каже да ради без подешавања и да је доступан у свим плановима, све док саобраћај вашег домена иде преко Cloudflare проксија. Има четири дела:

Два ограничења плана су важна када читате бројеве. У бесплатном плану AI Crawl Control препознаје краулере само по user agent стрингу, па види краулере који се представљају и ништа друго, а картица Metrics покрива последња 24 сата. Плаћени планови додају откривање преко Bot Management detection ID-ја, а Enterprise са Bot Management-ом добија подесиве временске оквире.

Шта значи свака колона и метрика у извештају AI Crawl Control?

Cloudflare поља документује овако. Дефиниције су важне, јер неколико бројева броји више него што бисте очекивали.

Извештај читајте полазећи од акције коју сте изабрали. Краулер подешен на Allow треба да има углавном дозвољене захтеве и кодове 2xx. Ако има много неуспешних захтева, отворите расподелу статусних кодова филтрирану за тај краулер и у Security Analytics потражите правило које је одговорило.

Како у Cloudflare-у да дозволим AI краулере за претрагу, а блокирам краулере за обуку?

То можете да урадите по краулеру или по понашању. По краулеру: отворите AI Crawl Control и подесите Action за сваки ред. Cloudflare каже да блокада ту прави или ажурира WAF прилагођено правило у вашој зони, које у WAF-у можете да проширите изузецима за путање. У плаћеним плановима можете да изаберете да ли блокирани краулери добијају 403 или 402 и да задате тело одговора у обичном тексту.

По понашању: идите на Security, затим Settings, филтрирајте по Bot traffic и отворите AI Crawler and Agent access policies. Cloudflare AI саобраћај дели на три понашања, а свака политика важи за верификоване ботове са тим понашањем и за одговарајуће неверификоване ботове:

Свако понашање може да се подеси на Block, Block on pages with ads или Allow (do not block). Training има и Disallow, који краулере само моли преко robots.txt. Када је укључен Bot Preference Sync, Cloudflare на почетак вашег robots.txt додаје управљана правила која забрањују Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot и meta-externalagent, додаје ред Content Signals и блокира AI краулере за обуку и на ивици мреже, осим краулера који се користе и за претрагу и за обуку.

За већину сајтова који желе AI цитате безбедна комбинација је Search и Agent на Allow и Training на Disallow, а затим појединачне акције Block у AI Crawl Control за краулере само за обуку које желите да зауставите на ивици мреже.

Шта се променило у Cloudflare-овим подразумеваним подешавањима за AI краулере?

Cloudflare је 1. јула 2025. најавио да мења подразумевано подешавање тако да блокира AI краулере осим ако не плаћају ствараоцима. Cloudflare је 1. јула 2026. један прекидач Block AI bots заменио засебним политикама Search, Agent и Training описаним горе, за све планове, укључујући бесплатни. У истој најави је писало да ће нови домени који се укључе од 15. септембра 2026. имати Training и Agent блокиране на страницама које приказују огласе, уз дозвољен Search.

Cloudflare-ова актуелна документација о политикама, последњи пут ажурирана 2. новембра 2026, каже да је за нове домене подразумевано Allow (do not block) за сва три понашања. Пошто су Cloudflare-ове странице у различито време описивале различита подразумевана подешавања, не ослањајте се ни на једну од њих за своју зону: отворите страницу политика и прочитајте шта је подешено.

Зашто Cloudflare и даље блокира AI краулере пошто сам их дозволио?

Акција Allow у AI Crawl Control само спречава AI Crawl Control да блокира. Друге функције и даље делују на захтев. Чести узроци:

Како споља да проверим које AI краулере Cloudflare пропушта?

Затражите исту страницу са user agent-ом прегледача и са user agent-ом сваког краулера, па упоредите статус и величину. Стрингови за OpenAI, Perplexity и Google у наставку су они које те компаније објављују.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Ред краулера са 403, 429 или 503, или са много мањом величином од реда прегледача, значи да је нешто испред вашег изворног сервера одговорило другачије. У бесплатном плану AI Crawl Control препознаје краулере по user agent-у, па је овај тест разумна провера његових блокада. Правила заснована на статусу верификованог бота или на bot score-у могу ваш захтев да третирају другачије од правог краулера, јер долази са ваше IP адресе, а не из објављених опсега оператера. После теста потражите своје захтеве у Security Analytics да видите које правило се поклопило.

Како AISeeWhy проверава шта Cloudflare шаље AI краулерима?

Бесплатна провера AISeeWhy захтева вашу страницу као 16 AI краулера и краулера претраживача поред правог прегледача, примењује ваш robots.txt за сваки краулер и препознаје странице са изазовом заштитног зида, па можете да видите да ли се резултат у Cloudflare контролној табли поклапа са оним што краулери заиста добијају.

Исправке за овај проблем

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Да ли је Cloudflare AI Crawl Control бесплатан?

Да. Cloudflare наводи да је AI Crawl Control доступан у свим плановима. Бесплатни план препознаје краулере само по user agent-у и у Metrics приказује последња 24 сата; подаци о упућивањима и прилагођени одговори на блокаду захтевају плаћени план.

Шта се десило са Cloudflare AI Audit?

Преименован је. Cloudflare-ова документација описује AI Crawl Control као бивши AI Audit, са истом наменом: да видите који AI краулери долазе и за сваки подесите акцију.

Да ли блокирање краулера у AI Crawl Control мења мој robots.txt?

Не. Акција Block прави или ажурира WAF прилагођено правило. robots.txt се мења само ако користите опцију Disallow за Training са Bot Preference Sync, која на почетак вашег фајла додаје Cloudflare-ова управљана правила.

Шта се у Cloudflare-у рачуна као кршење robots.txt?

Захтев AI краулера за путању коју ваш robots.txt забрањује. Cloudflare пореди раније захтеве са вашим тренутним правилима, па ново правило може да означи старије захтеве који су у том тренутку били дозвољени.

Шта је pay per crawl?

Акција Charge која од AI краулера тражи да плате по захтеву, а у супротном одговара са HTTP 402 и ценом. Cloudflare је описује као затворену бету, а блокаде из WAF-а или Bot Management-а имају предност над њом.

Извори

Још чланака