Како читати Cloudflare-ов извештај AI Crawl Control и видети који AI краулери пролазе
Отворите AI Crawl Control у Cloudflare контролној табли: листа краулера приказује сваки AI краулер који је Cloudflare видео на вашем домену, његове захтеве, кршења robots.txt и да ли је његова акција Allow или Block. Да бисте задржали AI претрагу, а одбили обуку, дозволите краулере за претрагу и агенте, а краулере за обуку блокирајте или забраните ту или у AI Crawler and Agent access policies. Затим проверите споља curl-ом, јер друге Cloudflare функције и даље могу да блокирају краулер који сте дозволили.
Cloudflare сада има два места која одлучују шта AI краулери добијају: AI Crawl Control, извештај и контролну таблу по краулерима која се раније звала AI Audit, и AI Crawler and Agent access policies за целу зону у безбедносним подешавањима. Оба су доступна у бесплатном плану, оба су се мењала током 2026. и ниједно вам не говори о свим другим функцијама које краулеру и даље могу да одговоре са 403. Овај водич пролази кроз извештај колону по колону, показује где се подешавају дозвола и блокада и завршава се тестом који можете да покренете са свог рачунара.
На овој страници
- Где је извештај о AI краулерима у Cloudflare-у?
- Шта значи свака колона и метрика у извештају AI Crawl Control?
- Како у Cloudflare-у да дозволим AI краулере за претрагу, а блокирам краулере за обуку?
- Шта се променило у Cloudflare-овим подразумеваним подешавањима за AI краулере?
- Зашто Cloudflare и даље блокира AI краулере пошто сам их дозволио?
- Како споља да проверим које AI краулере Cloudflare пропушта?
- Како AISeeWhy проверава шта Cloudflare шаље AI краулерима?
Где је извештај о AI краулерима у Cloudflare-у?
У контролној табли изаберите налог и домен, а затим отворите AI Crawl Control. Cloudflare каже да ради без подешавања и да је доступан у свим плановима, све док саобраћај вашег домена иде преко Cloudflare проксија. Има четири дела:
- Overview: сажетак са укупним бројем захтева, променом обима, најчешћим статусним кодом, најпопуларнијом путањом и краулерима великог обима, уз податак да ли је Cloudflare-ов управљани robots.txt укључен, и краулере груписане по оператеру, као што су OpenAI, Microsoft, Google, ByteDance, Anthropic и Meta.
- Листа краулера: један ред по AI краулеру, са колоном Action у којој бирате Allow или Block. Cloudflare-ова документација ову картицу на једној страници зове Crawlers, а на другој Security, па тражите табелу са колоном Action.
- Metrics: захтеви кроз време, расподела статусних кодова, формат садржаја, најпопуларније путање и, у плаћеним плановима, упућивања. Филтери покривају период, краулер, оператера, име хоста и путању, а податке можете да извезете у CSV.
- Directives: стање вашег фајла robots.txt и листа кршења robots.txt.
Два ограничења плана су важна када читате бројеве. У бесплатном плану AI Crawl Control препознаје краулере само по user agent стрингу, па види краулере који се представљају и ништа друго, а картица Metrics покрива последња 24 сата. Плаћени планови додају откривање преко Bot Management detection ID-ја, а Enterprise са Bot Management-ом добија подесиве временске оквире.
Шта значи свака колона и метрика у извештају AI Crawl Control?
Cloudflare поља документује овако. Дефиниције су важне, јер неколико бројева броји више него што бисте очекивали.
- Crawler и Category: назив краулера, његов оператер и категорија, као што је AI crawler, AI assistant или archiver.
- Requests: дозвољени плус неуспешни захтеви, са графиконом тренда. Неуспешни захтеви могу да потичу од било ког правила или грешке у одговору, не само од блокаде у AI Crawl Control, па висок број за краулер који сте дозволили указује на друго правило или на грешке на вашем изворном серверу.
- Allowed requests: захтеви који су добили статус између 200 и 299. Пренос података мери се по бајтовима које је Cloudflare послао за дозвољене захтеве.
- Robots.txt violations: колико пута је краулер затражио путању коју ваш robots.txt забрањује. Cloudflare пореди раније захтеве са вашим тренутним правилима, па правило које додате данас може да означи захтеве који су у тренутку слања били дозвољени.
- Action: Allow, Block или, за налоге у бета програму pay per crawl, Charge.
- Расподела статусних кодова: 2xx, 3xx, 4xx и 5xx. Група 4xx обухвата 403 од блокада и 402 од pay per crawl.
- Упућивања и главни упућивачи, само у плаћеним плановима: посете које су стигле из AI услуга, на пример са chatgpt.com, и странице на које су стигле.
Извештај читајте полазећи од акције коју сте изабрали. Краулер подешен на Allow треба да има углавном дозвољене захтеве и кодове 2xx. Ако има много неуспешних захтева, отворите расподелу статусних кодова филтрирану за тај краулер и у Security Analytics потражите правило које је одговорило.
Како у Cloudflare-у да дозволим AI краулере за претрагу, а блокирам краулере за обуку?
То можете да урадите по краулеру или по понашању. По краулеру: отворите AI Crawl Control и подесите Action за сваки ред. Cloudflare каже да блокада ту прави или ажурира WAF прилагођено правило у вашој зони, које у WAF-у можете да проширите изузецима за путање. У плаћеним плановима можете да изаберете да ли блокирани краулери добијају 403 или 402 и да задате тело одговора у обичном тексту.
По понашању: идите на Security, затим Settings, филтрирајте по Bot traffic и отворите AI Crawler and Agent access policies. Cloudflare AI саобраћај дели на три понашања, а свака политика важи за верификоване ботове са тим понашањем и за одговарајуће неверификоване ботове:
- Search: прикупљање или индексирање садржаја да би касније одговарао на питања.
- Agent: деловање у реалном времену у име особе, као што су преузимања из чета и агенти у прегледачу.
- Training: прикупљање садржаја за обуку или дообуку модела, укључујући краулере који се користе и за обуку и за претрагу.
Свако понашање може да се подеси на Block, Block on pages with ads или Allow (do not block). Training има и Disallow, који краулере само моли преко robots.txt. Када је укључен Bot Preference Sync, Cloudflare на почетак вашег robots.txt додаје управљана правила која забрањују Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot и meta-externalagent, додаје ред Content Signals и блокира AI краулере за обуку и на ивици мреже, осим краулера који се користе и за претрагу и за обуку.
За већину сајтова који желе AI цитате безбедна комбинација је Search и Agent на Allow и Training на Disallow, а затим појединачне акције Block у AI Crawl Control за краулере само за обуку које желите да зауставите на ивици мреже.
Шта се променило у Cloudflare-овим подразумеваним подешавањима за AI краулере?
Cloudflare је 1. јула 2025. најавио да мења подразумевано подешавање тако да блокира AI краулере осим ако не плаћају ствараоцима. Cloudflare је 1. јула 2026. један прекидач Block AI bots заменио засебним политикама Search, Agent и Training описаним горе, за све планове, укључујући бесплатни. У истој најави је писало да ће нови домени који се укључе од 15. септембра 2026. имати Training и Agent блокиране на страницама које приказују огласе, уз дозвољен Search.
Cloudflare-ова актуелна документација о политикама, последњи пут ажурирана 2. новембра 2026, каже да је за нове домене подразумевано Allow (do not block) за сва три понашања. Пошто су Cloudflare-ове странице у различито време описивале различита подразумевана подешавања, не ослањајте се ни на једну од њих за своју зону: отворите страницу политика и прочитајте шта је подешено.
Зашто Cloudflare и даље блокира AI краулере пошто сам их дозволио?
Акција Allow у AI Crawl Control само спречава AI Crawl Control да блокира. Друге функције и даље делују на захтев. Чести узроци:
- Блокирање Training блокира и краулере за претрагу који раде обоје. Cloudflare-ова документација каже да се акције за Training примењују на краулере мешовите намене, а његова најава из јула 2026. наводи Googlebot, Applebot и bingbot као краулере које ће корисници који блокирају Training блокирати од 15. септембра 2026. Disallow је ужи избор, јер његова блокада на ивици мреже прескаче краулере мешовите намене.
- Укључен је Bot Fight Mode. Cloudflare наводи да Bot Fight Mode не можете да заобиђете ни прескочите WAF прилагођеним правилима или Page Rules. Ако изазива краулер, искључите га или, у плану који га има, користите Super Bot Fight Mode, који подржава правила за прескакање.
- Старије WAF прилагођено правило блокира user agent-е који садрже
botили правило ограничења броја захтева на навале одговара са 429. Она раде без обзира на Action у AI Crawl Control. - Правило блокаде је ручно мењано. Ако је WAF правило иза AI Crawl Control промењено на други код одговора, контролна табла више не може да спроведе ваш избор.
- robots.txt и даље забрањује краулер. Cloudflare-ов Allow не мења ваш robots.txt, па се пристојан краулер ипак држи подаље. У нашем истраживању 1.000 најпопуларнијих домена, 98 од 155 сајтова који су у robots.txt блокирали AI краулер за обуку блокирало је и бар један AI краулер за претрагу или кориснички краулер.
Како споља да проверим које AI краулере Cloudflare пропушта?
Затражите исту страницу са user agent-ом прегледача и са user agent-ом сваког краулера, па упоредите статус и величину. Стрингови за OpenAI, Perplexity и Google у наставку су они које те компаније објављују.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" Ред краулера са 403, 429 или 503, или са много мањом величином од реда прегледача, значи да је нешто испред вашег изворног сервера одговорило другачије. У бесплатном плану AI Crawl Control препознаје краулере по user agent-у, па је овај тест разумна провера његових блокада. Правила заснована на статусу верификованог бота или на bot score-у могу ваш захтев да третирају другачије од правог краулера, јер долази са ваше IP адресе, а не из објављених опсега оператера. После теста потражите своје захтеве у Security Analytics да видите које правило се поклопило.
Како AISeeWhy проверава шта Cloudflare шаље AI краулерима?
Бесплатна провера AISeeWhy захтева вашу страницу као 16 AI краулера и краулера претраживача поред правог прегледача, примењује ваш robots.txt за сваки краулер и препознаје странице са изазовом заштитног зида, па можете да видите да ли се резултат у Cloudflare контролној табли поклапа са оним што краулери заиста добијају.
Исправке за овај проблем
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера IP адресе AI краулера
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Да ли је Cloudflare AI Crawl Control бесплатан?
Да. Cloudflare наводи да је AI Crawl Control доступан у свим плановима. Бесплатни план препознаје краулере само по user agent-у и у Metrics приказује последња 24 сата; подаци о упућивањима и прилагођени одговори на блокаду захтевају плаћени план.
Шта се десило са Cloudflare AI Audit?
Преименован је. Cloudflare-ова документација описује AI Crawl Control као бивши AI Audit, са истом наменом: да видите који AI краулери долазе и за сваки подесите акцију.
Да ли блокирање краулера у AI Crawl Control мења мој robots.txt?
Не. Акција Block прави или ажурира WAF прилагођено правило. robots.txt се мења само ако користите опцију Disallow за Training са Bot Preference Sync, која на почетак вашег фајла додаје Cloudflare-ова управљана правила.
Шта се у Cloudflare-у рачуна као кршење robots.txt?
Захтев AI краулера за путању коју ваш robots.txt забрањује. Cloudflare пореди раније захтеве са вашим тренутним правилима, па ново правило може да означи старије захтеве који су у том тренутку били дозвољени.
Шта је pay per crawl?
Акција Charge која од AI краулера тражи да плате по захтеву, а у супротном одговара са HTTP 402 и ценом. Cloudflare је описује као затворену бету, а блокаде из WAF-а или Bot Management-а имају предност над њом.
Извори
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: извештај о приступу AI краулера, 2026-11