Cloudflareનો AI Crawl Control રિપોર્ટ કેવી રીતે વાંચવો અને કયા AI ક્રૉલર અંદર આવે છે તે કેવી રીતે જોવું
તમારા Cloudflare dashboardમાં AI Crawl Control ખોલો: ક્રૉલરની યાદી તમારા ડોમેન પર Cloudflareએ જોયેલો દરેક AI ક્રૉલર, તેની requests, તેનાં robots.txt ઉલ્લંઘનો અને તેનું action Allow છે કે Block તે બતાવે છે. AI સર્ચ રાખીને ટ્રેનિંગ નકારવા, ત્યાં કે AI Crawler and Agent access policies હેઠળ સર્ચ અને agent ક્રૉલરને મંજૂરી આપો અને ટ્રેનિંગ ક્રૉલરને બ્લૉક કે disallow કરો. પછી બહારથી curl વડે ખાતરી કરો, કારણ કે Cloudflareની બીજી સુવિધાઓ તમે મંજૂરી આપેલા ક્રૉલરને પણ બ્લૉક કરી શકે છે.
Cloudflareમાં હવે બે જગ્યા છે જે નક્કી કરે છે કે AI ક્રૉલરને શું મળે: AI Crawl Control, દરેક ક્રૉલર માટેનો રિપોર્ટ અને switchboard જે પહેલાં AI Audit કહેવાતું, અને Security settings હેઠળની આખા zone માટેની AI Crawler and Agent access policies. બંને Free પ્લાનમાં ઉપલબ્ધ છે, બંને 2026 દરમિયાન બદલાયાં, અને બેમાંથી કોઈ તમને એ બીજી બધી સુવિધાઓ વિશે જણાવતું નથી જે હજી ક્રૉલરને 403 આપી શકે. આ માર્ગદર્શિકા રિપોર્ટને કૉલમ પ્રમાણે સમજાવે છે, allow અને block ક્યાં સેટ કરવું તે બતાવે છે, અને અંતે તમારા પોતાના મશીન પરથી ચલાવી શકાય એવો ટેસ્ટ આપે છે.
આ પેજ પર
- Cloudflareમાં AI ક્રૉલર રિપોર્ટ ક્યાં છે?
- AI Crawl Control રિપોર્ટમાં દરેક કૉલમ અને metricનો અર્થ શું છે?
- Cloudflareમાં AI સર્ચ ક્રૉલરને મંજૂરી અને ટ્રેનિંગ ક્રૉલરને બ્લૉક કેવી રીતે કરવા?
- Cloudflareના AI ક્રૉલર defaultsમાં શું બદલાયું?
- મેં મંજૂરી આપ્યા પછી પણ Cloudflare AI ક્રૉલરને કેમ બ્લૉક કરે છે?
- Cloudflare કયા AI ક્રૉલરને અંદર આવવા દે છે તેની બહારથી ખાતરી કેવી રીતે કરવી?
- Cloudflare AI ક્રૉલરને શું મોકલે છે તે AISeeWhy કેવી રીતે તપાસે છે?
Cloudflareમાં AI ક્રૉલર રિપોર્ટ ક્યાં છે?
Dashboardમાં તમારું એકાઉન્ટ અને ડોમેન પસંદ કરો, પછી AI Crawl Control ખોલો. Cloudflare કહે છે કે તે configuration વગર કામ કરે છે અને બધા પ્લાનમાં ઉપલબ્ધ છે, જ્યાં સુધી તમારા ડોમેનનો ટ્રાફિક Cloudflare દ્વારા proxy થતો હોય. તેમાં ચાર વિભાગ છે:
- Overview: કુલ requests, વૉલ્યૂમમાં ફેરફાર, સૌથી સામાન્ય status code, સૌથી લોકપ્રિય પાથ અને વધુ વૉલ્યૂમવાળા ક્રૉલર સાથેનો સારાંશ, ઉપરાંત Cloudflareની managed robots.txt ચાલુ છે કે નહીં, અને OpenAI, Microsoft, Google, ByteDance, Anthropic અને Meta જેવા operator પ્રમાણે જૂથબદ્ધ ક્રૉલર.
- ક્રૉલરની યાદી: દરેક AI ક્રૉલર માટે એક હરોળ, Action કૉલમ સાથે જ્યાં તમે Allow કે Block પસંદ કરો છો. Cloudflareના દસ્તાવેજો આ tabને એક પેજ પર Crawlers અને બીજા પર Security કહે છે, તેથી Action કૉલમવાળું ટેબલ શોધો.
- Metrics: સમય સાથે requests, status codeનું વિતરણ, content format, સૌથી લોકપ્રિય પાથ અને, પેઇડ પ્લાનમાં, referrals. ફિલ્ટરમાં તારીખની રેન્જ, ક્રૉલર, operator, hostname અને પાથ છે, અને તમે CSV export કરી શકો છો.
- Directives: તમારી robots.txt ફાઇલની સ્થિતિ અને robots.txt ઉલ્લંઘનોની યાદી.
આંકડા વાંચતી વખતે પ્લાનની બે મર્યાદા મહત્ત્વની છે. Free પ્લાનમાં AI Crawl Control ક્રૉલરને ફક્ત તેમની user agent string પરથી ઓળખે છે, તેથી તે ફક્ત પોતાની ઓળખ આપતા ક્રૉલર જુએ છે, બીજું કંઈ નહીં, અને Metrics tab છેલ્લા 24 કલાક આવરે છે. પેઇડ પ્લાન Bot Management detection ID દ્વારા ઓળખ ઉમેરે છે, અને Bot Management સાથેના Enterpriseમાં સમયગાળો બદલી શકાય છે.
AI Crawl Control રિપોર્ટમાં દરેક કૉલમ અને metricનો અર્થ શું છે?
Cloudflare ફીલ્ડ આ રીતે વર્ણવે છે. વ્યાખ્યાઓ મહત્ત્વની છે, કારણ કે ઘણા આંકડા તમે ધારો તેના કરતાં વધુ ગણે છે.
- Crawler અને Category: ક્રૉલરનું નામ, તેનો operator, અને તેની કૅટેગરી, જેમ કે AI crawler, AI assistant કે archiver.
- Requests: મંજૂર થયેલી ઉપરાંત અસફળ requests, ટ્રેન્ડ ચાર્ટ સાથે. અસફળ requests ફક્ત AI Crawl Controlના બ્લૉકથી નહીં, કોઈ પણ નિયમ કે response errorથી આવી શકે છે, તેથી તમે મંજૂરી આપેલા ક્રૉલર માટે મોટો આંકડો બીજા નિયમ કે તમારા originની errors તરફ સંકેત કરે છે.
- Allowed requests: 200 અને 299 વચ્ચેનું status મેળવેલી requests. Data transfer મંજૂર requests માટે Cloudflareએ મોકલેલા bytes પરથી માપવામાં આવે છે.
- Robots.txt violations: તમારી robots.txt જે પાથની મનાઈ કરે છે તેની ક્રૉલરે કેટલી વાર request કરી. Cloudflare જૂની requestsને તમારા હાલના નિયમો સાથે સરખાવે છે, તેથી આજે ઉમેરેલો નિયમ એવી requestsને પણ ચિહ્નિત કરી શકે જે થઈ ત્યારે મંજૂર હતી.
- Action: Allow, Block, અથવા pay per crawl betaમાંનાં એકાઉન્ટ માટે Charge.
- Status code distribution: 2xx, 3xx, 4xx અને 5xx. 4xx જૂથમાં બ્લૉકથી આવતા 403 અને pay per crawlથી આવતા 402 શામેલ છે.
- Referrals અને top referrers, ફક્ત પેઇડ પ્લાનમાં: AI સેવાઓમાંથી આવેલી મુલાકાતો, ઉદાહરણ તરીકે chatgpt.com પરથી, અને તેઓ જે પેજ પર પહોંચ્યા.
તમે પસંદ કરેલા action પરથી રિપોર્ટ વાંચો. Allow પર સેટ કરેલા ક્રૉલરમાં મોટે ભાગે મંજૂર requests અને 2xx codes દેખાવા જોઈએ. જો તેમાં ઘણી અસફળ requests દેખાય, તો એ ક્રૉલર માટે ફિલ્ટર કરીને status code distribution ખોલો, અને જવાબ આપનાર નિયમ શોધવા Security Analytics તપાસો.
Cloudflareમાં AI સર્ચ ક્રૉલરને મંજૂરી અને ટ્રેનિંગ ક્રૉલરને બ્લૉક કેવી રીતે કરવા?
તમે આ દરેક ક્રૉલર માટે કે વર્તન પ્રમાણે કરી શકો છો. દરેક ક્રૉલર માટે કરવા, AI Crawl Control ખોલો અને દરેક હરોળ માટે Action સેટ કરો. Cloudflare કહે છે કે ત્યાં બ્લૉક કરવાથી તમારા zone પર WAF custom rule બને છે કે અપડેટ થાય છે, જેને તમે પાથના અપવાદો માટે WAFમાં વિસ્તારી શકો છો. પેઇડ પ્લાનમાં તમે પસંદ કરી શકો છો કે બ્લૉક થયેલા ક્રૉલરને 403 મળે કે 402, અને સાદા લખાણનો body સેટ કરી શકો છો.
વર્તન પ્રમાણે કરવા, Security અને પછી Settings પર જાઓ, Bot traffic પ્રમાણે ફિલ્ટર કરો અને AI Crawler and Agent access policies ખોલો. Cloudflare AI ટ્રાફિકને ત્રણ વર્તનમાં વહેંચે છે, અને દરેક policy એ વર્તનવાળા verified bots અને મેળ ખાતા unverified bots પર લાગુ પડે છે:
- Search: કન્ટેન્ટ ભેગું કરવું કે ઇન્ડેક્સ કરવું, જેથી પછી પ્રશ્નોના જવાબ આપી શકાય.
- Agent: કોઈ વ્યક્તિ વતી real time માં કામ કરવું, જેમ કે ચેટમાંથી પેજ મેળવવું અને browser agents.
- Training: મૉડલને ટ્રેનિંગ કે fine-tune કરવા કન્ટેન્ટ ભેગું કરવું, ટ્રેનિંગ અને સર્ચ બંને માટે વપરાતા ક્રૉલર સહિત.
દરેક વર્તન Block, Block on pages with ads, કે Allow (do not block) પર સેટ કરી શકાય છે. Training માટે Disallow પણ છે, જે ફક્ત robots.txt દ્વારા ક્રૉલરને વિનંતી કરે છે. Bot Preference Sync ચાલુ હોય ત્યારે Cloudflare તમારી robots.txtની શરૂઆતમાં managed rules ઉમેરે છે જે Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot અને meta-externalagentને મનાઈ કરે છે, Content Signals લાઇન ઉમેરે છે, અને edge પર AI ટ્રેનિંગ ક્રૉલરને બ્લૉક પણ કરે છે, સિવાય કે સર્ચ અને ટ્રેનિંગ બંને માટે વપરાતા ક્રૉલર.
AI જવાબોમાં ટંકાવા ઇચ્છતી મોટા ભાગની સાઇટ માટે સલામત સંયોજન છે Search અને Agent પર Allow અને Training પર Disallow, પછી જે ફક્ત-ટ્રેનિંગ ક્રૉલરને edge પર રોકવા માગો તેમના માટે AI Crawl Controlમાં અલગ Block actions.
Cloudflareના AI ક્રૉલર defaultsમાં શું બદલાયું?
July 1, 2025ના રોજ Cloudflareએ જાહેર કર્યું કે તે default બદલીને AI ક્રૉલરને બ્લૉક કરશે, સિવાય કે તેઓ creatorsને ચુકવણી કરે. July 1, 2026ના રોજ તેણે એક Block AI bots switchની જગ્યાએ ઉપર વર્ણવેલી અલગ Search, Agent અને Training policies મૂકી, Free સહિત બધા પ્લાન માટે. એ જ જાહેરાતમાં કહ્યું હતું કે September 15, 2026થી જોડાતાં નવાં ડોમેનમાં જાહેરાતો બતાવતાં પેજ પર Training અને Agent બ્લૉક હશે અને Searchને મંજૂરી હશે.
Cloudflareના હાલના policy દસ્તાવેજો, છેલ્લે November 2, 2026ના રોજ અપડેટ થયેલા, કહે છે કે નવાં ડોમેનમાં ત્રણેય વર્તન માટે default Allow (do not block) છે. Cloudflareનાં પોતાનાં પેજે જુદા સમયે જુદા defaults વર્ણવ્યા હોવાથી, તમારા zone માટે તેમાંથી કોઈ પર આધાર ન રાખો: policy પેજ ખોલો અને શું સેટ છે તે વાંચો.
મેં મંજૂરી આપ્યા પછી પણ Cloudflare AI ક્રૉલરને કેમ બ્લૉક કરે છે?
AI Crawl Controlમાંનું Allow action ફક્ત AI Crawl Controlને બ્લૉક કરતાં અટકાવે છે. બીજી સુવિધાઓ હજી request પર અસર કરે છે. સામાન્ય કારણો:
- Training બ્લૉક કરવાથી બંને કામ કરતા સર્ચ ક્રૉલર પણ બ્લૉક થાય છે. Cloudflareના દસ્તાવેજો કહે છે કે Training actions મિશ્ર હેતુવાળા ક્રૉલર પર લાગુ પડે છે, અને તેની July 2026ની જાહેરાત Googlebot, Applebot અને bingbotનાં નામ આપે છે, જેમને Training બ્લૉક કરનારા ગ્રાહકો September 15, 2026થી બ્લૉક કરશે. Disallow વધુ સાંકડો વિકલ્પ છે, કારણ કે તેનો edge બ્લૉક મિશ્ર હેતુવાળા ક્રૉલરને છોડી દે છે.
- Bot Fight Mode ચાલુ છે. Cloudflare જણાવે છે કે WAF custom rules કે Page Rules વડે Bot Fight Modeને bypass કે skip કરી શકાતું નથી. જો તે ક્રૉલરને challenge કરે, તો તેને બંધ કરો, અથવા જે પ્લાનમાં ઉપલબ્ધ હોય ત્યાં skip rules સપોર્ટ કરતું Super Bot Fight Mode વાપરો.
- જૂનો WAF custom rule
botધરાવતા user agentsને બ્લૉક કરે છે, અથવા rate limiting rule અચાનક વધેલી requestsને 429 આપે છે. આ AI Crawl Controlના Actionથી સ્વતંત્ર રીતે ચાલે છે. - બ્લૉક rule હાથે બદલવામાં આવ્યો છે. જો AI Crawl Control પાછળનો WAF rule બીજા response codeમાં બદલાયો હોય, તો dashboard હવે તમારી પસંદગી લાગુ કરી શકતું નથી.
- robots.txt હજી ક્રૉલરને મનાઈ કરે છે. Cloudflareનું Allow તમારી robots.txt બદલતું નથી, તેથી નિયમ પાળતો ક્રૉલર તો પણ દૂર રહે છે. 1,000 સૌથી લોકપ્રિય ડોમેનના અમારા અભ્યાસમાં, robots.txtમાં AI ટ્રેનિંગ ક્રૉલર બ્લૉક કરનારી 155 સાઇટમાંથી 98એ ઓછામાં ઓછો એક AI સર્ચ કે user ક્રૉલર પણ બ્લૉક કર્યો હતો.
Cloudflare કયા AI ક્રૉલરને અંદર આવવા દે છે તેની બહારથી ખાતરી કેવી રીતે કરવી?
એ જ પેજની બ્રાઉઝરના user agentથી અને દરેક ક્રૉલરના user agentથી request કરો, પછી status અને કદ સરખાવો. નીચેની OpenAI, Perplexity અને Google strings એ કંપનીઓએ પ્રકાશિત કરેલી છે.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403, 429 કે 503 વાળી ક્રૉલરની લાઇન, કે બ્રાઉઝરની લાઇન કરતાં ઘણું નાનું કદ, એટલે તમારા originની આગળ કંઈક જુદો જવાબ આપે છે. Free પ્લાનમાં AI Crawl Control ક્રૉલરને user agent પરથી ઓળખે છે, તેથી આ ટેસ્ટ તેના બ્લૉકની વાજબી તપાસ છે. Verified bot status કે bot scores પર આધારિત નિયમો તમારી requestને સાચા ક્રૉલરથી જુદી રીતે ગણી શકે છે, કારણ કે તે operatorની પ્રકાશિત રેન્જમાંથી નહીં, તમારા IP સરનામા પરથી આવે છે. ટેસ્ટ પછી, કયો નિયમ મેળ ખાયો તે જોવા Security Analyticsમાં તમારી પોતાની requests શોધો.
Cloudflare AI ક્રૉલરને શું મોકલે છે તે AISeeWhy કેવી રીતે તપાસે છે?
AISeeWhyની મફત તપાસ તમારું પેજ 16 AI અને સર્ચ ક્રૉલર તરીકે અને સાથે સાચા બ્રાઉઝર તરીકે મેળવે છે, દરેક ક્રૉલર માટે તમારી robots.txt લાગુ કરે છે અને ફાયરવૉલનાં ચેલેન્જ પેજ ઓળખે છે, જેથી તમે જોઈ શકો કે Cloudflareના dashboardમાંનું પરિણામ ક્રૉલરને ખરેખર મળે છે તેની સાથે મેળ ખાય છે કે નહીં.
આ સમસ્યાના સુધારા
આગળનાં પગલાં
- AI ક્રૉલર માટે robots.txt ટેસ્ટર અને ચેકર
- AI ક્રૉલરની IP તપાસ
- પૂરા રિપોર્ટનું એક ઉદાહરણ જુઓ
- AI ક્રૉલર મૉનિટરિંગ
- પ્લાન અને કિંમતો
આ લેખમાંના ક્રૉલર
વારંવાર પૂછાતા પ્રશ્નો
શું Cloudflare AI Crawl Control મફત છે?
હા. Cloudflare AI Crawl Controlને બધા પ્લાનમાં ઉપલબ્ધ બતાવે છે. Free પ્લાન ક્રૉલરને ફક્ત user agent પરથી ઓળખે છે અને Metricsમાં છેલ્લા 24 કલાક બતાવે છે; referral ડેટા અને custom block responses માટે પેઇડ પ્લાન જોઈએ.
Cloudflare AI Auditનું શું થયું?
તેનું નામ બદલાયું. Cloudflareના દસ્તાવેજો AI Crawl Controlને પહેલાંના AI Audit તરીકે વર્ણવે છે, એ જ હેતુ સાથે: કયા AI ક્રૉલર મુલાકાત લે છે તે જોવું અને દરેક માટે action સેટ કરવું.
શું AI Crawl Controlમાં ક્રૉલર બ્લૉક કરવાથી મારી robots.txt બદલાય છે?
ના. Block action WAF custom rule બનાવે છે કે અપડેટ કરે છે. robots.txt ફક્ત ત્યારે બદલાય છે જ્યારે તમે Bot Preference Sync સાથે Training માટે Disallow વિકલ્પ વાપરો, જે તમારી ફાઇલની શરૂઆતમાં Cloudflareના managed rules ઉમેરે છે.
Cloudflareમાં robots.txt ઉલ્લંઘન શું ગણાય છે?
તમારી robots.txt જે પાથની મનાઈ કરે છે તેના માટે AI ક્રૉલરની request. Cloudflare જૂની requestsને તમારા હાલના નિયમો સાથે સરખાવે છે, તેથી નવો નિયમ એવી જૂની requestsને ચિહ્નિત કરી શકે જે ત્યારે મંજૂર હતી.
Pay per crawl શું છે?
એક Charge action જે AI ક્રૉલરને દરેક request માટે ચુકવણી કરવા કહે છે, નહીંતર HTTP 402 અને કિંમત સાથે જવાબ આપે છે. Cloudflare તેને closed beta તરીકે વર્ણવે છે, અને WAF કે Bot Managementના બ્લૉક તેના પર અગ્રતા ધરાવે છે.
સ્રોતો
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11