Cloudflareનો AI Crawl Control રિપોર્ટ કેવી રીતે વાંચવો અને કયા AI ક્રૉલર અંદર આવે છે તે કેવી રીતે જોવું

પ્રકાશિત

ટૂંકો જવાબ

તમારા Cloudflare dashboardમાં AI Crawl Control ખોલો: ક્રૉલરની યાદી તમારા ડોમેન પર Cloudflareએ જોયેલો દરેક AI ક્રૉલર, તેની requests, તેનાં robots.txt ઉલ્લંઘનો અને તેનું action Allow છે કે Block તે બતાવે છે. AI સર્ચ રાખીને ટ્રેનિંગ નકારવા, ત્યાં કે AI Crawler and Agent access policies હેઠળ સર્ચ અને agent ક્રૉલરને મંજૂરી આપો અને ટ્રેનિંગ ક્રૉલરને બ્લૉક કે disallow કરો. પછી બહારથી curl વડે ખાતરી કરો, કારણ કે Cloudflareની બીજી સુવિધાઓ તમે મંજૂરી આપેલા ક્રૉલરને પણ બ્લૉક કરી શકે છે.

Cloudflareમાં હવે બે જગ્યા છે જે નક્કી કરે છે કે AI ક્રૉલરને શું મળે: AI Crawl Control, દરેક ક્રૉલર માટેનો રિપોર્ટ અને switchboard જે પહેલાં AI Audit કહેવાતું, અને Security settings હેઠળની આખા zone માટેની AI Crawler and Agent access policies. બંને Free પ્લાનમાં ઉપલબ્ધ છે, બંને 2026 દરમિયાન બદલાયાં, અને બેમાંથી કોઈ તમને એ બીજી બધી સુવિધાઓ વિશે જણાવતું નથી જે હજી ક્રૉલરને 403 આપી શકે. આ માર્ગદર્શિકા રિપોર્ટને કૉલમ પ્રમાણે સમજાવે છે, allow અને block ક્યાં સેટ કરવું તે બતાવે છે, અને અંતે તમારા પોતાના મશીન પરથી ચલાવી શકાય એવો ટેસ્ટ આપે છે.

આ પેજ પર
  1. Cloudflareમાં AI ક્રૉલર રિપોર્ટ ક્યાં છે?
  2. AI Crawl Control રિપોર્ટમાં દરેક કૉલમ અને metricનો અર્થ શું છે?
  3. Cloudflareમાં AI સર્ચ ક્રૉલરને મંજૂરી અને ટ્રેનિંગ ક્રૉલરને બ્લૉક કેવી રીતે કરવા?
  4. Cloudflareના AI ક્રૉલર defaultsમાં શું બદલાયું?
  5. મેં મંજૂરી આપ્યા પછી પણ Cloudflare AI ક્રૉલરને કેમ બ્લૉક કરે છે?
  6. Cloudflare કયા AI ક્રૉલરને અંદર આવવા દે છે તેની બહારથી ખાતરી કેવી રીતે કરવી?
  7. Cloudflare AI ક્રૉલરને શું મોકલે છે તે AISeeWhy કેવી રીતે તપાસે છે?

Cloudflareમાં AI ક્રૉલર રિપોર્ટ ક્યાં છે?

Dashboardમાં તમારું એકાઉન્ટ અને ડોમેન પસંદ કરો, પછી AI Crawl Control ખોલો. Cloudflare કહે છે કે તે configuration વગર કામ કરે છે અને બધા પ્લાનમાં ઉપલબ્ધ છે, જ્યાં સુધી તમારા ડોમેનનો ટ્રાફિક Cloudflare દ્વારા proxy થતો હોય. તેમાં ચાર વિભાગ છે:

આંકડા વાંચતી વખતે પ્લાનની બે મર્યાદા મહત્ત્વની છે. Free પ્લાનમાં AI Crawl Control ક્રૉલરને ફક્ત તેમની user agent string પરથી ઓળખે છે, તેથી તે ફક્ત પોતાની ઓળખ આપતા ક્રૉલર જુએ છે, બીજું કંઈ નહીં, અને Metrics tab છેલ્લા 24 કલાક આવરે છે. પેઇડ પ્લાન Bot Management detection ID દ્વારા ઓળખ ઉમેરે છે, અને Bot Management સાથેના Enterpriseમાં સમયગાળો બદલી શકાય છે.

AI Crawl Control રિપોર્ટમાં દરેક કૉલમ અને metricનો અર્થ શું છે?

Cloudflare ફીલ્ડ આ રીતે વર્ણવે છે. વ્યાખ્યાઓ મહત્ત્વની છે, કારણ કે ઘણા આંકડા તમે ધારો તેના કરતાં વધુ ગણે છે.

તમે પસંદ કરેલા action પરથી રિપોર્ટ વાંચો. Allow પર સેટ કરેલા ક્રૉલરમાં મોટે ભાગે મંજૂર requests અને 2xx codes દેખાવા જોઈએ. જો તેમાં ઘણી અસફળ requests દેખાય, તો એ ક્રૉલર માટે ફિલ્ટર કરીને status code distribution ખોલો, અને જવાબ આપનાર નિયમ શોધવા Security Analytics તપાસો.

Cloudflareમાં AI સર્ચ ક્રૉલરને મંજૂરી અને ટ્રેનિંગ ક્રૉલરને બ્લૉક કેવી રીતે કરવા?

તમે આ દરેક ક્રૉલર માટે કે વર્તન પ્રમાણે કરી શકો છો. દરેક ક્રૉલર માટે કરવા, AI Crawl Control ખોલો અને દરેક હરોળ માટે Action સેટ કરો. Cloudflare કહે છે કે ત્યાં બ્લૉક કરવાથી તમારા zone પર WAF custom rule બને છે કે અપડેટ થાય છે, જેને તમે પાથના અપવાદો માટે WAFમાં વિસ્તારી શકો છો. પેઇડ પ્લાનમાં તમે પસંદ કરી શકો છો કે બ્લૉક થયેલા ક્રૉલરને 403 મળે કે 402, અને સાદા લખાણનો body સેટ કરી શકો છો.

વર્તન પ્રમાણે કરવા, Security અને પછી Settings પર જાઓ, Bot traffic પ્રમાણે ફિલ્ટર કરો અને AI Crawler and Agent access policies ખોલો. Cloudflare AI ટ્રાફિકને ત્રણ વર્તનમાં વહેંચે છે, અને દરેક policy એ વર્તનવાળા verified bots અને મેળ ખાતા unverified bots પર લાગુ પડે છે:

દરેક વર્તન Block, Block on pages with ads, કે Allow (do not block) પર સેટ કરી શકાય છે. Training માટે Disallow પણ છે, જે ફક્ત robots.txt દ્વારા ક્રૉલરને વિનંતી કરે છે. Bot Preference Sync ચાલુ હોય ત્યારે Cloudflare તમારી robots.txtની શરૂઆતમાં managed rules ઉમેરે છે જે Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot અને meta-externalagentને મનાઈ કરે છે, Content Signals લાઇન ઉમેરે છે, અને edge પર AI ટ્રેનિંગ ક્રૉલરને બ્લૉક પણ કરે છે, સિવાય કે સર્ચ અને ટ્રેનિંગ બંને માટે વપરાતા ક્રૉલર.

AI જવાબોમાં ટંકાવા ઇચ્છતી મોટા ભાગની સાઇટ માટે સલામત સંયોજન છે Search અને Agent પર Allow અને Training પર Disallow, પછી જે ફક્ત-ટ્રેનિંગ ક્રૉલરને edge પર રોકવા માગો તેમના માટે AI Crawl Controlમાં અલગ Block actions.

Cloudflareના AI ક્રૉલર defaultsમાં શું બદલાયું?

July 1, 2025ના રોજ Cloudflareએ જાહેર કર્યું કે તે default બદલીને AI ક્રૉલરને બ્લૉક કરશે, સિવાય કે તેઓ creatorsને ચુકવણી કરે. July 1, 2026ના રોજ તેણે એક Block AI bots switchની જગ્યાએ ઉપર વર્ણવેલી અલગ Search, Agent અને Training policies મૂકી, Free સહિત બધા પ્લાન માટે. એ જ જાહેરાતમાં કહ્યું હતું કે September 15, 2026થી જોડાતાં નવાં ડોમેનમાં જાહેરાતો બતાવતાં પેજ પર Training અને Agent બ્લૉક હશે અને Searchને મંજૂરી હશે.

Cloudflareના હાલના policy દસ્તાવેજો, છેલ્લે November 2, 2026ના રોજ અપડેટ થયેલા, કહે છે કે નવાં ડોમેનમાં ત્રણેય વર્તન માટે default Allow (do not block) છે. Cloudflareનાં પોતાનાં પેજે જુદા સમયે જુદા defaults વર્ણવ્યા હોવાથી, તમારા zone માટે તેમાંથી કોઈ પર આધાર ન રાખો: policy પેજ ખોલો અને શું સેટ છે તે વાંચો.

મેં મંજૂરી આપ્યા પછી પણ Cloudflare AI ક્રૉલરને કેમ બ્લૉક કરે છે?

AI Crawl Controlમાંનું Allow action ફક્ત AI Crawl Controlને બ્લૉક કરતાં અટકાવે છે. બીજી સુવિધાઓ હજી request પર અસર કરે છે. સામાન્ય કારણો:

Cloudflare કયા AI ક્રૉલરને અંદર આવવા દે છે તેની બહારથી ખાતરી કેવી રીતે કરવી?

એ જ પેજની બ્રાઉઝરના user agentથી અને દરેક ક્રૉલરના user agentથી request કરો, પછી status અને કદ સરખાવો. નીચેની OpenAI, Perplexity અને Google strings એ કંપનીઓએ પ્રકાશિત કરેલી છે.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403, 429 કે 503 વાળી ક્રૉલરની લાઇન, કે બ્રાઉઝરની લાઇન કરતાં ઘણું નાનું કદ, એટલે તમારા originની આગળ કંઈક જુદો જવાબ આપે છે. Free પ્લાનમાં AI Crawl Control ક્રૉલરને user agent પરથી ઓળખે છે, તેથી આ ટેસ્ટ તેના બ્લૉકની વાજબી તપાસ છે. Verified bot status કે bot scores પર આધારિત નિયમો તમારી requestને સાચા ક્રૉલરથી જુદી રીતે ગણી શકે છે, કારણ કે તે operatorની પ્રકાશિત રેન્જમાંથી નહીં, તમારા IP સરનામા પરથી આવે છે. ટેસ્ટ પછી, કયો નિયમ મેળ ખાયો તે જોવા Security Analyticsમાં તમારી પોતાની requests શોધો.

Cloudflare AI ક્રૉલરને શું મોકલે છે તે AISeeWhy કેવી રીતે તપાસે છે?

AISeeWhyની મફત તપાસ તમારું પેજ 16 AI અને સર્ચ ક્રૉલર તરીકે અને સાથે સાચા બ્રાઉઝર તરીકે મેળવે છે, દરેક ક્રૉલર માટે તમારી robots.txt લાગુ કરે છે અને ફાયરવૉલનાં ચેલેન્જ પેજ ઓળખે છે, જેથી તમે જોઈ શકો કે Cloudflareના dashboardમાંનું પરિણામ ક્રૉલરને ખરેખર મળે છે તેની સાથે મેળ ખાય છે કે નહીં.

આ સમસ્યાના સુધારા

મફત ટૂલ

આગળનાં પગલાં

આ લેખમાંના ક્રૉલર

વારંવાર પૂછાતા પ્રશ્નો

શું Cloudflare AI Crawl Control મફત છે?

હા. Cloudflare AI Crawl Controlને બધા પ્લાનમાં ઉપલબ્ધ બતાવે છે. Free પ્લાન ક્રૉલરને ફક્ત user agent પરથી ઓળખે છે અને Metricsમાં છેલ્લા 24 કલાક બતાવે છે; referral ડેટા અને custom block responses માટે પેઇડ પ્લાન જોઈએ.

Cloudflare AI Auditનું શું થયું?

તેનું નામ બદલાયું. Cloudflareના દસ્તાવેજો AI Crawl Controlને પહેલાંના AI Audit તરીકે વર્ણવે છે, એ જ હેતુ સાથે: કયા AI ક્રૉલર મુલાકાત લે છે તે જોવું અને દરેક માટે action સેટ કરવું.

શું AI Crawl Controlમાં ક્રૉલર બ્લૉક કરવાથી મારી robots.txt બદલાય છે?

ના. Block action WAF custom rule બનાવે છે કે અપડેટ કરે છે. robots.txt ફક્ત ત્યારે બદલાય છે જ્યારે તમે Bot Preference Sync સાથે Training માટે Disallow વિકલ્પ વાપરો, જે તમારી ફાઇલની શરૂઆતમાં Cloudflareના managed rules ઉમેરે છે.

Cloudflareમાં robots.txt ઉલ્લંઘન શું ગણાય છે?

તમારી robots.txt જે પાથની મનાઈ કરે છે તેના માટે AI ક્રૉલરની request. Cloudflare જૂની requestsને તમારા હાલના નિયમો સાથે સરખાવે છે, તેથી નવો નિયમ એવી જૂની requestsને ચિહ્નિત કરી શકે જે ત્યારે મંજૂર હતી.

Pay per crawl શું છે?

એક Charge action જે AI ક્રૉલરને દરેક request માટે ચુકવણી કરવા કહે છે, નહીંતર HTTP 402 અને કિંમત સાથે જવાબ આપે છે. Cloudflare તેને closed beta તરીકે વર્ણવે છે, અને WAF કે Bot Managementના બ્લૉક તેના પર અગ્રતા ધરાવે છે.

સ્રોતો

વધુ લેખો