Cloudflare की AI Crawl Control रिपोर्ट कैसे पढ़ें और देखें कि कौन-से AI क्रॉलर अंदर आते हैं
अपने Cloudflare डैशबोर्ड में AI Crawl Control खोलें: क्रॉलर सूची हर उस AI क्रॉलर को दिखाती है जिसे Cloudflare ने आपके डोमेन पर देखा, उसके अनुरोध, उसके robots.txt उल्लंघन और यह कि उसका एक्शन Allow है या Block। AI सर्च में बने रहने और ट्रेनिंग से इनकार करने के लिए वहां या AI Crawler and Agent access policies में सर्च और एजेंट क्रॉलर को अनुमति दें और ट्रेनिंग क्रॉलर को ब्लॉक या disallow करें। फिर बाहर से curl से पुष्टि करें, क्योंकि Cloudflare की दूसरी सुविधाएं उस क्रॉलर को भी ब्लॉक कर सकती हैं जिसे आपने अनुमति दी है।
Cloudflare में अब दो जगहें हैं जो तय करती हैं कि AI क्रॉलर को क्या मिलेगा: AI Crawl Control, यानी हर क्रॉलर की रिपोर्ट और कंट्रोल पैनल जिसे पहले AI Audit कहा जाता था, और Security सेटिंग में पूरे ज़ोन के लिए AI Crawler and Agent access policies। दोनों Free प्लान पर उपलब्ध हैं, दोनों 2026 में बदले, और इनमें से कोई भी उन सभी दूसरी सुविधाओं के बारे में नहीं बताता जो फिर भी क्रॉलर को 403 दे सकती हैं। यह गाइड रिपोर्ट को कॉलम-दर-कॉलम समझाती है, दिखाती है कि अनुमति और ब्लॉक कहां सेट करें, और आख़िर में एक टेस्ट देती है जिसे आप अपनी मशीन से चला सकते हैं।
इस पेज पर
- Cloudflare में AI क्रॉलर रिपोर्ट कहां है?
- AI Crawl Control रिपोर्ट के हर कॉलम और मेट्रिक का क्या मतलब है?
- Cloudflare में AI सर्च क्रॉलर को अनुमति और ट्रेनिंग क्रॉलर को ब्लॉक कैसे करें?
- Cloudflare के AI क्रॉलर डिफ़ॉल्ट में क्या बदला?
- अनुमति देने के बाद भी Cloudflare AI क्रॉलर को ब्लॉक क्यों कर रहा है?
- बाहर से कैसे पुष्टि करें कि Cloudflare किन AI क्रॉलर को अंदर आने देता है?
- AISeeWhy कैसे जांचता है कि Cloudflare AI क्रॉलर को क्या भेजता है?
Cloudflare में AI क्रॉलर रिपोर्ट कहां है?
डैशबोर्ड में अपना अकाउंट और डोमेन चुनें, फिर AI Crawl Control खोलें। Cloudflare कहता है कि यह बिना कॉन्फ़िगरेशन के काम करता है और सभी प्लान पर उपलब्ध है, बशर्ते आपके डोमेन का ट्रैफ़िक Cloudflare से प्रॉक्सी होता हो। इसके चार हिस्से हैं:
- Overview: कुल अनुरोध, वॉल्यूम में बदलाव, सबसे आम स्टेटस कोड, सबसे लोकप्रिय पाथ और ज़्यादा वॉल्यूम वाले क्रॉलर का सार, साथ में यह कि Cloudflare की मैनेज्ड robots.txt चालू है या नहीं, और OpenAI, Microsoft, Google, ByteDance, Anthropic और Meta जैसे ऑपरेटर के हिसाब से समूहित क्रॉलर।
- क्रॉलर सूची: हर AI क्रॉलर की एक पंक्ति, Action कॉलम के साथ जहां आप Allow या Block चुनते हैं। Cloudflare का दस्तावेज़ इस टैब को एक पेज पर Crawlers और दूसरे पर Security कहता है, इसलिए Action कॉलम वाली टेबल ढूंढें।
- Metrics: समय के साथ अनुरोध, स्टेटस कोड का बंटवारा, कंटेंट फ़ॉर्मैट, सबसे लोकप्रिय पाथ और, पेड प्लान पर, रेफ़रल। फ़िल्टर में तारीख की सीमा, क्रॉलर, ऑपरेटर, होस्टनेम और पाथ हैं, और आप CSV एक्सपोर्ट कर सकते हैं।
- Directives: आपकी robots.txt फ़ाइल की सेहत और robots.txt उल्लंघनों की सूची।
संख्याएं पढ़ते समय प्लान की दो सीमाएं मायने रखती हैं। Free प्लान पर AI Crawl Control क्रॉलर को सिर्फ़ उनकी user agent स्ट्रिंग से पहचानता है, इसलिए यह केवल ख़ुद को घोषित करने वाले क्रॉलर देखता है, और Metrics टैब पिछले 24 घंटे दिखाता है। पेड प्लान Bot Management detection ID से पहचान जोड़ते हैं, और Bot Management के साथ Enterprise में समय-सीमा बदली जा सकती है।
AI Crawl Control रिपोर्ट के हर कॉलम और मेट्रिक का क्या मतलब है?
Cloudflare फ़ील्ड को इस तरह परिभाषित करता है। परिभाषाएं मायने रखती हैं, क्योंकि कई संख्याएं आपकी उम्मीद से ज़्यादा गिनती हैं।
- Crawler और Category: क्रॉलर का नाम, उसका ऑपरेटर, और उसकी कैटेगरी, जैसे AI crawler, AI assistant या archiver।
- Requests: allowed और असफल अनुरोध मिलाकर, ट्रेंड चार्ट के साथ। असफल अनुरोध किसी भी नियम या रिस्पॉन्स error से आ सकते हैं, सिर्फ़ AI Crawl Control के ब्लॉक से नहीं, इसलिए जिस क्रॉलर को आपने अनुमति दी है उसके लिए बड़ी संख्या किसी दूसरे नियम या आपके origin सर्वर पर errors की ओर इशारा करती है।
- Allowed requests: वे अनुरोध जिन्हें 200 से 299 के बीच का स्टेटस मिला। डेटा ट्रांसफ़र allowed अनुरोधों के लिए Cloudflare द्वारा भेजे गए बाइट से मापा जाता है।
- Robots.txt violations: क्रॉलर ने कितनी बार ऐसा पाथ मांगा जिसे आपकी robots.txt disallow करती है। Cloudflare पुराने अनुरोधों की तुलना आपके मौजूदा नियमों से करता है, इसलिए आज जोड़ा गया नियम उन अनुरोधों को भी चिह्नित कर सकता है जो किए जाते समय allowed थे।
- Action: Allow, Block, या pay per crawl बीटा वाले अकाउंट के लिए Charge।
- स्टेटस कोड का बंटवारा: 2xx, 3xx, 4xx और 5xx। 4xx समूह में ब्लॉक से आए 403 और pay per crawl से आए 402 शामिल हैं।
- Referrals और top referrers, सिर्फ़ पेड प्लान पर: AI सेवाओं से आई विज़िट, जैसे chatgpt.com से, और वे पेज जिन पर वे पहुंचीं।
रिपोर्ट को अपने चुने एक्शन के हिसाब से पढ़ें। Allow पर सेट क्रॉलर में ज़्यादातर allowed अनुरोध और 2xx कोड दिखने चाहिए। अगर बहुत से असफल अनुरोध दिखें, तो उस क्रॉलर के लिए फ़िल्टर किया गया स्टेटस कोड बंटवारा खोलें, और जवाब देने वाला नियम ढूंढने के लिए Security Analytics देखें।
Cloudflare में AI सर्च क्रॉलर को अनुमति और ट्रेनिंग क्रॉलर को ब्लॉक कैसे करें?
आप यह हर क्रॉलर के हिसाब से या व्यवहार के हिसाब से कर सकते हैं। हर क्रॉलर के लिए AI Crawl Control खोलें और हर पंक्ति का Action सेट करें। Cloudflare कहता है कि वहां ब्लॉक करने से आपके ज़ोन पर WAF कस्टम नियम बनता या अपडेट होता है, जिसे आप पाथ के अपवादों के लिए WAF में बढ़ा सकते हैं। पेड प्लान पर आप चुन सकते हैं कि ब्लॉक किए गए क्रॉलर को 403 मिले या 402, और सादे टेक्स्ट वाली बॉडी सेट कर सकते हैं।
व्यवहार के हिसाब से, Security में जाएं, फिर Settings, Bot traffic से फ़िल्टर करें और AI Crawler and Agent access policies खोलें। Cloudflare AI ट्रैफ़िक को तीन व्यवहारों में बांटता है, और हर पॉलिसी उस व्यवहार वाले वेरिफ़ाइड बॉट और मेल खाने वाले अनवेरिफ़ाइड बॉट पर लागू होती है:
- Search: कंटेंट इकट्ठा या इंडेक्स करना ताकि बाद में सवालों के जवाब दिए जा सकें।
- Agent: किसी व्यक्ति की ओर से रियल टाइम में काम करना, जैसे चैट से fetch और ब्राउज़र एजेंट।
- Training: मॉडल को ट्रेन या फ़ाइन-ट्यून करने के लिए कंटेंट इकट्ठा करना, जिसमें ट्रेनिंग और सर्च दोनों के लिए इस्तेमाल होने वाले क्रॉलर भी शामिल हैं।
हर व्यवहार को Block, Block on pages with ads, या Allow (do not block) पर सेट किया जा सकता है। Training में Disallow भी है, जो सिर्फ़ robots.txt के ज़रिए क्रॉलर से अनुरोध करता है। Bot Preference Sync चालू होने पर Cloudflare आपकी robots.txt की शुरुआत में मैनेज्ड नियम जोड़ता है जो Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot और meta-externalagent को disallow करते हैं, एक Content Signals लाइन जोड़ता है, और edge पर AI ट्रेनिंग क्रॉलर को ब्लॉक भी करता है, सिवाय उन क्रॉलर के जो सर्च और ट्रेनिंग दोनों के लिए इस्तेमाल होते हैं।
AI में हवाला चाहने वाली ज़्यादातर साइटों के लिए सुरक्षित मेल है Search और Agent को Allow और Training को Disallow पर रखना, फिर उन ट्रेनिंग-ओनली क्रॉलर के लिए AI Crawl Control में अलग-अलग Block एक्शन, जिन्हें आप edge पर रोकना चाहते हैं।
Cloudflare के AI क्रॉलर डिफ़ॉल्ट में क्या बदला?
1 जुलाई 2025 को Cloudflare ने घोषणा की कि वह डिफ़ॉल्ट बदलकर AI क्रॉलर को तब तक ब्लॉक करेगा जब तक वे क्रिएटर को भुगतान न करें। 1 जुलाई 2026 को उसने अकेले Block AI bots स्विच की जगह ऊपर बताई अलग Search, Agent और Training पॉलिसी दीं, Free समेत सभी प्लान के लिए। उसी घोषणा में कहा गया कि 15 सितंबर 2026 से जुड़ने वाले नए डोमेन पर विज्ञापन दिखाने वाले पेजों पर Training और Agent ब्लॉक होंगे, और Search की अनुमति होगी।
Cloudflare का मौजूदा पॉलिसी दस्तावेज़, जो आख़िरी बार 2 नवंबर 2026 को अपडेट हुआ, कहता है कि नए डोमेन पर तीनों व्यवहारों के लिए डिफ़ॉल्ट Allow (do not block) है। क्योंकि Cloudflare के अपने पेजों ने अलग-अलग समय पर अलग डिफ़ॉल्ट बताए हैं, अपने ज़ोन के लिए इनमें से किसी पर भरोसा न करें: पॉलिसी पेज खोलें और देखें कि क्या सेट है।
अनुमति देने के बाद भी Cloudflare AI क्रॉलर को ब्लॉक क्यों कर रहा है?
AI Crawl Control का Allow एक्शन सिर्फ़ AI Crawl Control को ब्लॉक करने से रोकता है। दूसरी सुविधाएं फिर भी अनुरोध पर काम करती हैं। आम वजहें:
- Training ब्लॉक करने से वे सर्च क्रॉलर भी ब्लॉक होते हैं जो दोनों काम करते हैं। Cloudflare का दस्तावेज़ कहता है कि Training एक्शन मिश्रित उद्देश्य वाले क्रॉलर पर लागू होते हैं, और जुलाई 2026 की उसकी घोषणा Googlebot, Applebot और bingbot को ऐसे क्रॉलर बताती है जिन्हें Training ब्लॉक करने वाले ग्राहक 15 सितंबर 2026 से ब्लॉक करेंगे। Disallow ज़्यादा संकरा विकल्प है, क्योंकि उसका edge ब्लॉक मिश्रित उद्देश्य वाले क्रॉलर को छोड़ देता है।
- Bot Fight Mode चालू है। Cloudflare कहता है कि आप WAF कस्टम नियमों या Page Rules से Bot Fight Mode को bypass या skip नहीं कर सकते। अगर यह किसी क्रॉलर को चैलेंज देता है, तो इसे बंद करें, या जिस प्लान में हो वहां Super Bot Fight Mode इस्तेमाल करें, जो skip नियमों का समर्थन करता है।
- कोई पुराना WAF कस्टम नियम
botवाले user agent को ब्लॉक करता है, या कोई rate limiting नियम अचानक बढ़े अनुरोधों को 429 देता है। ये AI Crawl Control के Action से अलग चलते हैं। - ब्लॉक नियम हाथ से बदला गया। अगर AI Crawl Control के पीछे का WAF नियम किसी दूसरे रिस्पॉन्स कोड पर बदल दिया गया, तो डैशबोर्ड आपका चुनाव लागू नहीं कर सकता।
- robots.txt अब भी क्रॉलर को disallow करती है। Cloudflare का Allow आपकी robots.txt नहीं बदलता, इसलिए नियम मानने वाला क्रॉलर फिर भी दूर रहता है। 1,000 सबसे लोकप्रिय डोमेन के हमारे अध्ययन में, robots.txt में AI ट्रेनिंग क्रॉलर ब्लॉक करने वाली 155 साइटों में से 98 ने कम से कम एक AI सर्च या यूज़र क्रॉलर को भी ब्लॉक किया था।
बाहर से कैसे पुष्टि करें कि Cloudflare किन AI क्रॉलर को अंदर आने देता है?
एक ही पेज ब्राउज़र के user agent से और हर क्रॉलर के user agent से मांगें, फिर स्टेटस और साइज़ की तुलना करें। नीचे दी गई OpenAI, Perplexity और Google की स्ट्रिंग वही हैं जो ये कंपनियां प्रकाशित करती हैं।
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" अगर किसी क्रॉलर की लाइन में 403, 429 या 503 है, या साइज़ ब्राउज़र वाली लाइन से बहुत कम है, तो आपके origin के आगे किसी चीज़ ने अलग जवाब दिया। Free प्लान पर AI Crawl Control क्रॉलर को user agent से पहचानता है, इसलिए यह टेस्ट उसके ब्लॉक की ठीक-ठाक जांच है। वेरिफ़ाइड बॉट स्टेटस या बॉट स्कोर पर आधारित नियम आपके अनुरोध के साथ असली क्रॉलर से अलग बर्ताव कर सकते हैं, क्योंकि वह आपके IP पते से आता है, ऑपरेटर की प्रकाशित रेंज से नहीं। टेस्ट के बाद Security Analytics में अपने अनुरोध ढूंढें और देखें कि कौन-सा नियम मेल खाया।
AISeeWhy कैसे जांचता है कि Cloudflare AI क्रॉलर को क्या भेजता है?
AISeeWhy की मुफ़्त जांच आपका पेज असली ब्राउज़र के साथ-साथ 16 AI और सर्च क्रॉलर के रूप में मांगती है, हर क्रॉलर के लिए आपकी robots.txt लागू करती है और फ़ायरवॉल के चैलेंज पेज पहचानती है, ताकि आप देख सकें कि Cloudflare डैशबोर्ड का नतीजा उससे मेल खाता है या नहीं जो क्रॉलर को असल में मिलता है।
इस समस्या के सुधार
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- AI क्रॉलर IP जाँच
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
अक्सर पूछे जाने वाले प्रश्न
क्या Cloudflare AI Crawl Control मुफ़्त है?
हां। Cloudflare बताता है कि AI Crawl Control सभी प्लान पर उपलब्ध है। Free प्लान क्रॉलर को सिर्फ़ user agent से पहचानता है और Metrics में पिछले 24 घंटे दिखाता है; रेफ़रल डेटा और कस्टम ब्लॉक रिस्पॉन्स के लिए पेड प्लान चाहिए।
Cloudflare AI Audit का क्या हुआ?
उसका नाम बदल दिया गया। Cloudflare का दस्तावेज़ AI Crawl Control को पहले का AI Audit बताता है, उसी उद्देश्य के साथ: यह देखना कि कौन-से AI क्रॉलर आते हैं और हर एक के लिए एक्शन सेट करना।
क्या AI Crawl Control में किसी क्रॉलर को ब्लॉक करने से मेरी robots.txt बदलती है?
नहीं। Block एक्शन WAF कस्टम नियम बनाता या अपडेट करता है। robots.txt तभी बदलती है जब आप Bot Preference Sync के साथ Training के लिए Disallow विकल्प इस्तेमाल करते हैं, जो Cloudflare के मैनेज्ड नियम आपकी फ़ाइल की शुरुआत में जोड़ता है।
Cloudflare में robots.txt उल्लंघन किसे गिना जाता है?
किसी AI क्रॉलर का ऐसे पाथ के लिए अनुरोध जिसे आपकी robots.txt disallow करती है। Cloudflare पुराने अनुरोधों की तुलना आपके मौजूदा नियमों से करता है, इसलिए नया नियम उन पुराने अनुरोधों को भी चिह्नित कर सकता है जो उस समय allowed थे।
pay per crawl क्या है?
एक Charge एक्शन जो AI क्रॉलर से हर अनुरोध के लिए भुगतान मांगता है, और भुगतान न होने पर HTTP 402 और कीमत के साथ जवाब देता है। Cloudflare इसे क्लोज़्ड बीटा बताता है, और WAF या Bot Management के ब्लॉक इससे पहले लागू होते हैं।
स्रोत
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI क्रॉलर एक्सेस रिपोर्ट, 2026-11