Cloudflare की AI Crawl Control रिपोर्ट कैसे पढ़ें और देखें कि कौन-से AI क्रॉलर अंदर आते हैं

प्रकाशित

संक्षिप्त उत्तर

अपने Cloudflare डैशबोर्ड में AI Crawl Control खोलें: क्रॉलर सूची हर उस AI क्रॉलर को दिखाती है जिसे Cloudflare ने आपके डोमेन पर देखा, उसके अनुरोध, उसके robots.txt उल्लंघन और यह कि उसका एक्शन Allow है या Block। AI सर्च में बने रहने और ट्रेनिंग से इनकार करने के लिए वहां या AI Crawler and Agent access policies में सर्च और एजेंट क्रॉलर को अनुमति दें और ट्रेनिंग क्रॉलर को ब्लॉक या disallow करें। फिर बाहर से curl से पुष्टि करें, क्योंकि Cloudflare की दूसरी सुविधाएं उस क्रॉलर को भी ब्लॉक कर सकती हैं जिसे आपने अनुमति दी है।

Cloudflare में अब दो जगहें हैं जो तय करती हैं कि AI क्रॉलर को क्या मिलेगा: AI Crawl Control, यानी हर क्रॉलर की रिपोर्ट और कंट्रोल पैनल जिसे पहले AI Audit कहा जाता था, और Security सेटिंग में पूरे ज़ोन के लिए AI Crawler and Agent access policies। दोनों Free प्लान पर उपलब्ध हैं, दोनों 2026 में बदले, और इनमें से कोई भी उन सभी दूसरी सुविधाओं के बारे में नहीं बताता जो फिर भी क्रॉलर को 403 दे सकती हैं। यह गाइड रिपोर्ट को कॉलम-दर-कॉलम समझाती है, दिखाती है कि अनुमति और ब्लॉक कहां सेट करें, और आख़िर में एक टेस्ट देती है जिसे आप अपनी मशीन से चला सकते हैं।

इस पेज पर
  1. Cloudflare में AI क्रॉलर रिपोर्ट कहां है?
  2. AI Crawl Control रिपोर्ट के हर कॉलम और मेट्रिक का क्या मतलब है?
  3. Cloudflare में AI सर्च क्रॉलर को अनुमति और ट्रेनिंग क्रॉलर को ब्लॉक कैसे करें?
  4. Cloudflare के AI क्रॉलर डिफ़ॉल्ट में क्या बदला?
  5. अनुमति देने के बाद भी Cloudflare AI क्रॉलर को ब्लॉक क्यों कर रहा है?
  6. बाहर से कैसे पुष्टि करें कि Cloudflare किन AI क्रॉलर को अंदर आने देता है?
  7. AISeeWhy कैसे जांचता है कि Cloudflare AI क्रॉलर को क्या भेजता है?

Cloudflare में AI क्रॉलर रिपोर्ट कहां है?

डैशबोर्ड में अपना अकाउंट और डोमेन चुनें, फिर AI Crawl Control खोलें। Cloudflare कहता है कि यह बिना कॉन्फ़िगरेशन के काम करता है और सभी प्लान पर उपलब्ध है, बशर्ते आपके डोमेन का ट्रैफ़िक Cloudflare से प्रॉक्सी होता हो। इसके चार हिस्से हैं:

संख्याएं पढ़ते समय प्लान की दो सीमाएं मायने रखती हैं। Free प्लान पर AI Crawl Control क्रॉलर को सिर्फ़ उनकी user agent स्ट्रिंग से पहचानता है, इसलिए यह केवल ख़ुद को घोषित करने वाले क्रॉलर देखता है, और Metrics टैब पिछले 24 घंटे दिखाता है। पेड प्लान Bot Management detection ID से पहचान जोड़ते हैं, और Bot Management के साथ Enterprise में समय-सीमा बदली जा सकती है।

AI Crawl Control रिपोर्ट के हर कॉलम और मेट्रिक का क्या मतलब है?

Cloudflare फ़ील्ड को इस तरह परिभाषित करता है। परिभाषाएं मायने रखती हैं, क्योंकि कई संख्याएं आपकी उम्मीद से ज़्यादा गिनती हैं।

रिपोर्ट को अपने चुने एक्शन के हिसाब से पढ़ें। Allow पर सेट क्रॉलर में ज़्यादातर allowed अनुरोध और 2xx कोड दिखने चाहिए। अगर बहुत से असफल अनुरोध दिखें, तो उस क्रॉलर के लिए फ़िल्टर किया गया स्टेटस कोड बंटवारा खोलें, और जवाब देने वाला नियम ढूंढने के लिए Security Analytics देखें।

Cloudflare में AI सर्च क्रॉलर को अनुमति और ट्रेनिंग क्रॉलर को ब्लॉक कैसे करें?

आप यह हर क्रॉलर के हिसाब से या व्यवहार के हिसाब से कर सकते हैं। हर क्रॉलर के लिए AI Crawl Control खोलें और हर पंक्ति का Action सेट करें। Cloudflare कहता है कि वहां ब्लॉक करने से आपके ज़ोन पर WAF कस्टम नियम बनता या अपडेट होता है, जिसे आप पाथ के अपवादों के लिए WAF में बढ़ा सकते हैं। पेड प्लान पर आप चुन सकते हैं कि ब्लॉक किए गए क्रॉलर को 403 मिले या 402, और सादे टेक्स्ट वाली बॉडी सेट कर सकते हैं।

व्यवहार के हिसाब से, Security में जाएं, फिर Settings, Bot traffic से फ़िल्टर करें और AI Crawler and Agent access policies खोलें। Cloudflare AI ट्रैफ़िक को तीन व्यवहारों में बांटता है, और हर पॉलिसी उस व्यवहार वाले वेरिफ़ाइड बॉट और मेल खाने वाले अनवेरिफ़ाइड बॉट पर लागू होती है:

हर व्यवहार को Block, Block on pages with ads, या Allow (do not block) पर सेट किया जा सकता है। Training में Disallow भी है, जो सिर्फ़ robots.txt के ज़रिए क्रॉलर से अनुरोध करता है। Bot Preference Sync चालू होने पर Cloudflare आपकी robots.txt की शुरुआत में मैनेज्ड नियम जोड़ता है जो Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot और meta-externalagent को disallow करते हैं, एक Content Signals लाइन जोड़ता है, और edge पर AI ट्रेनिंग क्रॉलर को ब्लॉक भी करता है, सिवाय उन क्रॉलर के जो सर्च और ट्रेनिंग दोनों के लिए इस्तेमाल होते हैं।

AI में हवाला चाहने वाली ज़्यादातर साइटों के लिए सुरक्षित मेल है Search और Agent को Allow और Training को Disallow पर रखना, फिर उन ट्रेनिंग-ओनली क्रॉलर के लिए AI Crawl Control में अलग-अलग Block एक्शन, जिन्हें आप edge पर रोकना चाहते हैं।

Cloudflare के AI क्रॉलर डिफ़ॉल्ट में क्या बदला?

1 जुलाई 2025 को Cloudflare ने घोषणा की कि वह डिफ़ॉल्ट बदलकर AI क्रॉलर को तब तक ब्लॉक करेगा जब तक वे क्रिएटर को भुगतान न करें। 1 जुलाई 2026 को उसने अकेले Block AI bots स्विच की जगह ऊपर बताई अलग Search, Agent और Training पॉलिसी दीं, Free समेत सभी प्लान के लिए। उसी घोषणा में कहा गया कि 15 सितंबर 2026 से जुड़ने वाले नए डोमेन पर विज्ञापन दिखाने वाले पेजों पर Training और Agent ब्लॉक होंगे, और Search की अनुमति होगी।

Cloudflare का मौजूदा पॉलिसी दस्तावेज़, जो आख़िरी बार 2 नवंबर 2026 को अपडेट हुआ, कहता है कि नए डोमेन पर तीनों व्यवहारों के लिए डिफ़ॉल्ट Allow (do not block) है। क्योंकि Cloudflare के अपने पेजों ने अलग-अलग समय पर अलग डिफ़ॉल्ट बताए हैं, अपने ज़ोन के लिए इनमें से किसी पर भरोसा न करें: पॉलिसी पेज खोलें और देखें कि क्या सेट है।

अनुमति देने के बाद भी Cloudflare AI क्रॉलर को ब्लॉक क्यों कर रहा है?

AI Crawl Control का Allow एक्शन सिर्फ़ AI Crawl Control को ब्लॉक करने से रोकता है। दूसरी सुविधाएं फिर भी अनुरोध पर काम करती हैं। आम वजहें:

बाहर से कैसे पुष्टि करें कि Cloudflare किन AI क्रॉलर को अंदर आने देता है?

एक ही पेज ब्राउज़र के user agent से और हर क्रॉलर के user agent से मांगें, फिर स्टेटस और साइज़ की तुलना करें। नीचे दी गई OpenAI, Perplexity और Google की स्ट्रिंग वही हैं जो ये कंपनियां प्रकाशित करती हैं।

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

अगर किसी क्रॉलर की लाइन में 403, 429 या 503 है, या साइज़ ब्राउज़र वाली लाइन से बहुत कम है, तो आपके origin के आगे किसी चीज़ ने अलग जवाब दिया। Free प्लान पर AI Crawl Control क्रॉलर को user agent से पहचानता है, इसलिए यह टेस्ट उसके ब्लॉक की ठीक-ठाक जांच है। वेरिफ़ाइड बॉट स्टेटस या बॉट स्कोर पर आधारित नियम आपके अनुरोध के साथ असली क्रॉलर से अलग बर्ताव कर सकते हैं, क्योंकि वह आपके IP पते से आता है, ऑपरेटर की प्रकाशित रेंज से नहीं। टेस्ट के बाद Security Analytics में अपने अनुरोध ढूंढें और देखें कि कौन-सा नियम मेल खाया।

AISeeWhy कैसे जांचता है कि Cloudflare AI क्रॉलर को क्या भेजता है?

AISeeWhy की मुफ़्त जांच आपका पेज असली ब्राउज़र के साथ-साथ 16 AI और सर्च क्रॉलर के रूप में मांगती है, हर क्रॉलर के लिए आपकी robots.txt लागू करती है और फ़ायरवॉल के चैलेंज पेज पहचानती है, ताकि आप देख सकें कि Cloudflare डैशबोर्ड का नतीजा उससे मेल खाता है या नहीं जो क्रॉलर को असल में मिलता है।

इस समस्या के सुधार

मुफ़्त टूल

अगले कदम

इस लेख के क्रॉलर

अक्सर पूछे जाने वाले प्रश्न

क्या Cloudflare AI Crawl Control मुफ़्त है?

हां। Cloudflare बताता है कि AI Crawl Control सभी प्लान पर उपलब्ध है। Free प्लान क्रॉलर को सिर्फ़ user agent से पहचानता है और Metrics में पिछले 24 घंटे दिखाता है; रेफ़रल डेटा और कस्टम ब्लॉक रिस्पॉन्स के लिए पेड प्लान चाहिए।

Cloudflare AI Audit का क्या हुआ?

उसका नाम बदल दिया गया। Cloudflare का दस्तावेज़ AI Crawl Control को पहले का AI Audit बताता है, उसी उद्देश्य के साथ: यह देखना कि कौन-से AI क्रॉलर आते हैं और हर एक के लिए एक्शन सेट करना।

क्या AI Crawl Control में किसी क्रॉलर को ब्लॉक करने से मेरी robots.txt बदलती है?

नहीं। Block एक्शन WAF कस्टम नियम बनाता या अपडेट करता है। robots.txt तभी बदलती है जब आप Bot Preference Sync के साथ Training के लिए Disallow विकल्प इस्तेमाल करते हैं, जो Cloudflare के मैनेज्ड नियम आपकी फ़ाइल की शुरुआत में जोड़ता है।

Cloudflare में robots.txt उल्लंघन किसे गिना जाता है?

किसी AI क्रॉलर का ऐसे पाथ के लिए अनुरोध जिसे आपकी robots.txt disallow करती है। Cloudflare पुराने अनुरोधों की तुलना आपके मौजूदा नियमों से करता है, इसलिए नया नियम उन पुराने अनुरोधों को भी चिह्नित कर सकता है जो उस समय allowed थे।

pay per crawl क्या है?

एक Charge एक्शन जो AI क्रॉलर से हर अनुरोध के लिए भुगतान मांगता है, और भुगतान न होने पर HTTP 402 और कीमत के साथ जवाब देता है। Cloudflare इसे क्लोज़्ड बीटा बताता है, और WAF या Bot Management के ब्लॉक इससे पहले लागू होते हैं।

स्रोत

और लेख