Cloudflare को AI Crawl Control रिपोर्ट कसरी पढ्ने र कुन AI क्रलर भित्र आउँछन् कसरी हेर्ने

प्रकाशित

छोटो उत्तर

आफ्नो Cloudflare ड्यासबोर्डमा AI Crawl Control खोल्नुहोस्: क्रलर सूचीले Cloudflare ले तपाईंको डोमेनमा देखेको हरेक AI क्रलर, यसका अनुरोध, यसका robots.txt उल्लङ्घन र यसको action Allow हो कि Block देखाउँछ। AI सर्चमा रहँदै ट्रेनिङ अस्वीकार गर्न, त्यहीँ वा AI Crawler and Agent access policies अन्तर्गत सर्च र एजेन्ट क्रलरलाई अनुमति दिनुहोस् र ट्रेनिङ क्रलरलाई ब्लक वा disallow गर्नुहोस्। त्यसपछि curl ले बाहिरबाट पुष्टि गर्नुहोस्, किनकि Cloudflare का अन्य सुविधाले तपाईंले अनुमति दिएको क्रलरलाई पनि ब्लक गर्न सक्छन्।

Cloudflare मा अब AI क्रलरले के पाउँछन् भन्ने निर्णय गर्ने दुई ठाउँ छन्: AI Crawl Control, पहिले AI Audit भनिने प्रति-क्रलर रिपोर्ट र स्विचबोर्ड, र Security सेटिङअन्तर्गत पूरै zone का लागि AI Crawler and Agent access policies। दुवै Free प्लानमा उपलब्ध छन्, दुवै 2026 मा बदलिए, र कुनैले पनि क्रलरलाई 403 दिन सक्ने अन्य हरेक सुविधाबारे बताउँदैन। यो गाइडले रिपोर्ट कोलमअनुसार हेर्छ, allow र block कहाँ सेट गर्ने देखाउँछ, र आफ्नै कम्प्युटरबाट चलाउन सकिने परीक्षणमा टुङ्गिन्छ।

यस पेजमा
  1. Cloudflare मा AI क्रलर रिपोर्ट कहाँ छ?
  2. AI Crawl Control रिपोर्टको हरेक कोलम र मेट्रिकको अर्थ के हो?
  3. Cloudflare मा AI सर्च क्रलरलाई अनुमति दिँदै ट्रेनिङ क्रलर कसरी ब्लक गर्ने?
  4. AI क्रलरका लागि Cloudflare का पूर्वनिर्धारित सेटिङमा के बदलियो?
  5. अनुमति दिएपछि पनि Cloudflare ले AI क्रलर किन ब्लक गरिरहेको छ?
  6. Cloudflare ले कुन AI क्रलरलाई भित्र आउन दिन्छ भनेर बाहिरबाट कसरी पुष्टि गर्ने?
  7. Cloudflare ले AI क्रलरलाई के पठाउँछ भनेर AISeeWhy ले कसरी जाँच्छ?

Cloudflare मा AI क्रलर रिपोर्ट कहाँ छ?

ड्यासबोर्डमा आफ्नो खाता र डोमेन छान्नुहोस्, अनि AI Crawl Control खोल्नुहोस्। Cloudflare भन्छ यो कन्फिगरेसनबिना चल्छ र सबै प्लानमा उपलब्ध छ, तपाईंको डोमेनको ट्राफिक Cloudflare मार्फत proxy भएसम्म। यसका चार भाग छन्:

संख्या पढ्दा प्लानका दुई सीमा महत्त्वपूर्ण छन्। Free प्लानमा AI Crawl Control ले क्रलरलाई user agent string बाट मात्र चिन्छ, त्यसैले आफूलाई चिनाउने क्रलर मात्र देख्छ, र Metrics ट्याबले पछिल्लो 24 घण्टा मात्र समेट्छ। सशुल्क प्लानले Bot Management detection ID मार्फत पहिचान थप्छ, र Bot Management सहितको Enterprise ले मिलाउन मिल्ने समय अवधि पाउँछ।

AI Crawl Control रिपोर्टको हरेक कोलम र मेट्रिकको अर्थ के हो?

Cloudflare ले फिल्डहरू यसरी दस्तावेज गर्छ। परिभाषा महत्त्वपूर्ण छन्, किनकि केही संख्याले तपाईंले सोचेभन्दा धेरै गन्छन्।

रिपोर्ट तपाईंले छानेको action बाट पढ्नुहोस्। Allow मा राखिएको क्रलरले धेरैजसो अनुमति पाएका अनुरोध र 2xx कोड देखाउनुपर्छ। धेरै असफल अनुरोध देखाउँछ भने त्यो क्रलरमा फिल्टर गरिएको status code वितरण खोल्नुहोस्, र जवाफ दिने नियम पत्ता लगाउन Security Analytics जाँच्नुहोस्।

Cloudflare मा AI सर्च क्रलरलाई अनुमति दिँदै ट्रेनिङ क्रलर कसरी ब्लक गर्ने?

यो क्रलरअनुसार वा व्यवहारअनुसार गर्न सकिन्छ। क्रलरअनुसार गर्न AI Crawl Control खोलेर हरेक पङ्क्तिको Action सेट गर्नुहोस्। Cloudflare भन्छ त्यहाँ ब्लक गर्दा तपाईंको zone मा WAF custom rule बन्छ वा अद्यावधिक हुन्छ, जसलाई path का अपवादका लागि WAF मा विस्तार गर्न सकिन्छ। सशुल्क प्लानमा ब्लक गरिएका क्रलरले 403 पाउने कि 402 छान्न र सादा पाठको body सेट गर्न सकिन्छ।

व्यवहारअनुसार गर्न Security, अनि Settings मा जानुहोस्, Bot traffic ले फिल्टर गर्नुहोस् र AI Crawler and Agent access policies खोल्नुहोस्। Cloudflare ले AI ट्राफिकलाई तीन व्यवहारमा छुट्याउँछ, र हरेक नीति त्यो व्यवहार भएका verified बट र मेल खाने unverified बटमा लागू हुन्छ:

हरेक व्यवहारलाई Block, Block on pages with ads, वा Allow (do not block) मा सेट गर्न सकिन्छ। Training मा Disallow पनि छ, जसले robots.txt मार्फत क्रलरलाई अनुरोध मात्र गर्छ। Bot Preference Sync खुला हुँदा Cloudflare ले तपाईंको robots.txt को सुरुमा Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot र meta-externalagent लाई निषेध गर्ने managed नियम थप्छ, Content Signals लाइन थप्छ, र सर्च र ट्रेनिङ दुवैमा प्रयोग हुने क्रलरबाहेक AI ट्रेनिङ क्रलरलाई edge मै ब्लक पनि गर्छ।

AI उद्धरण चाहने धेरैजसो साइटका लागि सुरक्षित संयोजन भनेको Search र Agent लाई Allow र Training लाई Disallow मा राख्नु, अनि edge मै रोक्न चाहेका ट्रेनिङ-मात्रका क्रलरका लागि AI Crawl Control मा छुट्टाछुट्टै Block action राख्नु हो।

AI क्रलरका लागि Cloudflare का पूर्वनिर्धारित सेटिङमा के बदलियो?

1 जुलाई 2025 मा Cloudflare ले AI क्रलरले सामग्री सिर्जनाकर्तालाई भुक्तानी नगरेसम्म तिनलाई पूर्वनिर्धारित रूपमा ब्लक गर्ने घोषणा गर्‍यो। 1 जुलाई 2026 मा यसले एउटै Block AI bots स्विचलाई माथि वर्णन गरिएका छुट्टाछुट्टै Search, Agent र Training नीतिले प्रतिस्थापन गर्‍यो, Free सहित सबै प्लानमा। उही घोषणामा 15 सेप्टेम्बर 2026 देखि जोडिने नयाँ डोमेनमा विज्ञापन देखाउने पेजमा Training र Agent ब्लक र Search लाई अनुमति हुने बताइएको थियो।

Cloudflare को हालको नीति दस्तावेज, अन्तिम पटक 2 नोभेम्बर 2026 मा अद्यावधिक, भन्छ नयाँ डोमेनमा तीनै व्यवहारका लागि पूर्वनिर्धारित Allow (do not block) हुन्छ। Cloudflare का आफ्नै पेजले फरक समयमा फरक पूर्वनिर्धारित सेटिङ बताएकाले, आफ्नो zone का लागि कुनैमा भर नपर्नुहोस्: नीति पेज खोलेर के सेट छ पढ्नुहोस्।

अनुमति दिएपछि पनि Cloudflare ले AI क्रलर किन ब्लक गरिरहेको छ?

AI Crawl Control को Allow action ले AI Crawl Control लाई ब्लक गर्नबाट मात्र रोक्छ। अन्य सुविधाले अझै अनुरोधमाथि काम गर्छन्। सामान्य कारण:

Cloudflare ले कुन AI क्रलरलाई भित्र आउन दिन्छ भनेर बाहिरबाट कसरी पुष्टि गर्ने?

उही पेज ब्राउजरको user agent र हरेक क्रलरको user agent ले माग्नुहोस्, अनि स्थिति र आकार तुलना गर्नुहोस्। तलका OpenAI, Perplexity र Google का string ती कम्पनीले नै प्रकाशित गरेका हुन्।

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403, 429 वा 503 भएको, वा ब्राउजरको लाइनभन्दा धेरै सानो आकार भएको क्रलर लाइनको अर्थ तपाईंको origin अगाडिको कुनै कुराले फरक जवाफ दियो। Free प्लानमा AI Crawl Control ले user agent बाट क्रलर चिन्छ, त्यसैले यो परीक्षण यसका ब्लकको उचित जाँच हो। verified बटको स्थिति वा बट स्कोरमा आधारित नियमले तपाईंको अनुरोधलाई वास्तविक क्रलरभन्दा फरक व्यवहार गर्न सक्छन्, किनकि यो सञ्चालकका प्रकाशित दायराबाट नभई तपाईंको IP ठेगानाबाट आउँछ। परीक्षणपछि कुन नियम मेल खायो हेर्न Security Analytics मा आफ्नै अनुरोध खोज्नुहोस्।

Cloudflare ले AI क्रलरलाई के पठाउँछ भनेर AISeeWhy ले कसरी जाँच्छ?

AISeeWhy को निःशुल्क जाँचले तपाईंको पेज वास्तविक ब्राउजरको छेउमा 16 AI र सर्च क्रलरका रूपमा माग्छ, हरेक क्रलरका लागि तपाईंको robots.txt लागू गर्छ र फायरवालका च्यालेन्ज पेज पहिचान गर्छ, ताकि Cloudflare ड्यासबोर्डको नतिजा क्रलरले वास्तवमा पाउने कुरासँग मेल खान्छ कि खाँदैन हेर्न सकियोस्।

यो समस्याका समाधान

निःशुल्क टुल

अर्को कदम

यस लेखमा भएका क्रलर

बारम्बार सोधिने प्रश्नहरू

के Cloudflare AI Crawl Control निःशुल्क छ?

हो। Cloudflare ले AI Crawl Control सबै प्लानमा उपलब्ध भनेर सूचीबद्ध गर्छ। Free प्लानले क्रलरलाई user agent बाट मात्र चिन्छ र Metrics मा पछिल्लो 24 घण्टा देखाउँछ; रेफरल डेटा र custom ब्लक response का लागि सशुल्क प्लान चाहिन्छ।

Cloudflare AI Audit लाई के भयो?

यसको नाम बदलियो। Cloudflare को दस्तावेजले AI Crawl Control लाई पहिलेको AI Audit भनेर वर्णन गर्छ, उही उद्देश्यसहित: कुन AI क्रलर आउँछन् हेर्ने र हरेकका लागि action सेट गर्ने।

के AI Crawl Control मा क्रलर ब्लक गर्दा मेरो robots.txt बदलिन्छ?

बदलिँदैन। Block action ले WAF custom rule बनाउँछ वा अद्यावधिक गर्छ। Bot Preference Sync सहित Training का लागि Disallow विकल्प प्रयोग गरे मात्र robots.txt बदलिन्छ, जसले तपाईंको फाइलको सुरुमा Cloudflare का managed नियम थप्छ।

Cloudflare मा robots.txt उल्लङ्घन भनेको के हो?

तपाईंको robots.txt ले निषेध गरेको path मा AI क्रलरको अनुरोध। Cloudflare ले पुराना अनुरोधलाई तपाईंका हालका नियमसँग तुलना गर्छ, त्यसैले नयाँ नियमले त्यतिबेला अनुमति पाएका पुराना अनुरोधलाई पनि चिन्ह लगाउन सक्छ।

pay per crawl भनेको के हो?

AI क्रलरलाई हरेक अनुरोधका लागि भुक्तानी गर्न भन्ने Charge action, नत्र HTTP 402 र मूल्यसहित जवाफ दिइन्छ। Cloudflare ले यसलाई closed beta भन्छ, र WAF वा Bot Management का ब्लक यसभन्दा पहिले लागू हुन्छन्।

स्रोतहरू

थप लेखहरू