Cloudflare को AI Crawl Control रिपोर्ट कसरी पढ्ने र कुन AI क्रलर भित्र आउँछन् कसरी हेर्ने
आफ्नो Cloudflare ड्यासबोर्डमा AI Crawl Control खोल्नुहोस्: क्रलर सूचीले Cloudflare ले तपाईंको डोमेनमा देखेको हरेक AI क्रलर, यसका अनुरोध, यसका robots.txt उल्लङ्घन र यसको action Allow हो कि Block देखाउँछ। AI सर्चमा रहँदै ट्रेनिङ अस्वीकार गर्न, त्यहीँ वा AI Crawler and Agent access policies अन्तर्गत सर्च र एजेन्ट क्रलरलाई अनुमति दिनुहोस् र ट्रेनिङ क्रलरलाई ब्लक वा disallow गर्नुहोस्। त्यसपछि curl ले बाहिरबाट पुष्टि गर्नुहोस्, किनकि Cloudflare का अन्य सुविधाले तपाईंले अनुमति दिएको क्रलरलाई पनि ब्लक गर्न सक्छन्।
Cloudflare मा अब AI क्रलरले के पाउँछन् भन्ने निर्णय गर्ने दुई ठाउँ छन्: AI Crawl Control, पहिले AI Audit भनिने प्रति-क्रलर रिपोर्ट र स्विचबोर्ड, र Security सेटिङअन्तर्गत पूरै zone का लागि AI Crawler and Agent access policies। दुवै Free प्लानमा उपलब्ध छन्, दुवै 2026 मा बदलिए, र कुनैले पनि क्रलरलाई 403 दिन सक्ने अन्य हरेक सुविधाबारे बताउँदैन। यो गाइडले रिपोर्ट कोलमअनुसार हेर्छ, allow र block कहाँ सेट गर्ने देखाउँछ, र आफ्नै कम्प्युटरबाट चलाउन सकिने परीक्षणमा टुङ्गिन्छ।
यस पेजमा
- Cloudflare मा AI क्रलर रिपोर्ट कहाँ छ?
- AI Crawl Control रिपोर्टको हरेक कोलम र मेट्रिकको अर्थ के हो?
- Cloudflare मा AI सर्च क्रलरलाई अनुमति दिँदै ट्रेनिङ क्रलर कसरी ब्लक गर्ने?
- AI क्रलरका लागि Cloudflare का पूर्वनिर्धारित सेटिङमा के बदलियो?
- अनुमति दिएपछि पनि Cloudflare ले AI क्रलर किन ब्लक गरिरहेको छ?
- Cloudflare ले कुन AI क्रलरलाई भित्र आउन दिन्छ भनेर बाहिरबाट कसरी पुष्टि गर्ने?
- Cloudflare ले AI क्रलरलाई के पठाउँछ भनेर AISeeWhy ले कसरी जाँच्छ?
Cloudflare मा AI क्रलर रिपोर्ट कहाँ छ?
ड्यासबोर्डमा आफ्नो खाता र डोमेन छान्नुहोस्, अनि AI Crawl Control खोल्नुहोस्। Cloudflare भन्छ यो कन्फिगरेसनबिना चल्छ र सबै प्लानमा उपलब्ध छ, तपाईंको डोमेनको ट्राफिक Cloudflare मार्फत proxy भएसम्म। यसका चार भाग छन्:
- Overview: कुल अनुरोध, मात्रामा परिवर्तन, सबैभन्दा सामान्य status code, सबैभन्दा लोकप्रिय path र धेरै अनुरोध गर्ने क्रलरसहितको कार्यकारी सारांश, साथै Cloudflare को managed robots.txt खुला छ कि छैन, र OpenAI, Microsoft, Google, ByteDance, Anthropic र Meta जस्ता सञ्चालकअनुसार समूहबद्ध क्रलर।
- क्रलर सूची: हरेक AI क्रलरका लागि एउटा पङ्क्ति, Allow वा Block छान्ने Action कोलमसहित। Cloudflare को दस्तावेजले यो ट्याबलाई एउटा पेजमा Crawlers र अर्कोमा Security भन्छ, त्यसैले Action कोलम भएको तालिका खोज्नुहोस्।
- Metrics: समयसँगका अनुरोध, status code को वितरण, सामग्रीको ढाँचा, सबैभन्दा लोकप्रिय path र, सशुल्क प्लानमा, रेफरल। फिल्टरमा मितिको दायरा, क्रलर, सञ्चालक, hostname र path छन्, र CSV निर्यात गर्न सकिन्छ।
- Directives: तपाईंको robots.txt फाइलको अवस्था र robots.txt उल्लङ्घनको सूची।
संख्या पढ्दा प्लानका दुई सीमा महत्त्वपूर्ण छन्। Free प्लानमा AI Crawl Control ले क्रलरलाई user agent string बाट मात्र चिन्छ, त्यसैले आफूलाई चिनाउने क्रलर मात्र देख्छ, र Metrics ट्याबले पछिल्लो 24 घण्टा मात्र समेट्छ। सशुल्क प्लानले Bot Management detection ID मार्फत पहिचान थप्छ, र Bot Management सहितको Enterprise ले मिलाउन मिल्ने समय अवधि पाउँछ।
AI Crawl Control रिपोर्टको हरेक कोलम र मेट्रिकको अर्थ के हो?
Cloudflare ले फिल्डहरू यसरी दस्तावेज गर्छ। परिभाषा महत्त्वपूर्ण छन्, किनकि केही संख्याले तपाईंले सोचेभन्दा धेरै गन्छन्।
- Crawler र Category: क्रलरको नाम, यसको सञ्चालक, र यसको श्रेणी, जस्तै AI crawler, AI assistant वा archiver।
- Requests: अनुमति पाएका र असफल अनुरोध, ट्रेन्ड चार्टसहित। असफल अनुरोध AI Crawl Control को ब्लकबाट मात्र होइन, कुनै पनि नियम वा response error बाट आउन सक्छन्, त्यसैले तपाईंले अनुमति दिएको क्रलरको ठूलो संख्याले अर्को नियम वा तपाईंको origin का error तर्फ इंगित गर्छ।
- Allowed requests: 200 देखि 299 बीचको स्थिति पाएका अनुरोध। डेटा ट्रान्सफर अनुमति पाएका अनुरोधका लागि Cloudflare ले पठाएका बाइटबाट नापिन्छ।
- Robots.txt violations: तपाईंको robots.txt ले निषेध गरेको path क्रलरले कति पटक माग्यो। Cloudflare ले पुराना अनुरोधलाई तपाईंका हालका नियमसँग तुलना गर्छ, त्यसैले आज थपेको नियमले गरिएकै बेला अनुमति पाएका अनुरोधलाई पनि चिन्ह लगाउन सक्छ।
- Action: Allow, Block, वा pay per crawl बेटामा रहेका खाताका लागि Charge।
- Status code वितरण: 2xx, 3xx, 4xx र 5xx। 4xx समूहमा ब्लकबाट आएका 403 र pay per crawl बाट आएका 402 पर्छन्।
- Referrals र top referrers, सशुल्क प्लानमा मात्र: AI सेवाबाट, उदाहरणका लागि chatgpt.com बाट आएका भिजिट, र तिनी पुगेका पेज।
रिपोर्ट तपाईंले छानेको action बाट पढ्नुहोस्। Allow मा राखिएको क्रलरले धेरैजसो अनुमति पाएका अनुरोध र 2xx कोड देखाउनुपर्छ। धेरै असफल अनुरोध देखाउँछ भने त्यो क्रलरमा फिल्टर गरिएको status code वितरण खोल्नुहोस्, र जवाफ दिने नियम पत्ता लगाउन Security Analytics जाँच्नुहोस्।
Cloudflare मा AI सर्च क्रलरलाई अनुमति दिँदै ट्रेनिङ क्रलर कसरी ब्लक गर्ने?
यो क्रलरअनुसार वा व्यवहारअनुसार गर्न सकिन्छ। क्रलरअनुसार गर्न AI Crawl Control खोलेर हरेक पङ्क्तिको Action सेट गर्नुहोस्। Cloudflare भन्छ त्यहाँ ब्लक गर्दा तपाईंको zone मा WAF custom rule बन्छ वा अद्यावधिक हुन्छ, जसलाई path का अपवादका लागि WAF मा विस्तार गर्न सकिन्छ। सशुल्क प्लानमा ब्लक गरिएका क्रलरले 403 पाउने कि 402 छान्न र सादा पाठको body सेट गर्न सकिन्छ।
व्यवहारअनुसार गर्न Security, अनि Settings मा जानुहोस्, Bot traffic ले फिल्टर गर्नुहोस् र AI Crawler and Agent access policies खोल्नुहोस्। Cloudflare ले AI ट्राफिकलाई तीन व्यवहारमा छुट्याउँछ, र हरेक नीति त्यो व्यवहार भएका verified बट र मेल खाने unverified बटमा लागू हुन्छ:
- Search: पछि प्रश्नको उत्तर दिन सकियोस् भनेर सामग्री सङ्कलन वा इन्डेक्स गर्ने।
- Agent: च्याटका लागि पेज ल्याउने र ब्राउजर एजेन्टजस्तै, कुनै व्यक्तिको तर्फबाट तत्काल काम गर्ने।
- Training: मोडेलको ट्रेनिङ वा fine-tuning का लागि सामग्री सङ्कलन गर्ने, ट्रेनिङ र सर्च दुवैमा प्रयोग हुने क्रलरसहित।
हरेक व्यवहारलाई Block, Block on pages with ads, वा Allow (do not block) मा सेट गर्न सकिन्छ। Training मा Disallow पनि छ, जसले robots.txt मार्फत क्रलरलाई अनुरोध मात्र गर्छ। Bot Preference Sync खुला हुँदा Cloudflare ले तपाईंको robots.txt को सुरुमा Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot र meta-externalagent लाई निषेध गर्ने managed नियम थप्छ, Content Signals लाइन थप्छ, र सर्च र ट्रेनिङ दुवैमा प्रयोग हुने क्रलरबाहेक AI ट्रेनिङ क्रलरलाई edge मै ब्लक पनि गर्छ।
AI उद्धरण चाहने धेरैजसो साइटका लागि सुरक्षित संयोजन भनेको Search र Agent लाई Allow र Training लाई Disallow मा राख्नु, अनि edge मै रोक्न चाहेका ट्रेनिङ-मात्रका क्रलरका लागि AI Crawl Control मा छुट्टाछुट्टै Block action राख्नु हो।
AI क्रलरका लागि Cloudflare का पूर्वनिर्धारित सेटिङमा के बदलियो?
1 जुलाई 2025 मा Cloudflare ले AI क्रलरले सामग्री सिर्जनाकर्तालाई भुक्तानी नगरेसम्म तिनलाई पूर्वनिर्धारित रूपमा ब्लक गर्ने घोषणा गर्यो। 1 जुलाई 2026 मा यसले एउटै Block AI bots स्विचलाई माथि वर्णन गरिएका छुट्टाछुट्टै Search, Agent र Training नीतिले प्रतिस्थापन गर्यो, Free सहित सबै प्लानमा। उही घोषणामा 15 सेप्टेम्बर 2026 देखि जोडिने नयाँ डोमेनमा विज्ञापन देखाउने पेजमा Training र Agent ब्लक र Search लाई अनुमति हुने बताइएको थियो।
Cloudflare को हालको नीति दस्तावेज, अन्तिम पटक 2 नोभेम्बर 2026 मा अद्यावधिक, भन्छ नयाँ डोमेनमा तीनै व्यवहारका लागि पूर्वनिर्धारित Allow (do not block) हुन्छ। Cloudflare का आफ्नै पेजले फरक समयमा फरक पूर्वनिर्धारित सेटिङ बताएकाले, आफ्नो zone का लागि कुनैमा भर नपर्नुहोस्: नीति पेज खोलेर के सेट छ पढ्नुहोस्।
अनुमति दिएपछि पनि Cloudflare ले AI क्रलर किन ब्लक गरिरहेको छ?
AI Crawl Control को Allow action ले AI Crawl Control लाई ब्लक गर्नबाट मात्र रोक्छ। अन्य सुविधाले अझै अनुरोधमाथि काम गर्छन्। सामान्य कारण:
- Training ब्लक गर्दा दुवै काम गर्ने सर्च क्रलर पनि ब्लक हुन्छन्। Cloudflare को दस्तावेज भन्छ Training का action मिश्रित उद्देश्यका क्रलरमा लागू हुन्छन्, र यसको जुलाई 2026 को घोषणाले Training ब्लक गर्ने ग्राहकले 15 सेप्टेम्बर 2026 देखि ब्लक गर्ने क्रलरका रूपमा Googlebot, Applebot र bingbot को नाम लिन्छ। Disallow साँघुरो विकल्प हो, किनकि यसको edge ब्लकले मिश्रित उद्देश्यका क्रलरलाई छोड्छ।
- Bot Fight Mode खुला छ। Cloudflare भन्छ WAF custom rule वा Page Rules प्रयोग गरेर Bot Fight Mode लाई bypass वा skip गर्न सकिँदैन। यसले क्रलरलाई च्यालेन्ज गर्छ भने यसलाई बन्द गर्नुहोस्, वा उपलब्ध भएको प्लानमा skip नियम समर्थन गर्ने Super Bot Fight Mode प्रयोग गर्नुहोस्।
- पुरानो WAF custom rule ले
botभएका user agent ब्लक गर्छ, वा rate limiting नियमले अचानक धेरै अनुरोधलाई 429 दिन्छ। यी AI Crawl Control को Action जेसुकै भए पनि चल्छन्। - ब्लक नियम हातैले सम्पादन गरिएको छ। AI Crawl Control पछाडिको WAF नियमलाई अर्को response code मा बदलिएको छ भने ड्यासबोर्डले तपाईंको छनोट लागू गर्न सक्दैन।
- robots.txt ले अझै क्रलरलाई निषेध गर्छ। Cloudflare को Allow ले तपाईंको robots.txt बदल्दैन, त्यसैले नियम मान्ने क्रलर जे भए पनि टाढै बस्छ। सबैभन्दा लोकप्रिय 1,000 डोमेनको हाम्रो अध्ययनमा robots.txt मा AI ट्रेनिङ क्रलर ब्लक गर्ने 155 साइटमध्ये 98 ले कम्तीमा एउटा AI सर्च वा प्रयोगकर्ता क्रलर पनि ब्लक गरेका थिए।
Cloudflare ले कुन AI क्रलरलाई भित्र आउन दिन्छ भनेर बाहिरबाट कसरी पुष्टि गर्ने?
उही पेज ब्राउजरको user agent र हरेक क्रलरको user agent ले माग्नुहोस्, अनि स्थिति र आकार तुलना गर्नुहोस्। तलका OpenAI, Perplexity र Google का string ती कम्पनीले नै प्रकाशित गरेका हुन्।
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403, 429 वा 503 भएको, वा ब्राउजरको लाइनभन्दा धेरै सानो आकार भएको क्रलर लाइनको अर्थ तपाईंको origin अगाडिको कुनै कुराले फरक जवाफ दियो। Free प्लानमा AI Crawl Control ले user agent बाट क्रलर चिन्छ, त्यसैले यो परीक्षण यसका ब्लकको उचित जाँच हो। verified बटको स्थिति वा बट स्कोरमा आधारित नियमले तपाईंको अनुरोधलाई वास्तविक क्रलरभन्दा फरक व्यवहार गर्न सक्छन्, किनकि यो सञ्चालकका प्रकाशित दायराबाट नभई तपाईंको IP ठेगानाबाट आउँछ। परीक्षणपछि कुन नियम मेल खायो हेर्न Security Analytics मा आफ्नै अनुरोध खोज्नुहोस्।
Cloudflare ले AI क्रलरलाई के पठाउँछ भनेर AISeeWhy ले कसरी जाँच्छ?
AISeeWhy को निःशुल्क जाँचले तपाईंको पेज वास्तविक ब्राउजरको छेउमा 16 AI र सर्च क्रलरका रूपमा माग्छ, हरेक क्रलरका लागि तपाईंको robots.txt लागू गर्छ र फायरवालका च्यालेन्ज पेज पहिचान गर्छ, ताकि Cloudflare ड्यासबोर्डको नतिजा क्रलरले वास्तवमा पाउने कुरासँग मेल खान्छ कि खाँदैन हेर्न सकियोस्।
यो समस्याका समाधान
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के Cloudflare AI Crawl Control निःशुल्क छ?
हो। Cloudflare ले AI Crawl Control सबै प्लानमा उपलब्ध भनेर सूचीबद्ध गर्छ। Free प्लानले क्रलरलाई user agent बाट मात्र चिन्छ र Metrics मा पछिल्लो 24 घण्टा देखाउँछ; रेफरल डेटा र custom ब्लक response का लागि सशुल्क प्लान चाहिन्छ।
Cloudflare AI Audit लाई के भयो?
यसको नाम बदलियो। Cloudflare को दस्तावेजले AI Crawl Control लाई पहिलेको AI Audit भनेर वर्णन गर्छ, उही उद्देश्यसहित: कुन AI क्रलर आउँछन् हेर्ने र हरेकका लागि action सेट गर्ने।
के AI Crawl Control मा क्रलर ब्लक गर्दा मेरो robots.txt बदलिन्छ?
बदलिँदैन। Block action ले WAF custom rule बनाउँछ वा अद्यावधिक गर्छ। Bot Preference Sync सहित Training का लागि Disallow विकल्प प्रयोग गरे मात्र robots.txt बदलिन्छ, जसले तपाईंको फाइलको सुरुमा Cloudflare का managed नियम थप्छ।
Cloudflare मा robots.txt उल्लङ्घन भनेको के हो?
तपाईंको robots.txt ले निषेध गरेको path मा AI क्रलरको अनुरोध। Cloudflare ले पुराना अनुरोधलाई तपाईंका हालका नियमसँग तुलना गर्छ, त्यसैले नयाँ नियमले त्यतिबेला अनुमति पाएका पुराना अनुरोधलाई पनि चिन्ह लगाउन सक्छ।
pay per crawl भनेको के हो?
AI क्रलरलाई हरेक अनुरोधका लागि भुक्तानी गर्न भन्ने Charge action, नत्र HTTP 402 र मूल्यसहित जवाफ दिइन्छ। Cloudflare ले यसलाई closed beta भन्छ, र WAF वा Bot Management का ब्लक यसभन्दा पहिले लागू हुन्छन्।
स्रोतहरू
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI क्रलर पहुँच रिपोर्ट, 2026-11