robots.txt मा Content-Signal के हो, र कसैले यसलाई मान्छ?
Content-Signal Cloudflare ले प्रकाशित गरेको वैकल्पिक robots.txt लाइन हो, जसले ल्याइसकेपछि तपाईंको सामग्री कसरी प्रयोग गर्न सकिन्छ भन्छ: सर्च नतिजाका लागि search, AI उत्तरमा इनपुटका लागि ai-input र मोडेल ट्रेनिङका लागि ai-train, हरेकलाई yes वा no राखेर, जस्तै Content-Signal: search=yes, ai-input=yes, ai-train=no। यसले प्राथमिकता व्यक्त गर्छ र केही ब्लक गर्दैन। नोभेम्बर 2026 सम्म OpenAI, Anthropic, Google वा Perplexity कसैको क्रलर पेजले यसलाई पढ्ने भन्दैन, र ठूला AI कम्पनीहरूले यसको सट्टा ट्रेनिङका लागि मात्र अर्कै टोकनलाई समर्थन गरेका छन्।
robots.txt क्रलर कहाँ जान पाउँछ भन्न बनेको थियो, पढेको कुरासँग के गर्न पाइन्छ भन्न होइन। एउटै fetch ले सर्च इन्डेक्स, लाइभ AI उत्तर र ट्रेनिङ सेट तीनवटैलाई सामग्री दिन थालेपछि यो कमी महत्त्वपूर्ण भयो। यो कमी पूरा गर्न Cloudflare ले 24 सेप्टेम्बर 2025 मा CC0 लाइसेन्समा Content Signals Policy प्रकाशित गर्यो, र त्यतिबेला भन्यो कि यसका ग्राहकले 3.8 मिलियनभन्दा बढी डोमेनमा managed robots.txt खोलिसकेका थिए, जुन सुविधाले अब तिनका लागि यो लाइन थप्छ।
यस पेजमा
- search, ai-input र ai-train को अर्थ के हो?
- robots.txt मा Content-Signal लाइन कसरी लेख्ने?
- लाइनमाथिको नीतिको पाठले के भन्छ?
- के मेरो robots.txt मा Content-Signal पहिल्यै छ?
- के AI क्रलरले Content-Signal मान्छन्?
- के मैले robots.txt मा Content-Signal थप्नुपर्छ?
- मेरो robots.txt ले हरेक क्रलरलाई के भन्छ कसरी जाँच्ने?
search, ai-input र ai-train को अर्थ के हो?
नीतिले तीन संकेत परिभाषित गर्छ। तलका शब्द contentsignals.org र Cloudflare ले प्रकाशित गर्ने नीतिको पाठअनुसार छन्:
search: सर्च इन्डेक्स बनाउने र सर्च नतिजा दिने, जस्तै तपाईंका पेजका हाइपरलिंक र छोटा अंश देखाउने। परिभाषा भन्छ search मा AI ले बनाएका सर्च सारांश पर्दैनन्।ai-input: एक वा बढी AI मोडेलमा सामग्री इनपुट गर्ने, जस्तै retrieval augmented generation, grounding वा generative AI सर्च उत्तरका लागि सामग्रीको अन्य वास्तविक-समय प्रयोग।ai-train: AI मोडेललाई ट्रेनिङ वा fine-tuning गर्ने।
हरेक संकेतले yes वा no लिन्छ। नीतिका शब्दमा yes को अर्थ त्यो प्रयोगका लागि सामग्री सङ्कलन गर्न सकिन्छ, no को अर्थ सकिँदैन, र तपाईंले छोडेको संकेतले त्यो प्रयोग न अनुमति दिन्छ न रोक्छ। Cloudflare को डिफल्टले search र ai-train राख्छ र ai-input खाली छोड्छ, किनभने यो संकेतमा हरेक ग्राहकको प्राथमिकता थाहा छैन र अनुमान गर्न चाहँदैन भन्छ।
search र ai-input बीचको भिन्नता धेरैजसो मानिसले छुटाउँछन्। तपाईं आफ्ना पेज AI उत्तरमा प्रयोग होऊन् भन्ने चाहनुहुन्छ भने search=yes एक्लैले त्यो भन्दैन। ai-input=yes ले भन्छ।
robots.txt मा Content-Signal लाइन कसरी लेख्ने?
Content-Signal user agent समूहभित्र, Allow र Disallow को छेउमा जान्छ, र संकेतहरू अल्पविरामले छुट्याइन्छन्। contentsignals.org ले path बाट सुरु हुने रूप पनि देखाउँछ, जसले गर्दा साइटको एउटा खण्डमा बाँकीभन्दा फरक संकेत राख्न सकिन्छ:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow र Disallow पहिले जस्तै ठ्याक्कै काम गरिरहन्छन्, र Content-Signal ले तिनको ठाउँ लिँदैन। RFC 9309 ले क्रलरलाई प्रोटोकलको भाग नभएका रेकर्ड पनि बुझ्न दिन्छ, परिभाषित नियममा बाधा नपुगेसम्म, त्यसैले यो लाइन नचिन्ने parser ले यसलाई छोडिदिनुपर्छ।
दुई कुरा जान्नु उपयोगी छ। पहिलो, यो लाइन कुनै समूहको हो। RFC 9309 अनुसार आफ्नै नामको समूह भएको क्रलरले User-agent: * समूहलाई पूरै बेवास्ता गर्छ, र Content Signals का पेजले यो लाइनका लागि कुनै अपवाद बताउँदैनन्। तपाईंले Googlebot वा OAI-SearchBot लाई आफ्नै समूह दिनुहुन्छ भने त्यहाँ पनि Content-Signal लाइन दोहोर्याउनुहोस्, जसरी contentsignals.org ले आफ्नो प्रति-क्रलर उदाहरणमा गर्छ। दोस्रो, Google Search Console ले यो लाइनका लागि Syntax not understood देखाउन सक्छ। Cloudflare को कागजातले यसको उल्लेख गर्छ र क्रलिङ वा SEO मा कुनै असर नदेखिएको भन्छ। Google को robots.txt कागजातले समर्थित फिल्डका रूपमा user-agent, allow, disallow र sitemap मात्र सूचीबद्ध गर्छ।
लाइनमाथिको नीतिको पाठले के भन्छ?
Content Signals Policy एउटा लाइनभन्दा बढी हो। contentsignals.org को Cloudflare जेनेरेटर र यसको managed robots.txt दुवैले संकेतमाथि टिप्पणीको एउटा ब्लक राख्छन्। यो वेबसाइटमा पहुँचको सर्तका रूपमा तपाईं content signal पालना गर्न सहमत हुनुहुन्छ भन्ने कुराबाट सुरु हुन्छ, त्यसपछि तीन संकेत र yes, no तथा नभएको अवस्था परिभाषित गर्छ।
यो ठूला अक्षरमा लेखिएको वाक्यमा सकिन्छ, जसले content signal मार्फत व्यक्त गरिएका कुनै पनि प्रतिबन्ध Digital Single Market मा प्रतिलिपि अधिकारसम्बन्धी EU Directive 2019/790 को Article 4 अन्तर्गत अधिकारको स्पष्ट आरक्षण हुन् भन्छ। Cloudflare को घोषणाले थप्छ, विभिन्न क्षेत्राधिकारमा यी संकेतको कानुनी महत्त्व हुन सक्छ।
contentsignals.org आफैँ चेतावनी दिन्छ कि अदालत र नियामकले robots.txt फाइलले लागू गर्न मिल्ने कानुनी दायित्व सिर्जना गर्दैनन् भन्ने निष्कर्ष निकाल्न सक्छन्, र वकिलसँग सल्लाह लिन सुझाउँछ। टिप्पणी ब्लकलाई सम्झौता होइन, आफ्नो अडानको लिखित वक्तव्य मान्नुहोस्।
के मेरो robots.txt मा Content-Signal पहिल्यै छ?
तपाईंको साइट Cloudflare मा छ भने हुन सक्छ, दुईमध्ये एक तरिकाले:
- Managed robots.txt। Bot Preference Sync खुला छ र कम्तीमा एउटा AI Crawler and Agent access policy Block, Block on pages with ads वा Training का लागि Disallow मा छ भने Cloudflare ले तपाईंको सर्भरले पठाउने robots.txt को सुरुमा managed ब्लक जोड्छ। यसमा नीतिको पाठ,
User-Agent: *अन्तर्गतContent-signal: search=yes, ai-train=no, use=reference, रAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotतथाmeta-externalagentका लागिDisallow: /हुन्छ। - robots.txt नै छैन। Cloudflare भन्छ आफ्नै robots.txt नभएका र managed सुविधा प्रयोग नगर्ने Free प्लानका डोमेनले क्रलरले
/robots.txtमाग्दा Content Signals Policy देखाउँछन्। त्यो संस्करणमा परिभाषा हुन्छन् तर कुनै प्राथमिकता हुँदैन।
use=reference भाग नयाँ हो। Cloudflare ले use लाई आफूले परीक्षण गरिरहेको वैकल्पिक चौथो फिल्ड भन्छ, तीन मानसहित: immediate (अन्तरक्रिया गर्ने, तर केही भण्डारण वा पुनः प्रयोग नगर्ने), reference (इन्डेक्स गर्ने, अंश लिने र फर्केर लिंक गर्ने) र full (सारांश बनाउने र पुनः उत्पादन गर्ने)। यो मूल तीन संकेतमध्ये होइन, र हामीले जाँचेको कुनै क्रलर कागजातले यसको उल्लेख गर्दैन।
Cloudflare ले यी लाइन edge मा थप्ने भएकाले तपाईंको repository को फाइल नबदलिएको देखिन सक्छ, तर क्रलरले पाउने फाइल फरक हुन्छ। आफ्नै लाइन थप्नुअघि लाइभ https://yourdomain.com/robots.txt ल्याउनुहोस्, ताकि जवाफले दुई फरक नीति नभनोस्।
ठूला साइटमा अझै कमैले अपनाएका छन्। नोभेम्बर 2026 मा सबैभन्दा लोकप्रिय 1,000 डोमेनको हाम्रो अध्ययनमा robots.txt दिने 518 साइटमध्ये 18 (3.5%) ले Content-Signal प्रयोग गरेका थिए।
के AI क्रलरले Content-Signal मान्छन्?
हामीले भेटेको कुनै कागजातअनुसार मान्दैनन्। 17 नोभेम्बर 2026 मा हामीले OpenAI, Anthropic, Google र Perplexity का क्रलर पेज जाँच्यौँ, र कुनैले पनि Content-Signal को उल्लेख गर्दैन। Cloudflare आफैँ यी संकेतलाई scraping विरुद्धको प्राविधिक उपाय होइन, प्राथमिकता भन्छ, र केही कम्पनीले यिनलाई सजिलै बेवास्ता गर्न सक्छन् भन्छ।
बरु AI कम्पनीहरूले IETF AI Preferences working group को कामको आधारमा छुट्टै संयन्त्रको कागजात दिएका छन्: सामान्य User-Agent समूहका रूपमा लेखिने नीति टोकन __usage_ai-training। यसले ट्रेनिङ मात्र समेट्छ, र यसलाई परिभाषित गर्ने Internet-Draft भन्छ User-Agent: * समूहलाई यो टोकनको प्रयोग मानिँदैन:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ समर्थन असमान छ र केही अझै आउन बाँकी छ। Anthropic भन्छ यसले 30 अक्टोबर 2026 देखि सामान्य मेसिनले पढ्न मिल्ने ट्रेनिङ संकेत चिनेको छ, यसलाई बिस्तारै लागू गर्दैछ, र ClaudeBot को नाम लिने नियमलाई यसभन्दा प्राथमिकता दिइन्छ। Microsoft ले Bing का लागि __usage_ai-training टोकनको कागजात दिएको छ, र यसका नयाँ प्राथमिकता 1 फेब्रुअरी 2027 देखि पेज क्रल हुँदै जाँदा लागू हुन्छन्। Google भन्छ यसले 2027 मा साझा नियन्त्रण समर्थन गर्ने लक्ष्य राखेको छ र Google-Extended को नाम नलिइएको अवस्थामा यसमार्फतको ट्रेनिङ opt-out लाई त्यो टोकनको disallow मान्ने योजना छ। OpenAI ले उही दिन साझा संकेत मान्ने घोषणा प्रकाशित गर्यो, मितिबिना।
त्यसैले ai-train=no र __usage_ai-training ले उस्तै कुरा भन्छन्, तर दोस्रोलाई मात्र AI कम्पनीहरूको कागजातमा समर्थन छ। GPTBot र ClaudeBot जस्ता प्रति-क्रलर टोकन नै हरेक कम्पनीले आज लागू गर्ने नियन्त्रण हुन्।
के मैले robots.txt मा Content-Signal थप्नुपर्छ?
मेसिन र मानिस दुवैले पढ्न मिल्ने एउटै ठाउँमा आफ्नो प्रयोग नीति लेखिएको चाहनुहुन्छ भने थप्नुहोस्। यसले एउटै लाइनमा हरेक क्रलरका लागि ai-input प्राथमिकता पनि भन्छ, जुन कम्पनीका टोकनले क्रलरपिच्छे मात्र भन्न सक्छन्। यसको खर्च एउटा लाइन हो, र यसलाई नचिन्ने parser ले छोडिदिन्छन्।
यसमा मात्र भर नपर्नुहोस्। सामग्रीलाई ट्रेनिङबाट बाहिर राख्न कागजातमा भएका ट्रेनिङ टोकन पनि निषेध गर्नुहोस्, र साझा ट्रेनिङ टोकन पनि विचार गर्नुहोस्; AI सर्चमा रहँदै AI ट्रेनिङ ब्लक गर्नेबारे हाम्रो गाइडले कम्पनीअनुसार टोकन सूचीबद्ध गर्छ। robots.txt बेवास्ता गर्ने जुनसुकै कुराका लागि फायरवाल नियमले मात्र ब्लक लागू गर्छ।
अन्त्यमा, लाइन फाइलको बाँकी भागसँग मिल्छ कि जाँच्नुहोस्। OAI-SearchBot वा PerplexityBot का लागि Allow समूहको छेउमा ai-input=no ले विरोधाभासी सन्देश दिन्छ: तपाईं AI सर्च क्रलरलाई भित्र आउन दिनुहुन्छ, तर तिनले ल्याएको कुरा तिनका उत्तरमा प्रयोग गर्न नपाइने भन्नुहुन्छ।
मेरो robots.txt ले हरेक क्रलरलाई के भन्छ कसरी जाँच्ने?
AISeeWhy को निःशुल्क robots.txt चेकरले पेजको ठेगाना वा पेस्ट गरिएको robots.txt लिन्छ र हरेक AI र सर्च क्रलरका लागि त्यो पेज ल्याउन सकिन्छ कि सकिँदैन देखाउँछ, ताकि Cloudflare ले सुरुमा जोडेको कुरासहित लाइभ फाइलले तपाईंले चाहेकै कुरा भन्छ भनेर पक्का गर्न सक्नुहुन्छ। निःशुल्क robots.txt जेनेरेटरले तपाईंका छनोटबाट फाइल लेख्छ।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के Content-Signal robots.txt मानकको भाग हो?
होइन। RFC 9309 ले User-agent, Allow र Disallow परिभाषित गर्छ र क्रलरलाई अन्य रेकर्ड बुझ्न दिन्छ। Content-Signal CC0 लाइसेन्समा जारी Cloudflare को Content Signals Policy बाट आएको हो। छुट्टै, IETF AI Preferences working group ले robots.txt का लागि आफ्नै Content-Usage नियमको मस्यौदा बनाइरहेको छ, जुन अझै Internet-Draft हो, मानक होइन।
के ai-train=no ले GPTBot वा ClaudeBot रोक्छ?
कम्पनीहरूको कागजातअनुसार रोक्दैन। OpenAI र Anthropic ले GPTBot र ClaudeBot को नाम लिने robots.txt नियमबाट नियन्त्रण वर्णन गर्छन्, र कुनै क्रलर पेजले Content-Signal को उल्लेख गर्दैन। यीमध्ये कुनैको ट्रेनिङबाट बाहिरिन टोकनलाई नामैले निषेध गर्नुहोस्।
Content-Signal र __usage_ai-training मा के फरक छ?
Content-Signal समूहभित्रको लाइन हो र यसले सर्च, AI इनपुट र ट्रेनिङ समेट्छ। __usage_ai-training आफ्नै User-Agent समूहका रूपमा प्रयोग हुने नीति टोकन हो र यसले ट्रेनिङ मात्र समेट्छ। Anthropic, Microsoft, Google र OpenAI ले साझा ट्रेनिङ संकेतबारे वक्तव्य प्रकाशित गरेका छन्; कसैले पनि Content-Signal को कागजात दिँदैन।
Google Search Console ले Syntax not understood किन भन्छ?
Google को robots.txt कागजातले user-agent, allow, disallow र sitemap मात्र समर्थन गर्छ, त्यसैले अन्य लाइनलाई चिन्ह लगाइन सक्छ। Cloudflare भन्छ यी रिपोर्टले क्रलिङ दर वा SEO मा कुनै असर गरेको देखिएको छैन।
use=reference को अर्थ के हो?
यो Cloudflare ले परीक्षण गरिरहेको चौथो फिल्ड हो। reference को अर्थ इन्डेक्स गर्ने, अंश लिने र फर्केर लिंक गर्ने हो। Cloudflare ले यसलाई managed robots.txt फाइलमा थप्छ, र हामीले जाँचेको कुनै क्रलर कागजातले यसको उल्लेख गर्दैन।
स्रोतहरू
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI क्रलर पहुँच रिपोर्ट, 2026-11