robots.txt में Content-Signal क्या है, और क्या कोई इसे मानता है?
Content-Signal robots.txt की एक वैकल्पिक लाइन है, जिसे Cloudflare ने प्रकाशित किया, और जो बताती है कि फ़ेच होने के बाद आपका कंटेंट कैसे इस्तेमाल हो सकता है: सर्च नतीजों के लिए search, AI उत्तरों में डालने के लिए ai-input और मॉडल ट्रेनिंग के लिए ai-train, हर एक yes या no पर सेट, जैसे Content-Signal: search=yes, ai-input=yes, ai-train=no। यह एक पसंद ज़ाहिर करती है और कुछ भी ब्लॉक नहीं करती। नवंबर 2026 तक OpenAI, Anthropic, Google या Perplexity के किसी क्रॉलर पेज में यह नहीं लिखा कि वे इसे पढ़ते हैं, जबकि बड़ी AI कंपनियों ने इसकी जगह एक अलग, सिर्फ़ ट्रेनिंग वाले टोकन का समर्थन किया है।
robots.txt इसलिए बना था कि बताए क्रॉलर कहां जा सकता है, यह नहीं कि वह जो पढ़े उसके साथ क्या किया जाए। जब एक ही फ़ेच सर्च इंडेक्स, लाइव AI उत्तर और ट्रेनिंग सेट तीनों को भर सकता था, तो यह कमी मायने रखने लगी। इसे भरने के लिए Cloudflare ने 24 सितंबर 2025 को CC0 लाइसेंस के तहत Content Signals Policy प्रकाशित की, और उस समय कहा कि उसके ग्राहक 38 लाख से ज़्यादा डोमेन पर managed robots.txt चालू कर चुके हैं, वही सुविधा जो अब उनके लिए यह लाइन जोड़ती है।
इस पेज पर
- search, ai-input और ai-train का क्या मतलब है?
- robots.txt में Content-Signal लाइन कैसे लिखें?
- लाइन के ऊपर वाला नीति टेक्स्ट क्या कहता है?
- क्या मेरे robots.txt में Content-Signal पहले से है?
- क्या AI क्रॉलर Content-Signal मानते हैं?
- क्या मुझे अपने robots.txt में Content-Signal जोड़ना चाहिए?
- कैसे जांचें कि मेरा robots.txt हर क्रॉलर से क्या कहता है?
search, ai-input और ai-train का क्या मतलब है?
नीति तीन सिग्नल परिभाषित करती है। नीचे की परिभाषाएं contentsignals.org और Cloudflare के प्रकाशित नीति टेक्स्ट पर आधारित हैं:
search: सर्च इंडेक्स बनाना और सर्च नतीजे देना, जैसे आपके पेजों के हाइपरलिंक और छोटे अंश लौटाना। परिभाषा कहती है कि search में AI से बने सर्च सारांश शामिल नहीं हैं।ai-input: कंटेंट को एक या ज़्यादा AI मॉडल में इनपुट करना, जैसे retrieval augmented generation, ग्राउंडिंग या जेनरेटिव AI सर्च उत्तरों के लिए कंटेंट का कोई दूसरा रियल-टाइम इस्तेमाल।ai-train: AI मॉडल की ट्रेनिंग या फ़ाइन-ट्यूनिंग।
हर सिग्नल yes या no लेता है। नीति की शर्तों में yes का मतलब है कि कंटेंट उस इस्तेमाल के लिए इकट्ठा किया जा सकता है, no का मतलब है कि नहीं, और जो सिग्नल आप छोड़ देते हैं वह उस इस्तेमाल की न अनुमति देता है न उसे रोकता है। Cloudflare का डिफ़ॉल्ट search और ai-train सेट करता है और ai-input को खाली छोड़ता है, क्योंकि वह कहता है कि उसे इस सिग्नल के लिए हर ग्राहक की पसंद नहीं पता और वह अंदाज़ा नहीं लगाना चाहता।
search और ai-input का फ़र्क़ ज़्यादातर लोगों से छूट जाता है। अगर आप चाहते हैं कि आपके पेज AI उत्तरों में इस्तेमाल हों, तो अकेला search=yes यह नहीं कहता। ai-input=yes कहता है।
robots.txt में Content-Signal लाइन कैसे लिखें?
Content-Signal किसी यूज़र एजेंट ग्रुप के अंदर, Allow और Disallow के साथ जाता है, और सिग्नल कॉमा से अलग होते हैं। contentsignals.org एक ऐसा रूप भी दिखाता है जो पाथ से शुरू होता है, ताकि साइट का एक हिस्सा बाकी से अलग सिग्नल रख सके:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow और Disallow बिल्कुल पहले की तरह काम करते रहते हैं, और Content-Signal उनकी जगह नहीं लेता। RFC 9309 क्रॉलरों को उन रिकॉर्ड की व्याख्या करने देता है जो प्रोटोकॉल का हिस्सा नहीं हैं, बशर्ते इससे परिभाषित नियमों में दख़ल न हो, इसलिए जो पार्सर इस लाइन को नहीं जानता उसे इसे छोड़ देना चाहिए।
दो बातें जानने लायक हैं। पहली, लाइन किसी ग्रुप का हिस्सा होती है। RFC 9309 के तहत जिस क्रॉलर का अपने नाम वाला ग्रुप है, वह User-agent: * ग्रुप को पूरी तरह अनदेखा करता है, और Content Signals के पेज इस लाइन के लिए कोई अपवाद नहीं बताते। अगर आप Googlebot या OAI-SearchBot को उनका अपना ग्रुप देते हैं, तो वहां Content-Signal लाइन दोहराएं, जैसा contentsignals.org अपने हर-क्रॉलर वाले उदाहरण में करता है। दूसरी, Google Search Console इस लाइन के लिए Syntax not understood दिखा सकता है। Cloudflare के दस्तावेज़ इसका ज़िक्र करते हैं और कहते हैं कि उसने क्रॉलिंग या SEO पर कोई असर नहीं देखा। Google के robots.txt दस्तावेज़ समर्थित फ़ील्ड के रूप में सिर्फ़ user-agent, allow, disallow और sitemap गिनाते हैं।
लाइन के ऊपर वाला नीति टेक्स्ट क्या कहता है?
Content Signals Policy एक लाइन से ज़्यादा है। contentsignals.org पर Cloudflare का जेनरेटर और उसका managed robots.txt, दोनों सिग्नल के ऊपर टिप्पणियों का एक ब्लॉक रखते हैं। यह इस बात से शुरू होता है कि वेबसाइट तक पहुंचने की शर्त के रूप में आप content signals का पालन करने पर सहमत हैं, फिर तीनों सिग्नल और yes, no व न होने की स्थितियां परिभाषित करता है।
यह बड़े अक्षरों में लिखे एक वाक्य पर ख़त्म होता है, जो कहता है कि content signals से जताई गई कोई भी पाबंदी डिजिटल सिंगल मार्केट में कॉपीराइट पर EU Directive 2019/790 के Article 4 के तहत अधिकारों का स्पष्ट आरक्षण है। Cloudflare की घोषणा जोड़ती है कि अलग-अलग क्षेत्राधिकारों में इन सिग्नल का कानूनी वज़न हो सकता है।
खुद contentsignals.org चेतावनी देता है कि अदालतें और नियामक यह निष्कर्ष निकाल सकते हैं कि robots.txt फ़ाइलें लागू करने योग्य कानूनी दायित्व नहीं बनातीं, और वकील से सलाह लेने का सुझाव देता है। टिप्पणी ब्लॉक को अपनी स्थिति का लिखित बयान मानें, अनुबंध नहीं।
क्या मेरे robots.txt में Content-Signal पहले से है?
अगर आपकी साइट Cloudflare पर है, तो हो सकता है, दो में से किसी एक तरीके से:
- Managed robots.txt। जब Bot Preference Sync चालू हो और कम से कम एक AI Crawler and Agent access नीति Block, Block on pages with ads या Training के लिए Disallow पर सेट हो, तो Cloudflare आपके सर्वर से भेजे गए robots.txt के शुरू में एक managed ब्लॉक जोड़ता है। इसमें नीति टेक्स्ट,
User-Agent: *के तहतContent-signal: search=yes, ai-train=no, use=reference, औरAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotऔरmeta-externalagentके लिएDisallow: /होता है। - कोई robots.txt ही नहीं। Cloudflare कहता है कि Free प्लान के जिन डोमेन का अपना robots.txt नहीं है और जो managed सुविधा इस्तेमाल नहीं करते, वे क्रॉलर के
/robots.txtमांगने पर Content Signals Policy दिखाते हैं। उस वर्शन में परिभाषाएं होती हैं लेकिन कोई पसंद नहीं बताई जाती।
use=reference वाला हिस्सा नया है। Cloudflare use को एक वैकल्पिक चौथा फ़ील्ड बताता है जिसकी वह टेस्टिंग कर रहा है, तीन वैल्यू के साथ: immediate (इंटरैक्ट करें, लेकिन कुछ भी स्टोर या दोबारा इस्तेमाल न करें), reference (इंडेक्स करें, अंश दें और वापस लिंक करें) और full (सारांश बनाएं और दोहराएं)। यह मूल तीन सिग्नल में से नहीं है, और हमने जितने क्रॉलर दस्तावेज़ जांचे, उनमें से किसी में इसका ज़िक्र नहीं है।
क्योंकि Cloudflare ये लाइनें edge पर जोड़ता है, आपकी रिपॉज़िटरी वाली फ़ाइल बिना बदलाव के दिख सकती है जबकि क्रॉलरों को मिलने वाली फ़ाइल अलग होती है। अपनी लाइन जोड़ने से पहले लाइव https://yourdomain.com/robots.txt फ़ेच करें, ताकि जवाब में दो अलग-अलग नीतियां न हों।
बड़ी साइटों में इसे अपनाने वाले अभी कम हैं। 1,000 सबसे लोकप्रिय डोमेन पर नवंबर 2026 के हमारे अध्ययन में, robots.txt देने वाली 518 साइटों में से 18 (3.5%) ने Content-Signal इस्तेमाल किया।
क्या AI क्रॉलर Content-Signal मानते हैं?
हमें मिले किसी दस्तावेज़ के अनुसार नहीं। 17 नवंबर 2026 को हमने OpenAI, Anthropic, Google और Perplexity के क्रॉलर पेज जांचे, और किसी में Content-Signal का ज़िक्र नहीं है। खुद Cloudflare इन सिग्नल को पसंद बताता है, स्क्रैपिंग के ख़िलाफ़ तकनीकी उपाय नहीं, और कहता है कि कुछ कंपनियां इन्हें बस अनदेखा कर सकती हैं।
AI कंपनियों ने इसकी जगह एक अलग तंत्र दस्तावेज़ित किया है, जो IETF AI Preferences वर्किंग ग्रुप के काम पर आधारित है: एक पॉलिसी टोकन, __usage_ai-training, जिसे सामान्य User-Agent ग्रुप की तरह लिखा जाता है। यह सिर्फ़ ट्रेनिंग को कवर करता है, और इसे परिभाषित करने वाला Internet-Draft कहता है कि User-Agent: * ग्रुप को इस टोकन का इस्तेमाल नहीं माना जाता:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ सपोर्ट असमान है और कुछ अभी आने वाला है। Anthropic कहती है कि वह 30 अक्टूबर 2026 से एक सामान्य मशीन-पठनीय ट्रेनिंग सिग्नल पहचानती है, इसे धीरे-धीरे लागू कर रही है, और ClaudeBot का नाम लेने वाला नियम इससे ऊपर है। Microsoft, Bing के लिए __usage_ai-training टोकन दस्तावेज़ित करती है, और उसकी नई पसंद 1 फ़रवरी 2027 से पेज क्रॉल होने के साथ लागू होंगी। Google कहता है कि उसका लक्ष्य 2027 में इस साझा कंट्रोल को सपोर्ट करना है, और जब Google-Extended का नाम न हो, तो इसके ज़रिए ट्रेनिंग ऑप्ट-आउट को उस टोकन का disallow मानने की योजना है। OpenAI ने उसी दिन घोषणा प्रकाशित की कि वह साझा सिग्नल का पालन करेगी, बिना तारीख़ के।
इसलिए ai-train=no और __usage_ai-training मिलती-जुलती बात कहते हैं, लेकिन AI कंपनियों का दस्तावेज़ित सपोर्ट सिर्फ़ दूसरे को है। GPTBot और ClaudeBot जैसे हर क्रॉलर के अपने टोकन ही वे कंट्रोल हैं जो हर वेंडर आज लागू करता है।
क्या मुझे अपने robots.txt में Content-Signal जोड़ना चाहिए?
इसे जोड़ें अगर आप चाहते हैं कि आपकी इस्तेमाल नीति एक जगह लिखी हो जिसे मशीनें और लोग पढ़ सकें। यह हर क्रॉलर के लिए एक ही लाइन में ai-input पसंद भी बताता है, जो वेंडर टोकन सिर्फ़ एक-एक क्रॉलर करके बता सकते हैं। इसकी कीमत एक लाइन है, और जो पार्सर इसे नहीं जानते वे इसे छोड़ देते हैं।
सिर्फ़ इस पर भरोसा न करें। कंटेंट को ट्रेनिंग से बाहर रखने के लिए दस्तावेज़ित ट्रेनिंग टोकन भी disallow करें, और साझा ट्रेनिंग टोकन पर विचार करें; AI सर्च में रहते हुए AI ट्रेनिंग ब्लॉक करने पर हमारी गाइड हर वेंडर के टोकन बताती है। जो कुछ robots.txt को अनदेखा करता है, उसके लिए सिर्फ़ फ़ायरवॉल नियम ही ब्लॉक लागू करता है।
आख़िर में जांचें कि लाइन बाकी फ़ाइल से मेल खाती है। OAI-SearchBot या PerplexityBot के लिए Allow ग्रुप के साथ ai-input=no उलझा हुआ संदेश देता है: आप AI सर्च क्रॉलरों को अंदर आने देते हैं और साथ ही कहते हैं कि उनके उत्तर फ़ेच की गई चीज़ इस्तेमाल नहीं कर सकते।
कैसे जांचें कि मेरा robots.txt हर क्रॉलर से क्या कहता है?
AISeeWhy का मुफ़्त robots.txt चेकर पेज का पता या पेस्ट किया गया robots.txt लेता है और हर AI व सर्च क्रॉलर के लिए दिखाता है कि वह पेज फ़ेच किया जा सकता है या नहीं, ताकि आप पुष्टि कर सकें कि लाइव फ़ाइल, Cloudflare के जोड़े हिस्से समेत, वही कहती है जो आप चाहते थे। मुफ़्त robots.txt जेनरेटर आपके चुनावों से फ़ाइल लिखता है।
अगले कदम
- AI क्रॉलर के लिए robots.txt टेस्टर और चेकर
- पूरी रिपोर्ट का एक उदाहरण देखें
- AI क्रॉलर मॉनिटरिंग
- प्लान और कीमतें
इस लेख के क्रॉलर
अक्सर पूछे जाने वाले प्रश्न
क्या Content-Signal, robots.txt स्टैंडर्ड का हिस्सा है?
नहीं। RFC 9309 User-agent, Allow और Disallow परिभाषित करता है और क्रॉलरों को दूसरे रिकॉर्ड की व्याख्या करने देता है। Content-Signal Cloudflare की Content Signals Policy से आता है, जो CC0 लाइसेंस के तहत जारी हुई। इससे अलग, IETF AI Preferences वर्किंग ग्रुप robots.txt के लिए अपना Content-Usage नियम तैयार कर रहा है, जो अभी Internet-Draft है, स्टैंडर्ड नहीं।
क्या ai-train=no, GPTBot या ClaudeBot को रोकता है?
जहां तक वेंडर दस्तावेज़ित करते हैं, नहीं। OpenAI और Anthropic कंट्रोल के लिए robots.txt के ऐसे नियम बताते हैं जो GPTBot और ClaudeBot का नाम लेते हैं, और किसी भी क्रॉलर पेज में Content-Signal का ज़िक्र नहीं है। इनमें से किसी के साथ ट्रेनिंग से बाहर होने के लिए टोकन को नाम से disallow करें।
Content-Signal और __usage_ai-training में क्या फ़र्क़ है?
Content-Signal किसी ग्रुप के अंदर की लाइन है और सर्च, AI इनपुट और ट्रेनिंग को कवर करती है। __usage_ai-training एक पॉलिसी टोकन है जो अपने User-Agent ग्रुप के रूप में इस्तेमाल होता है और सिर्फ़ ट्रेनिंग को कवर करता है। Anthropic, Microsoft, Google और OpenAI ने साझा ट्रेनिंग सिग्नल पर बयान प्रकाशित किए हैं; इनमें से कोई Content-Signal दस्तावेज़ित नहीं करता।
Google Search Console "Syntax not understood" क्यों दिखाता है?
Google के robots.txt दस्तावेज़ सिर्फ़ user-agent, allow, disallow और sitemap सपोर्ट करते हैं, इसलिए दूसरी लाइनें फ़्लैग हो सकती हैं। Cloudflare कहता है कि उसने इन रिपोर्ट से क्रॉलिंग रेट या SEO पर कोई असर नहीं देखा।
use=reference का क्या मतलब है?
यह एक चौथा फ़ील्ड है जिसकी Cloudflare टेस्टिंग कर रहा है। reference का मतलब है इंडेक्स करें, अंश दें और वापस लिंक करें। Cloudflare इसे managed robots.txt फ़ाइलों में जोड़ता है, और हमने जितने क्रॉलर दस्तावेज़ जांचे, उनमें से किसी में इसका ज़िक्र नहीं है।
स्रोत
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI क्रॉलर एक्सेस रिपोर्ट, 2026-11