robots.txt मधील Content-Signal म्हणजे काय, आणि कोणी ते पाळते का?
Content-Signal ही Cloudflare ने प्रकाशित केलेली robots.txt मधील ऐच्छिक ओळ आहे, जी तुमचा मजकूर मिळवल्यानंतर कसा वापरता येईल हे सांगते: सर्च निकालांसाठी search, AI उत्तरांमध्ये इनपुट म्हणून देण्यासाठी ai-input आणि मॉडेल ट्रेनिंगसाठी ai-train, प्रत्येक yes किंवा no वर, जसे Content-Signal: search=yes, ai-input=yes, ai-train=no. ती प्राधान्य व्यक्त करते आणि काहीही ब्लॉक करत नाही. नोव्हेंबर 2026 पर्यंत OpenAI, Anthropic, Google किंवा Perplexity यांच्या कोणत्याही क्रॉलर पेजवर ते ही ओळ वाचतात असे म्हटलेले नाही, तर मोठ्या AI कंपन्यांनी त्याऐवजी फक्त ट्रेनिंगसाठीच्या वेगळ्या टोकनला पाठिंबा दिला आहे.
robots.txt क्रॉलर कुठे जाऊ शकतो हे सांगण्यासाठी बनली होती, त्याने वाचलेल्याचे काय करता येईल हे सांगण्यासाठी नाही. एकाच फेचमधून सर्च इंडेक्स, थेट AI उत्तर आणि ट्रेनिंग सेट भरता येऊ लागल्यावर ही उणीव महत्त्वाची ठरली. ती भरून काढण्यासाठी Cloudflare ने 24 सप्टेंबर 2025 रोजी CC0 परवान्याखाली Content Signals Policy प्रकाशित केली, आणि तेव्हा सांगितले की त्याच्या ग्राहकांनी 3.8 दशलक्षांहून अधिक डोमेनसाठी managed robots.txt आधीच चालू केली आहे; हे फीचर आता त्यांच्यासाठी ही ओळ जोडते.
या पेजवर
- search, ai-input आणि ai-train चा अर्थ काय?
- robots.txt मध्ये Content-Signal ओळ कशी लिहावी?
- ओळीच्या वरचा धोरणाचा मजकूर काय सांगतो?
- Content-Signal आधीच माझ्या robots.txt मध्ये आहे का?
- AI क्रॉलर Content-Signal पाळतात का?
- मी माझ्या robots.txt मध्ये Content-Signal जोडावे का?
- माझी robots.txt प्रत्येक क्रॉलरला काय सांगते हे कसे तपासावे?
search, ai-input आणि ai-train चा अर्थ काय?
हे धोरण तीन signals परिभाषित करते. खालील शब्दरचना contentsignals.org आणि Cloudflare प्रकाशित करत असलेल्या धोरणाच्या मजकुरानुसार आहे:
search: सर्च इंडेक्स तयार करणे आणि सर्च निकाल देणे, उदाहरणार्थ तुमच्या पेजेसच्या हायपरलिंक आणि छोटे उतारे परत देणे. व्याख्येनुसार search मध्ये AI ने तयार केलेले सर्च सारांश येत नाहीत.ai-input: एक किंवा अधिक AI मॉडेलमध्ये मजकूर इनपुट म्हणून देणे, उदाहरणार्थ retrieval augmented generation, grounding किंवा जनरेटिव्ह AI सर्च उत्तरांसाठी मजकुराचा इतर प्रत्यक्ष वेळेतील वापर.ai-train: AI मॉडेलचे ट्रेनिंग किंवा fine-tuning.
प्रत्येक signal yes किंवा no घेतो. धोरणाच्या शब्दांत yes म्हणजे त्या उपयोगासाठी मजकूर गोळा करता येतो, no म्हणजे करता येत नाही, आणि तुम्ही वगळलेला signal त्या उपयोगाला परवानगीही देत नाही आणि निर्बंधही घालत नाही. Cloudflare चे डीफॉल्ट search आणि ai-train सेट करते आणि ai-input सेट न करता सोडते, कारण त्याच्या मते त्या signal साठी प्रत्येक ग्राहकाचे प्राधान्य त्याला माहीत नाही आणि त्याला अंदाज लावायचा नाही.
search आणि ai-input मधील फरक बहुतेकांच्या लक्षात येत नाही. तुमची पेजेस AI उत्तरांमध्ये वापरली जावीत असे तुम्हाला वाटत असल्यास, फक्त search=yes हे सांगत नाही. ai-input=yes सांगते.
robots.txt मध्ये Content-Signal ओळ कशी लिहावी?
Content-Signal युजर एजंट गटाच्या आत, Allow आणि Disallow च्या शेजारी जाते, आणि signals स्वल्पविरामांनी वेगळे केले जातात. contentsignals.org पाथने सुरू होणारे स्वरूपही दाखवते, त्यामुळे साइटच्या एका भागाला बाकीच्या साइटपेक्षा वेगळे signals देता येतात:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow आणि Disallow पूर्वीसारखेच काम करत राहतात, आणि Content-Signal त्यांची जागा घेत नाही. RFC 9309 क्रॉलरना प्रोटोकॉलचा भाग नसलेल्या नोंदींचा अर्थ लावू देते, जोपर्यंत त्यामुळे परिभाषित नियमांमध्ये अडथळा येत नाही, त्यामुळे ही ओळ न ओळखणाऱ्या पार्सरने ती वगळली पाहिजे.
दोन तपशील माहीत असावेत. पहिला, ही ओळ गटाचा भाग असते. RFC 9309 नुसार स्वतःच्या नावाचा गट असलेला क्रॉलर User-agent: * गटाकडे पूर्णपणे दुर्लक्ष करतो, आणि Content Signals ची पेजेस या ओळीसाठी कोणताही अपवाद सांगत नाहीत. तुम्ही Googlebot किंवा OAI-SearchBot ला स्वतःचा गट दिल्यास, तिथे Content-Signal ओळ पुन्हा लिहा, जसे contentsignals.org त्याच्या प्रति-क्रॉलर उदाहरणात करते. दुसरा, Google Search Console या ओळीसाठी Syntax not understood दाखवू शकतो. Cloudflare च्या दस्तऐवजात याचा उल्लेख आहे आणि त्यानुसार क्रॉलिंग किंवा SEO वर कोणताही परिणाम दिसलेला नाही. Google च्या robots.txt दस्तऐवजात फक्त user-agent, allow, disallow आणि sitemap हीच सपोर्ट असलेली फील्ड आहेत.
ओळीच्या वरचा धोरणाचा मजकूर काय सांगतो?
Content Signals Policy म्हणजे फक्त एक ओळ नाही. contentsignals.org वरील Cloudflare चा जनरेटर आणि त्याची managed robots.txt दोन्ही signals च्या वर कमेंटचा एक ब्लॉक ठेवतात. त्याची सुरुवात अशी होते की वेबसाइट ॲक्सेस करण्याची अट म्हणून तुम्ही content signals पाळण्यास सहमती देता, मग तो तीन signals आणि yes, no व न दिलेल्या प्रकरणांची व्याख्या करतो.
शेवटी कॅपिटल अक्षरांतील वाक्य आहे, ज्यानुसार content signals मधून व्यक्त केलेले कोणतेही निर्बंध हे Digital Single Market मधील कॉपीराइटवरील EU Directive 2019/790 च्या Article 4 अंतर्गत हक्कांचे स्पष्ट आरक्षण आहेत. Cloudflare च्या घोषणेत पुढे म्हटले आहे की विविध न्यायक्षेत्रांमध्ये signals ला कायदेशीर वजन असू शकते.
contentsignals.org स्वतःच इशारा देते की न्यायालये आणि नियामक robots.txt फाइल अंमलात आणता येणारी कायदेशीर बंधने घालत नाहीत असा निष्कर्ष काढू शकतात, आणि वकिलाचा सल्ला घेण्यास सुचवते. कमेंट ब्लॉकला करार न मानता तुमच्या भूमिकेचे लेखी निवेदन माना.
Content-Signal आधीच माझ्या robots.txt मध्ये आहे का?
तुमची साइट Cloudflare वर असल्यास, दोनपैकी एका प्रकारे असू शकते:
- Managed robots.txt. Bot Preference Sync चालू असेल आणि किमान एक AI Crawler and Agent access धोरण Block, Block on pages with ads किंवा Training साठी Disallow वर असेल, तेव्हा Cloudflare तुमचा सर्व्हर पाठवत असलेल्या robots.txt च्या सुरुवातीला managed ब्लॉक जोडते. त्यात धोरणाचा मजकूर,
User-Agent: *खालीContent-signal: search=yes, ai-train=no, use=reference, आणिAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotवmeta-externalagentसाठीDisallow: /असते. - robots.txt अजिबात नाही. Cloudflare सांगते की Free प्लॅनवरील ज्या डोमेनची स्वतःची robots.txt नाही आणि जे managed फीचर वापरत नाहीत, त्यांच्यावर क्रॉलरने
/robots.txtमागितल्यास Content Signals Policy दिसते. त्या आवृत्तीत व्याख्या असतात पण कोणतेही प्राधान्य सांगितलेले नसते.
use=reference हा भाग नवा आहे. Cloudflare use चे वर्णन ते चाचणी घेत असलेले ऐच्छिक चौथे फील्ड असे करते, ज्याची तीन मूल्ये आहेत: immediate (संवाद साधा, पण काहीही साठवू किंवा पुन्हा वापरू नका), reference (इंडेक्स करा, उतारा घ्या आणि परत लिंक द्या) आणि full (सारांश करा आणि पुनरुत्पादन करा). हे मूळ तीन signals पैकी नाही, आणि आम्ही तपासलेल्या कोणत्याही क्रॉलर दस्तऐवजात त्याचा उल्लेख नाही.
Cloudflare या ओळी edge वर जोडत असल्यामुळे, तुमच्या रिपॉझिटरीमधील फाइल न बदललेली दिसू शकते आणि क्रॉलरना मिळणारी फाइल वेगळी असू शकते. स्वतःची ओळ जोडण्याआधी लाइव्ह https://yourdomain.com/robots.txt मिळवा, म्हणजे प्रतिसादात दोन वेगवेगळी धोरणे दिसणार नाहीत.
मोठ्या साइटमध्ये याचा वापर अजून कमी आहे. नोव्हेंबर 2026 मधील 1,000 सर्वाधिक लोकप्रिय डोमेनवरील आमच्या अभ्यासात, robots.txt देणाऱ्या 518 साइटपैकी 18 (3.5%) साइट Content-Signal वापरत होत्या.
AI क्रॉलर Content-Signal पाळतात का?
आम्हाला सापडलेल्या कोणत्याही दस्तऐवजानुसार नाही. 17 नोव्हेंबर 2026 रोजी आम्ही OpenAI, Anthropic, Google आणि Perplexity ची क्रॉलर पेजेस तपासली, आणि त्यापैकी कोणीही Content-Signal चा उल्लेख करत नाही. Cloudflare स्वतःच signals चे वर्णन स्क्रॅपिंगविरुद्धचे तांत्रिक उपाय नव्हे तर प्राधान्ये असे करते, आणि सांगते की काही कंपन्या त्यांच्याकडे सरळ दुर्लक्ष करू शकतात.
त्याऐवजी AI कंपन्यांनी IETF AI Preferences working group मधील कामावर आधारित वेगळ्या यंत्रणेचे दस्तऐवज दिले आहेत: __usage_ai-training हे धोरण टोकन, जे सामान्य User-Agent गट म्हणून लिहिले जाते. ते फक्त ट्रेनिंगला लागू होते, आणि त्याची व्याख्या करणाऱ्या Internet-Draft नुसार User-Agent: * गट हा टोकनचा वापर मानला जात नाही:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ सपोर्ट असमान आहे आणि काही अंशी अजून यायचा आहे. Anthropic सांगते की 30 ऑक्टोबर 2026 पासून ते ट्रेनिंगसाठीचा सर्वसाधारण मशीन-वाचनीय signal ओळखते, ते हळूहळू लागू करत आहे, आणि ClaudeBot चे नाव असलेला नियम त्याच्यापेक्षा प्राधान्याचा ठरतो. Microsoft Bing साठी __usage_ai-training टोकनचे दस्तऐवज देते, आणि त्याची नवी प्राधान्ये 1 फेब्रुवारी 2027 पासून पेजेस क्रॉल होतील तशी लागू होतील. Google सांगते की 2027 मध्ये या सामायिक नियंत्रणाला सपोर्ट देण्याचे त्याचे उद्दिष्ट आहे, आणि Google-Extended चे नाव नसल्यास त्याद्वारे दिलेले ट्रेनिंग opt-out त्या टोकनसाठीचे disallow मानण्याची योजना आहे. OpenAI ने त्याच दिवशी घोषणा प्रकाशित करून सांगितले की ते सामायिक signal पाळेल, तारीख न देता.
म्हणून ai-train=no आणि __usage_ai-training साधारण सारखेच सांगतात, पण AI कंपन्यांचा दस्तऐवजीकृत सपोर्ट फक्त दुसऱ्याला आहे. GPTBot आणि ClaudeBot सारखी प्रति-क्रॉलर टोकन हीच आज प्रत्येक विक्रेता लागू करत असलेली नियंत्रणे आहेत.
मी माझ्या robots.txt मध्ये Content-Signal जोडावे का?
तुमचे वापर धोरण मशीन आणि लोक दोघांनाही वाचता येईल अशा एका ठिकाणी लिहून ठेवायचे असल्यास ते जोडा. ते एकाच ओळीत प्रत्येक क्रॉलरसाठी ai-input प्राधान्यही सांगते, जे विक्रेत्यांच्या टोकनमधून फक्त एकेका क्रॉलरसाठी सांगता येते. याची किंमत एक ओळ आहे, आणि ती न ओळखणारे पार्सर ती वगळतात.
फक्त त्यावर अवलंबून राहू नका. मजकूर ट्रेनिंगपासून दूर ठेवण्यासाठी, दस्तऐवजीकृत ट्रेनिंग टोकनही नाकारा, आणि सामायिक ट्रेनिंग टोकनचा विचार करा; AI सर्चमध्ये राहून AI ट्रेनिंग ब्लॉक करण्यावरील आमचा मार्गदर्शक प्रत्येक विक्रेत्याची टोकन देतो. robots.txt कडे दुर्लक्ष करणाऱ्या कशासाठीही, फक्त फायरवॉल नियमच ब्लॉक लागू करतो.
शेवटी, ही ओळ फाइलच्या बाकी भागाशी सुसंगत आहे का ते तपासा. OAI-SearchBot किंवा PerplexityBot साठीच्या Allow गटाशेजारी ai-input=no परस्परविरोधी संदेश देतो: तुम्ही AI सर्च क्रॉलरना आत येऊ देता, आणि त्याच वेळी त्यांच्या उत्तरांमध्ये त्यांनी मिळवलेले वापरता येणार नाही असे सांगता.
माझी robots.txt प्रत्येक क्रॉलरला काय सांगते हे कसे तपासावे?
AISeeWhy ची मोफत robots.txt तपासणी पेजचा पत्ता किंवा पेस्ट केलेली robots.txt घेते आणि प्रत्येक AI आणि सर्च क्रॉलरसाठी ते पेज मिळवता येते का ते दाखवते, त्यामुळे Cloudflare ने सुरुवातीला जोडलेल्या मजकुरासह लाइव्ह फाइल तुम्हाला अपेक्षित तेच सांगते याची खात्री करता येते. मोफत robots.txt जनरेटर तुमच्या निवडींनुसार फाइल लिहितो.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
Content-Signal हा robots.txt मानकाचा भाग आहे का?
नाही. RFC 9309 User-agent, Allow आणि Disallow परिभाषित करते आणि क्रॉलरना इतर नोंदींचा अर्थ लावू देते. Content-Signal हे Cloudflare च्या Content Signals Policy मधून येते, जी CC0 परवान्याखाली प्रसिद्ध झाली. याशिवाय IETF AI Preferences working group robots.txt साठी स्वतःचा Content-Usage नियम तयार करत आहे, जो अजून Internet-Draft आहे, मानक नाही.
ai-train=no मुळे GPTBot किंवा ClaudeBot थांबतो का?
विक्रेत्यांच्या दस्तऐवजानुसार नाही. OpenAI आणि Anthropic GPTBot आणि ClaudeBot चे नाव घेणाऱ्या robots.txt नियमांमधून नियंत्रणाचे वर्णन करतात, आणि कोणत्याही क्रॉलर पेजवर Content-Signal चा उल्लेख नाही. यापैकी कोणाच्याही ट्रेनिंगमधून बाहेर पडण्यासाठी, टोकन नावाने नाकारा.
Content-Signal आणि __usage_ai-training मध्ये फरक काय?
Content-Signal ही गटाच्या आतील ओळ आहे आणि ती सर्च, AI इनपुट आणि ट्रेनिंग कव्हर करते. __usage_ai-training हे स्वतःचा User-Agent गट म्हणून वापरले जाणारे धोरण टोकन आहे आणि ते फक्त ट्रेनिंग कव्हर करते. Anthropic, Microsoft, Google आणि OpenAI यांनी सामायिक ट्रेनिंग signal बद्दल निवेदने प्रकाशित केली आहेत; त्यापैकी कोणीही Content-Signal चे दस्तऐवज देत नाही.
Google Search Console Syntax not understood का दाखवते?
Google चे robots.txt दस्तऐवज फक्त user-agent, allow, disallow आणि sitemap ला सपोर्ट करतात, त्यामुळे इतर ओळींवर खूण होऊ शकते. Cloudflare सांगते की या अहवालांमुळे क्रॉलिंगच्या दरावर किंवा SEO वर कोणताही परिणाम त्याला दिसलेला नाही.
use=reference चा अर्थ काय?
हे Cloudflare चाचणी घेत असलेले चौथे फील्ड आहे. reference म्हणजे इंडेक्स करा, उतारा घ्या आणि परत लिंक द्या. Cloudflare ते managed robots.txt फाइलमध्ये जोडते, आणि आम्ही तपासलेल्या कोणत्याही क्रॉलर दस्तऐवजात त्याचा उल्लेख नाही.
स्रोत
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI क्रॉलर ॲक्सेस अहवाल, 2026-11