robots.txtలో Content-Signal అంటే ఏమిటి, దాన్ని ఎవరైనా పాటిస్తారా?
Content-Signal అనేది Cloudflare ప్రచురించిన ఐచ్ఛిక robots.txt లైన్, మీ కంటెంట్ తెచ్చుకున్న తర్వాత దాన్ని ఎలా ఉపయోగించవచ్చో అది చెబుతుంది: సెర్చ్ ఫలితాల కోసం search, AI జవాబుల్లోకి ఇవ్వడానికి ai-input, మోడల్ల ట్రైనింగ్ కోసం ai-train, ఒక్కొక్కటి yes లేదా no, ఉదాహరణకు Content-Signal: search=yes, ai-input=yes, ai-train=no. ఇది ప్రాధాన్యతను వ్యక్తం చేస్తుంది, దేన్నీ బ్లాక్ చేయదు. నవంబర్ 2026 నాటికి, OpenAI, Anthropic, Google, Perplexity క్రాలర్ పేజీల్లో ఏదీ దాన్ని చదువుతుందని చెప్పదు, పెద్ద AI కంపెనీలు బదులుగా ట్రైనింగ్కు మాత్రమే వర్తించే వేరే టోకెన్కు మద్దతు ఇచ్చాయి.
robots.txt క్రాలర్ ఎక్కడికి వెళ్లవచ్చో చెప్పడానికి తయారైంది, అది చదివినదానితో ఏమి చేయవచ్చో చెప్పడానికి కాదు. ఒకే ఫెచ్ సెర్చ్ ఇండెక్స్కు, లైవ్ AI జవాబుకు, ట్రైనింగ్ సెట్కు ఉపయోగపడగలిగినప్పుడు, ఆ లోటు ముఖ్యమైంది. దాన్ని పూరించడానికి Cloudflare 24 సెప్టెంబర్ 2025న CC0 లైసెన్స్ కింద Content Signals Policyని ప్రచురించింది, అప్పటికే తన కస్టమర్లు 3.8 మిలియన్కు పైగా డొమైన్లకు managed robots.txt ఆన్ చేశారని చెప్పింది, ఈ ఫీచర్ ఇప్పుడు వారి కోసం ఈ లైన్ను జోడిస్తుంది.
ఈ పేజీలో
- search, ai-input, ai-train అంటే ఏమిటి?
- robots.txtలో Content-Signal లైన్ ఎలా రాయాలి?
- లైన్ పైన ఉన్న పాలసీ టెక్స్ట్ ఏమి చెబుతుంది?
- Content-Signal ఇప్పటికే నా robots.txtలో ఉందా?
- AI క్రాలర్లు Content-Signalను పాటిస్తాయా?
- నా robots.txtకు Content-Signal జోడించాలా?
- నా robots.txt ప్రతి క్రాలర్కు ఏమి చెబుతుందో ఎలా తనిఖీ చేయాలి?
search, ai-input, ai-train అంటే ఏమిటి?
పాలసీ మూడు సిగ్నల్లను నిర్వచిస్తుంది. కింది పదాలు contentsignals.orgను, Cloudflare ప్రచురించే పాలసీ టెక్స్ట్ను అనుసరిస్తాయి:
search: సెర్చ్ ఇండెక్స్ నిర్మించడం, సెర్చ్ ఫలితాలు ఇవ్వడం, ఉదాహరణకు మీ పేజీల హైపర్లింక్లు, చిన్న భాగాలు చూపించడం. AI జనరేట్ చేసిన సెర్చ్ సారాంశాలు సెర్చ్లో భాగం కావని నిర్వచనం చెబుతుంది.ai-input: కంటెంట్ను ఒకటి లేదా అంతకంటే ఎక్కువ AI మోడల్లకు ఇన్పుట్గా ఇవ్వడం, ఉదాహరణకు retrieval augmented generation, grounding లేదా జనరేటివ్ AI సెర్చ్ జవాబుల కోసం కంటెంట్ను ఇతర రియల్ టైమ్ ఉపయోగం.ai-train: AI మోడల్లను ట్రైన్ చేయడం లేదా ఫైన్-ట్యూన్ చేయడం.
ప్రతి సిగ్నల్ yes లేదా no తీసుకుంటుంది. పాలసీ పదాల్లో, yes అంటే ఆ ఉపయోగం కోసం కంటెంట్ సేకరించవచ్చు, no అంటే సేకరించకూడదు, మీరు వదిలేసిన సిగ్నల్ ఆ ఉపయోగాన్ని అనుమతించదు, నిషేధించదు. Cloudflare డిఫాల్ట్ search, ai-trainలను సెట్ చేసి ai-inputను సెట్ చేయకుండా వదిలేస్తుంది, ఎందుకంటే ఆ సిగ్నల్ విషయంలో ప్రతి కస్టమర్ ప్రాధాన్యత తనకు తెలియదని, ఊహించాలనుకోవడం లేదని చెబుతుంది.
search, ai-input మధ్య తేడానే చాలామంది గమనించరు. మీ పేజీలు AI జవాబుల్లో ఉపయోగపడాలనుకుంటే, search=yes ఒక్కటే అది చెప్పదు. ai-input=yes చెబుతుంది.
robots.txtలో Content-Signal లైన్ ఎలా రాయాలి?
Content-Signal యూజర్ ఏజెంట్ గ్రూప్ లోపల, Allow, Disallow పక్కన, కామాలతో వేరు చేసిన సిగ్నల్లతో ఉంటుంది. contentsignals.org పాత్తో మొదలయ్యే రూపాన్ని కూడా చూపిస్తుంది, కాబట్టి సైట్లోని ఒక విభాగానికి మిగతా దానికంటే వేరే సిగ్నల్లు ఉండవచ్చు:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow, Disallow మునుపటిలాగే పనిచేస్తాయి, Content-Signal వాటిని భర్తీ చేయదు. నిర్వచించిన నియమాలకు అడ్డు రానంత వరకు ప్రోటోకాల్లో భాగం కాని రికార్డులను క్రాలర్లు అర్థం చేసుకోవచ్చని RFC 9309 అనుమతిస్తుంది, కాబట్టి ఈ లైన్ తెలియని పార్సర్ దాన్ని దాటవేయాలి.
రెండు వివరాలు తెలుసుకోవడం మంచిది. మొదట, ఈ లైన్ ఒక గ్రూప్కు చెందుతుంది. RFC 9309 ప్రకారం తన పేరుతో గ్రూప్ ఉన్న క్రాలర్ User-agent: * గ్రూప్ను పూర్తిగా పట్టించుకోదు, ఈ లైన్ కోసం Content Signals పేజీలు ఏ మినహాయింపునూ వివరించవు. మీరు Googlebotకు లేదా OAI-SearchBotకు సొంత గ్రూప్ ఇస్తే, contentsignals.org తన క్రాలర్-వారీ ఉదాహరణలో చేసినట్లు, అక్కడ Content-Signal లైన్ను మళ్లీ రాయండి. రెండవది, Google Search Console ఈ లైన్ కోసం Syntax not understood అని చూపించవచ్చు. Cloudflare డాక్యుమెంటేషన్ దీన్ని ప్రస్తావించి, క్రాలింగ్పై గానీ SEOపై గానీ ఏ ప్రభావం గమనించలేదని చెబుతుంది. Google robots.txt డాక్యుమెంటేషన్ సపోర్ట్ చేసే ఫీల్డ్లుగా user-agent, allow, disallow, sitemapలను మాత్రమే జాబితా చేస్తుంది.
లైన్ పైన ఉన్న పాలసీ టెక్స్ట్ ఏమి చెబుతుంది?
Content Signals Policy ఒక్క లైన్ కంటే ఎక్కువ. contentsignals.orgలోని Cloudflare జనరేటర్, దాని managed robots.txt రెండూ సిగ్నల్ల పైన కామెంట్ల బ్లాక్ ఉంచుతాయి. వెబ్సైట్ను యాక్సెస్ చేయడానికి షరతుగా మీరు content signalsను పాటించడానికి అంగీకరిస్తున్నారని చెబుతూ అది మొదలవుతుంది, తర్వాత మూడు సిగ్నల్లను, yes, no, సిగ్నల్ లేని సందర్భాలను నిర్వచిస్తుంది.
content signals ద్వారా వ్యక్తం చేసిన ఏవైనా పరిమితులు Digital Single Marketలో కాపీరైట్పై EU Directive 2019/790 ఆర్టికల్ 4 కింద హక్కుల స్పష్టమైన రిజర్వేషన్లని పెద్ద అక్షరాల్లో ఉన్న వాక్యంతో అది ముగుస్తుంది. వివిధ న్యాయ పరిధుల్లో సిగ్నల్లకు చట్టపరమైన బరువు ఉండవచ్చని Cloudflare ప్రకటన జోడిస్తుంది.
robots.txt ఫైల్లు అమలు చేయగల చట్టపరమైన బాధ్యతలను విధించవని కోర్టులు, రెగ్యులేటర్లు నిర్ధారించవచ్చని contentsignals.org స్వయంగా హెచ్చరిస్తుంది, న్యాయవాదిని సంప్రదించమని సూచిస్తుంది. కామెంట్ బ్లాక్ను ఒప్పందంగా కాకుండా, మీ వైఖరి రాతపూర్వక ప్రకటనగా చూడండి.
Content-Signal ఇప్పటికే నా robots.txtలో ఉందా?
మీ సైట్ Cloudflareలో ఉంటే, రెండు విధాలుగా ఉండవచ్చు:
- Managed robots.txt. Bot Preference Sync ఆన్లో ఉండి, కనీసం ఒక AI Crawler and Agent access policy Block, Block on pages with ads లేదా Training కోసం Disallowకు సెట్ అయి ఉంటే, మీ సర్వర్ పంపే robots.txt ముందు Cloudflare ఒక managed బ్లాక్ జోడిస్తుంది. అందులో పాలసీ టెక్స్ట్,
User-Agent: *కిందContent-signal: search=yes, ai-train=no, use=reference,Amazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBot,meta-externalagentకోసంDisallow: /ఉంటాయి. - అసలు robots.txt లేదు. సొంత robots.txt లేని, managed ఫీచర్ ఉపయోగించని Free ప్లాన్ డొమైన్లు క్రాలర్
/robots.txtఅభ్యర్థించినప్పుడు Content Signals Policyని చూపిస్తాయని Cloudflare చెబుతుంది. ఆ వెర్షన్లో నిర్వచనాలు ఉంటాయి కానీ ఏ ప్రాధాన్యతనూ చెప్పదు.
use=reference భాగం కొత్తది. Cloudflare useను తాను పరీక్షిస్తున్న ఐచ్ఛిక నాల్గవ ఫీల్డ్గా వివరిస్తుంది, మూడు విలువలతో: immediate (ఇంటరాక్ట్ అవ్వు, కానీ ఏదీ నిల్వ చేయకు, మళ్లీ ఉపయోగించకు), reference (ఇండెక్స్ చేయి, భాగం చూపించు, లింక్ ఇవ్వు), full (సంక్షిప్తం చేయి, పునరుత్పత్తి చేయి). ఇది అసలు మూడు సిగ్నల్లలో ఒకటి కాదు, మేము తనిఖీ చేసిన క్రాలర్ డాక్యుమెంటేషన్లో ఏదీ దీన్ని ప్రస్తావించదు.
Cloudflare ఈ లైన్లను ఎడ్జ్ వద్ద జోడిస్తుంది కాబట్టి, మీ రిపోజిటరీలోని ఫైల్ మారనట్లు కనిపించినా క్రాలర్లకు అందే ఫైల్ వేరుగా ఉండవచ్చు. మీ సొంత లైన్ జోడించే ముందు లైవ్ https://yourdomain.com/robots.txtను తెచ్చుకోండి, అప్పుడు రెస్పాన్స్ రెండు వేర్వేరు పాలసీలను చెప్పదు.
పెద్ద సైట్లలో వినియోగం ఇంకా తక్కువ. అత్యంత జనాదరణ పొందిన 1,000 డొమైన్లపై మా నవంబర్ 2026 అధ్యయనంలో, robots.txt అందించిన 518 సైట్లలో 18 (3.5%) Content-Signal ఉపయోగించాయి.
AI క్రాలర్లు Content-Signalను పాటిస్తాయా?
మాకు దొరికిన ఏ డాక్యుమెంటేషన్ ప్రకారం కాదు. 17 నవంబర్ 2026న మేము OpenAI, Anthropic, Google, Perplexity క్రాలర్ పేజీలను తనిఖీ చేశాం, వాటిలో ఏదీ Content-Signalను ప్రస్తావించదు. Cloudflare స్వయంగా సిగ్నల్లను స్క్రాపింగ్కు వ్యతిరేకంగా సాంకేతిక ప్రతిచర్యలుగా కాకుండా ప్రాధాన్యతలుగా వివరిస్తుంది, కొన్ని కంపెనీలు వాటిని పట్టించుకోకపోవచ్చని చెబుతుంది.
బదులుగా AI కంపెనీలు డాక్యుమెంట్ చేసింది IETF AI Preferences వర్కింగ్ గ్రూప్ పనిపై ఆధారపడిన వేరే విధానం: సాధారణ User-Agent గ్రూప్గా రాసే __usage_ai-training అనే పాలసీ టోకెన్. ఇది ట్రైనింగ్ను మాత్రమే కవర్ చేస్తుంది, User-Agent: * గ్రూప్ ఈ టోకెన్ను ఉపయోగించినట్లు లెక్క కాదని దాన్ని నిర్వచించే Internet-Draft చెబుతుంది:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ మద్దతు అసమానంగా ఉంది, కొంత ఇంకా రావాల్సి ఉంది. 30 అక్టోబర్ 2026 నుంచి సాధారణ మెషీన్-రీడబుల్ ట్రైనింగ్ సిగ్నల్ను గుర్తిస్తోందని, దాన్ని క్రమంగా అమలు చేస్తోందని, ClaudeBot పేరు ఉన్న నియమానికి దానిపై ప్రాధాన్యత ఉంటుందని Anthropic చెబుతుంది. Microsoft Bing కోసం __usage_ai-training టోకెన్ను డాక్యుమెంట్ చేస్తుంది, దాని కొత్త ప్రాధాన్యతలు 1 ఫిబ్రవరి 2027 నుంచి పేజీలు క్రాల్ అయ్యే కొద్దీ అమల్లోకి వస్తాయి. 2027లో ఈ ఉమ్మడి నియంత్రణకు సపోర్ట్ ఇవ్వాలని లక్ష్యంగా పెట్టుకున్నామని, Google-Extended పేరు లేనప్పుడు దీని ద్వారా ట్రైనింగ్ opt-outను ఆ టోకెన్ disallowగా పరిగణించాలని ప్లాన్ చేస్తున్నామని Google చెబుతుంది. ఉమ్మడి సిగ్నల్ను పాటిస్తామని OpenAI అదే రోజు తేదీ లేకుండా ప్రకటన ప్రచురించింది.
కాబట్టి ai-train=no, __usage_ai-training దాదాపు ఒకటే చెబుతాయి, కానీ రెండవదానికి మాత్రమే AI కంపెనీల డాక్యుమెంట్ చేసిన మద్దతు ఉంది. GPTBot, ClaudeBot వంటి క్రాలర్-వారీ టోకెన్లే ఈరోజు ప్రతి వెండర్ అమలు చేసే నియంత్రణలుగా ఉన్నాయి.
నా robots.txtకు Content-Signal జోడించాలా?
మీ వినియోగ పాలసీని మెషీన్లు, మనుషులు చదవగలిగే ఒకే చోట రాసి ఉంచాలనుకుంటే జోడించండి. ఇది ప్రతి క్రాలర్ కోసం ai-input ప్రాధాన్యతను ఒకే లైన్లో చెబుతుంది, వెండర్ టోకెన్లు దాన్ని క్రాలర్ వారీగా మాత్రమే చెప్పగలవు. దీని ఖర్చు ఒక్క లైన్, దీన్ని తెలియని పార్సర్లు దాటవేస్తాయి.
దీనిపై మాత్రమే ఆధారపడకండి. కంటెంట్ను ట్రైనింగ్ నుంచి దూరంగా ఉంచడానికి, డాక్యుమెంట్ చేసిన ట్రైనింగ్ టోకెన్లను కూడా నిషేధించండి, ఉమ్మడి ట్రైనింగ్ టోకెన్ను పరిగణించండి; AI సెర్చ్లో ఉంటూనే AI ట్రైనింగ్ను బ్లాక్ చేయడంపై మా గైడ్ వెండర్ వారీగా టోకెన్లను జాబితా చేస్తుంది. robots.txtను పట్టించుకోని దేనికైనా, ఫైర్వాల్ నియమం మాత్రమే బ్లాక్ను అమలు చేస్తుంది.
చివరగా, ఈ లైన్ ఫైల్లోని మిగతా భాగంతో సరిపోలుతుందో తనిఖీ చేయండి. OAI-SearchBot లేదా PerplexityBot కోసం Allow గ్రూప్ పక్కన ai-input=no పరస్పర విరుద్ధ సందేశాలను పంపుతుంది: మీరు AI సెర్చ్ క్రాలర్లను లోపలికి అనుమతిస్తూ, అవి తెచ్చినదాన్ని వాటి జవాబులు ఉపయోగించకూడదని చెబుతున్నారు.
నా robots.txt ప్రతి క్రాలర్కు ఏమి చెబుతుందో ఎలా తనిఖీ చేయాలి?
ఉచిత AISeeWhy robots.txt చెకర్ పేజీ చిరునామాను లేదా అతికించిన robots.txtను తీసుకుని, ప్రతి AI, సెర్చ్ క్రాలర్ ఆ పేజీని తెచ్చుకోవచ్చో చూపిస్తుంది, కాబట్టి Cloudflare ముందు జోడించినదానితో సహా లైవ్ ఫైల్ మీరు ఉద్దేశించినదే చెబుతుందని నిర్ధారించుకోవచ్చు. ఉచిత robots.txt జనరేటర్ మీ ఎంపికల ఆధారంగా ఫైల్ రాస్తుంది.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
Content-Signal robots.txt స్టాండర్డ్లో భాగమా?
కాదు. RFC 9309 User-agent, Allow, Disallowలను నిర్వచిస్తుంది, ఇతర రికార్డులను అర్థం చేసుకోవడానికి క్రాలర్లను అనుమతిస్తుంది. Content-Signal Cloudflare Content Signals Policy నుంచి వచ్చింది, CC0 లైసెన్స్ కింద విడుదలైంది. దీనికి వేరుగా, IETF AI Preferences వర్కింగ్ గ్రూప్ robots.txt కోసం తన సొంత Content-Usage నియమాన్ని రూపొందిస్తోంది, అది ఇంకా Internet-Draft మాత్రమే, స్టాండర్డ్ కాదు.
ai-train=no GPTBotను లేదా ClaudeBotను ఆపుతుందా?
వెండర్లు డాక్యుమెంట్ చేసినంత వరకు ఆపదు. OpenAI, Anthropic GPTBot, ClaudeBot పేర్లు ఉన్న robots.txt నియమాల ద్వారా నియంత్రణను వివరిస్తాయి, ఏ క్రాలర్ పేజీ కూడా Content-Signalను ప్రస్తావించదు. వీటిలో దేనితోనైనా ట్రైనింగ్ నుంచి బయటపడాలంటే, టోకెన్ను పేరుతో నిషేధించండి.
Content-Signal, __usage_ai-training మధ్య తేడా ఏమిటి?
Content-Signal గ్రూప్ లోపలి లైన్, అది సెర్చ్, AI ఇన్పుట్, ట్రైనింగ్లను కవర్ చేస్తుంది. __usage_ai-training సొంత User-Agent గ్రూప్గా ఉపయోగించే పాలసీ టోకెన్, ట్రైనింగ్ను మాత్రమే కవర్ చేస్తుంది. Anthropic, Microsoft, Google, OpenAI ఉమ్మడి ట్రైనింగ్ సిగ్నల్ గురించి ప్రకటనలు ప్రచురించాయి; వాటిలో ఏదీ Content-Signalను డాక్యుమెంట్ చేయదు.
Google Search Console Syntax not understood అని ఎందుకు చెబుతుంది?
Google robots.txt డాక్యుమెంటేషన్ user-agent, allow, disallow, sitemapలను మాత్రమే సపోర్ట్ చేస్తుంది, కాబట్టి ఇతర లైన్లు ఫ్లాగ్ కావచ్చు. ఈ రిపోర్ట్ల వల్ల క్రాలింగ్ రేట్లపై గానీ SEOపై గానీ ఏ ప్రభావం గమనించలేదని Cloudflare చెబుతుంది.
use=reference అంటే ఏమిటి?
ఇది Cloudflare పరీక్షిస్తున్న నాల్గవ ఫీల్డ్. reference అంటే ఇండెక్స్ చేయడం, భాగం చూపించడం, లింక్ ఇవ్వడం. Cloudflare దీన్ని managed robots.txt ఫైల్లకు జోడిస్తుంది, మేము తనిఖీ చేసిన ఏ క్రాలర్ డాక్యుమెంటేషన్ కూడా దీన్ని ప్రస్తావించదు.
మూలాలు
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI క్రాలర్ యాక్సెస్ రిపోర్ట్, 2026-11