robots.txt-இல் Content-Signal என்றால் என்ன, யாராவது அதைப் பின்பற்றுகிறார்களா?
Content-Signal என்பது Cloudflare வெளியிட்ட, robots.txt-இல் விருப்பத்துக்குரிய ஒரு வரி; பெறப்பட்ட பிறகு உங்கள் உள்ளடக்கத்தை எப்படிப் பயன்படுத்தலாம் என்று அது கூறுகிறது: தேடல் முடிவுகளுக்கு search, AI பதில்களுக்கு உள்ளீடாகத் தர ai-input, மாடல்களைப் பயிற்றுவிக்க ai-train, ஒவ்வொன்றும் yes அல்லது no, எடுத்துக்காட்டாக Content-Signal: search=yes, ai-input=yes, ai-train=no. இது ஒரு விருப்பத்தைத் தெரிவிக்கிறது, எதையும் தடுப்பதில்லை. நவம்பர் 2026 நிலவரப்படி, OpenAI, Anthropic, Google, Perplexity கிராலர் பக்கங்கள் எதுவும் இதைப் படிப்பதாகச் சொல்லவில்லை; பெரிய AI நிறுவனங்கள் இதற்குப் பதிலாகப் பயிற்சிக்கு மட்டுமான வேறொரு token-ஐ ஆதரித்துள்ளன.
ஒரு கிராலர் எங்கே செல்லலாம் என்று சொல்வதற்காகவே robots.txt உருவாக்கப்பட்டது, அது படிப்பதை என்ன செய்யலாம் என்று சொல்வதற்கு அல்ல. ஒரே fetch ஒரு தேடல் index, நேரடி AI பதில், பயிற்சித் தொகுப்பு மூன்றையும் நிரப்ப முடிந்தபோது, அந்த இடைவெளி முக்கியமானது. அதை நிரப்ப Cloudflare 24 செப்டம்பர் 2025 அன்று CC0 உரிமத்தின் கீழ் Content Signals Policy-ஐ வெளியிட்டது; அப்போதே அதன் வாடிக்கையாளர்கள் 3.8 மில்லியனுக்கும் மேற்பட்ட domains-க்கு managed robots.txt-ஐ இயக்கியிருந்தனர் என்றும் கூறியது; அந்த அம்சம் இப்போது அவர்களுக்காக இந்த வரியைச் சேர்க்கிறது.
இந்தப் பக்கத்தில்
- search, ai-input, ai-train என்பவற்றின் பொருள் என்ன?
- robots.txt-இல் Content-Signal வரியை எப்படி எழுதுவது?
- வரிக்கு மேலே உள்ள கொள்கை உரை என்ன சொல்கிறது?
- Content-Signal ஏற்கெனவே என் robots.txt-இல் உள்ளதா?
- AI கிராலர்கள் Content-Signal-ஐப் பின்பற்றுகின்றனவா?
- என் robots.txt-இல் Content-Signal-ஐச் சேர்க்க வேண்டுமா?
- என் robots.txt ஒவ்வொரு கிராலருக்கும் என்ன சொல்கிறது என்று எப்படிச் சரிபார்ப்பது?
search, ai-input, ai-train என்பவற்றின் பொருள் என்ன?
கொள்கை மூன்று signals-ஐ வரையறுக்கிறது. கீழே உள்ள சொற்கள் contentsignals.org-ஐயும் Cloudflare வெளியிடும் கொள்கை உரையையும் பின்பற்றுகின்றன:
search: தேடல் index-ஐ உருவாக்குவதும் தேடல் முடிவுகளை வழங்குவதும், எடுத்துக்காட்டாக உங்கள் பக்கங்களின் hyperlinks-ஐயும் சிறு பகுதிகளையும் காட்டுவது. AI உருவாக்கும் தேடல் சுருக்கங்கள் search-இல் அடங்காது என்று வரையறை கூறுகிறது.ai-input: உள்ளடக்கத்தை ஒன்று அல்லது அதற்கு மேற்பட்ட AI மாடல்களுக்கு உள்ளீடாகத் தருவது, எடுத்துக்காட்டாக retrieval augmented generation, grounding அல்லது generative AI தேடல் பதில்களுக்காக உள்ளடக்கத்தின் பிற நிகழ்நேரப் பயன்பாடு.ai-train: AI மாடல்களைப் பயிற்றுவிப்பது அல்லது fine-tuning செய்வது.
ஒவ்வொரு signal-உம் yes அல்லது no-ஐ ஏற்கிறது. கொள்கையின் சொற்களில், yes என்றால் அந்தப் பயன்பாட்டுக்கு உள்ளடக்கத்தைச் சேகரிக்கலாம், no என்றால் கூடாது; நீங்கள் விட்டுவிடும் signal அந்தப் பயன்பாட்டை அனுமதிப்பதுமில்லை, கட்டுப்படுத்துவதுமில்லை. Cloudflare-இன் இயல்புநிலை search, ai-train-ஐ அமைத்து ai-input-ஐ அமைக்காமல் விடுகிறது; இந்த signal-க்கு ஒவ்வொரு வாடிக்கையாளரின் விருப்பமும் தனக்குத் தெரியாது, ஊகிக்க விரும்பவில்லை என்று அது கூறுகிறது.
search, ai-input இடையிலான பிரிவைத்தான் பெரும்பாலோர் கவனிப்பதில்லை. உங்கள் பக்கங்கள் AI பதில்களில் பயன்படுத்தப்பட வேண்டுமென்றால், search=yes மட்டும் அதைச் சொல்வதில்லை. ai-input=yes சொல்கிறது.
robots.txt-இல் Content-Signal வரியை எப்படி எழுதுவது?
Content-Signal ஒரு user agent குழுவுக்குள், Allow, Disallow அருகே, காற்புள்ளிகளால் பிரிக்கப்பட்ட signals-உடன் வருகிறது. contentsignals.org ஒரு path-உடன் தொடங்கும் வடிவத்தையும் காட்டுகிறது; இதனால் தளத்தின் ஒரு பகுதி மற்றவற்றிலிருந்து வேறுபட்ட signals-ஐக் கொண்டிருக்கலாம்:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow, Disallow முன்பு போலவே வேலை செய்கின்றன; Content-Signal அவற்றுக்கு மாற்று அல்ல. வரையறுக்கப்பட்ட விதிகளில் குறுக்கிடாதவரை, protocol-இன் பகுதியாக இல்லாத பதிவுகளைக் கிராலர்கள் விளக்கிக்கொள்ள RFC 9309 அனுமதிக்கிறது; எனவே இந்த வரியை அறியாத parser அதைத் தவிர்க்க வேண்டும்.
இரண்டு விவரங்களை அறிந்துகொள்வது நல்லது. முதலாவது, இந்த வரி ஒரு குழுவுக்குச் சொந்தமானது. RFC 9309-இன்படி, தன் பெயரில் குழு உள்ள கிராலர் User-agent: * குழுவை முழுவதுமாகப் புறக்கணிக்கிறது; Content Signals பக்கங்கள் இந்த வரிக்கு எந்த விதிவிலக்கையும் விவரிக்கவில்லை. Googlebot அல்லது OAI-SearchBot-க்குத் தனிக் குழு கொடுத்தால், contentsignals.org தன் கிராலர் வாரியான எடுத்துக்காட்டில் செய்வது போல, அங்கே Content-Signal வரியை மீண்டும் எழுதுங்கள். இரண்டாவது, Google Search Console இந்த வரிக்கு Syntax not understood எனக் காட்டலாம். Cloudflare-இன் ஆவணங்கள் இதைக் குறிப்பிட்டு, கிராலிங் அல்லது SEO-வில் எந்தத் தாக்கத்தையும் தான் காணவில்லை என்று கூறுகின்றன. Google-இன் robots.txt ஆவணங்கள் ஆதரிக்கப்படும் புலங்களாக user-agent, allow, disallow, sitemap-ஐ மட்டுமே பட்டியலிடுகின்றன.
வரிக்கு மேலே உள்ள கொள்கை உரை என்ன சொல்கிறது?
Content Signals Policy ஒரு வரியை விட அதிகம். contentsignals.org-இல் உள்ள Cloudflare-இன் generator-உம் அதன் managed robots.txt-உம் signals-க்கு மேலே ஒரு comment தொகுதியை வைக்கின்றன. இணையதளத்தை அணுகுவதற்கான நிபந்தனையாக content signals-ஐப் பின்பற்ற நீங்கள் ஒப்புக்கொள்கிறீர்கள் என்று சொல்லி அது தொடங்குகிறது, பிறகு மூன்று signals-ஐயும் yes, no, இல்லாத நிலைகளையும் வரையறுக்கிறது.
content signals மூலம் தெரிவிக்கப்படும் எந்தக் கட்டுப்பாடுகளும் Digital Single Market-இல் பதிப்புரிமை பற்றிய EU Directive 2019/790-இன் Article 4-இன் கீழ் உரிமைகளின் வெளிப்படையான ஒதுக்கீடுகள் என்று பெரிய எழுத்துகளில் உள்ள ஒரு வாக்கியத்துடன் அது முடிகிறது. பல்வேறு அதிகார வரம்புகளில் signals-க்குச் சட்டப்பூர்வ எடை இருக்கலாம் என்று Cloudflare-இன் அறிவிப்பு சேர்க்கிறது.
robots.txt கோப்புகள் அமல்படுத்தக்கூடிய சட்டக் கடமைகளை விதிப்பதில்லை என்று நீதிமன்றங்களும் ஒழுங்குமுறையாளர்களும் முடிவு செய்யலாம் என்று contentsignals.org தானே எச்சரிக்கிறது, வழக்கறிஞரை அணுகவும் பரிந்துரைக்கிறது. comment தொகுதியை ஒப்பந்தமாக அல்ல, உங்கள் நிலைப்பாட்டின் எழுத்துப்பூர்வ அறிக்கையாகக் கருதுங்கள்.
Content-Signal ஏற்கெனவே என் robots.txt-இல் உள்ளதா?
உங்கள் தளம் Cloudflare-இல் இருந்தால், இரண்டில் ஒரு வழியில் இருக்கலாம்:
- Managed robots.txt. Bot Preference Sync இயக்கத்தில் இருந்து, குறைந்தது ஒரு AI Crawler and Agent access கொள்கை Block, Block on pages with ads அல்லது Training-க்கு Disallow-இல் இருந்தால், உங்கள் சர்வர் அனுப்பும் robots.txt-இன் முன்னால் Cloudflare ஒரு managed தொகுதியைச் சேர்க்கிறது. அதில் கொள்கை உரை,
User-Agent: *-இன் கீழ்Content-signal: search=yes, ai-train=no, use=reference,Amazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBot,meta-externalagent-க்குDisallow: /ஆகியவை உள்ளன. - robots.txt இல்லவே இல்லை. சொந்த robots.txt இல்லாத, managed அம்சத்தைப் பயன்படுத்தாத Free திட்ட domains, ஒரு கிராலர்
/robots.txt-ஐக் கோரும்போது Content Signals Policy-ஐக் காட்டுகின்றன என்று Cloudflare கூறுகிறது. அந்தப் பதிப்பில் வரையறைகள் உள்ளன, ஆனால் எந்த விருப்பமும் தெரிவிக்கப்படவில்லை.
use=reference பகுதி புதியது. Cloudflare தான் சோதித்து வரும் விருப்பத்துக்குரிய நான்காவது புலமாக use-ஐ விவரிக்கிறது, மூன்று மதிப்புகளுடன்: immediate (தொடர்புகொள், ஆனால் எதையும் சேமிக்கவோ மீண்டும் பயன்படுத்தவோ வேண்டாம்), reference (index செய், சிறு பகுதியைக் காட்டு, திரும்ப இணைப்பு கொடு), full (சுருக்கு, மீண்டும் வெளியிடு). இது அசல் மூன்று signals-இல் ஒன்றல்ல; நாங்கள் சரிபார்த்த கிராலர் ஆவணங்கள் எதுவும் இதைக் குறிப்பிடவில்லை.
Cloudflare இந்த வரிகளை edge-இல் சேர்ப்பதால், கிராலர்கள் பெறும் கோப்பு வேறாக இருக்கும்போதே உங்கள் repository-இல் உள்ள கோப்பு மாறாதது போலத் தெரியலாம். பதில் இரண்டு வெவ்வேறு கொள்கைகளைச் சொல்லாமல் இருக்க, உங்கள் சொந்த வரியைச் சேர்ப்பதற்கு முன் நேரலை https://yourdomain.com/robots.txt-ஐப் பெறுங்கள்.
பெரிய தளங்களிடையே பயன்பாடு இன்னும் குறைவு. மிகப் பிரபலமான 1,000 domains பற்றிய எங்கள் நவம்பர் 2026 ஆய்வில், robots.txt வழங்கிய 518 தளங்களில் 18 (3.5%) Content-Signal-ஐப் பயன்படுத்தின.
AI கிராலர்கள் Content-Signal-ஐப் பின்பற்றுகின்றனவா?
நாங்கள் கண்ட எந்த ஆவணத்தின்படியும் இல்லை. 17 நவம்பர் 2026 அன்று OpenAI, Anthropic, Google, Perplexity கிராலர் பக்கங்களைச் சரிபார்த்தோம்; அவற்றில் எதுவும் Content-Signal-ஐக் குறிப்பிடவில்லை. Cloudflare தானே signals-ஐ scraping-க்கு எதிரான தொழில்நுட்பத் தடுப்புகளாக அல்ல, விருப்பங்களாக விவரிக்கிறது; சில நிறுவனங்கள் அவற்றை வெறுமனே புறக்கணிக்கலாம் என்றும் கூறுகிறது.
AI நிறுவனங்கள் இதற்குப் பதிலாக IETF AI Preferences working group-இன் பணியை அடிப்படையாகக் கொண்ட தனி வழிமுறையை ஆவணப்படுத்தியுள்ளன: சாதாரண User-Agent குழுவாக எழுதப்படும் __usage_ai-training என்ற கொள்கை token. இது பயிற்சியை மட்டுமே உள்ளடக்குகிறது; இதை வரையறுக்கும் Internet-Draft, User-Agent: * குழு இந்த token-ஐப் பயன்படுத்துவதாகக் கணக்கிடப்படாது என்று கூறுகிறது:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ ஆதரவு சீரற்றது, ஓரளவு இன்னும் வரவிருக்கிறது. 30 அக்டோபர் 2026 முதல் இயந்திரம் படிக்கக்கூடிய பொதுவான பயிற்சி signal-ஐ அடையாளம் காண்பதாகவும், அதைப் படிப்படியாக அறிமுகப்படுத்துவதாகவும், ClaudeBot-ஐப் பெயரிடும் விதி அதை விட முன்னுரிமை பெறும் என்றும் Anthropic கூறுகிறது. Microsoft, Bing-க்கான __usage_ai-training token-ஐ ஆவணப்படுத்துகிறது; அதன் புதிய விருப்பங்கள் 1 பிப்ரவரி 2027 முதல் பக்கங்கள் கிராலிங் செய்யப்படும்போது நடைமுறைக்கு வரும். 2027-இல் பகிரப்பட்ட கட்டுப்பாட்டை ஆதரிப்பதே தன் இலக்கு என்றும், அந்த token பெயரிடப்படாதபோது அதன் மூலமான பயிற்சி opt-out-ஐ Google-Extended-இன் disallow-ஆகக் கருதத் திட்டமிடுவதாகவும் Google கூறுகிறது. பகிரப்பட்ட signal-ஐ மதிக்கும் என்று OpenAI அதே நாளில் தேதி இல்லாமல் ஓர் அறிவிப்பை வெளியிட்டது.
எனவே ai-train=no-உம் __usage_ai-training-உம் ஒத்த விஷயங்களைச் சொல்கின்றன, ஆனால் இரண்டாவதற்கு மட்டுமே AI நிறுவனங்களின் ஆவணப்படுத்தப்பட்ட ஆதரவு உள்ளது. GPTBot, ClaudeBot போன்ற கிராலர் வாரியான tokens-தான் ஒவ்வொரு நிறுவனமும் இன்று நடைமுறைப்படுத்தும் கட்டுப்பாடுகள்.
என் robots.txt-இல் Content-Signal-ஐச் சேர்க்க வேண்டுமா?
இயந்திரங்களும் மனிதர்களும் படிக்கக்கூடிய ஒரே இடத்தில் உங்கள் பயன்பாட்டுக் கொள்கையை எழுதி வைக்க விரும்பினால் சேருங்கள். இது ஒரே வரியில் ஒவ்வொரு கிராலருக்குமான ai-input விருப்பத்தையும் தெரிவிக்கிறது; நிறுவனங்களின் tokens இதைக் கிராலர் கிராலராக மட்டுமே சொல்ல முடியும். இதற்கு ஆகும் செலவு ஒரு வரி; இதை அறியாத parsers இதைத் தவிர்க்கின்றன.
இதை மட்டும் நம்பியிருக்காதீர்கள். உள்ளடக்கத்தைப் பயிற்சியிலிருந்து விலக்கி வைக்க, ஆவணப்படுத்தப்பட்ட பயிற்சி tokens-ஐயும் மறுங்கள், பகிரப்பட்ட பயிற்சி token-ஐயும் கருத்தில் கொள்ளுங்கள்; AI பயிற்சியைத் தடுத்து AI தேடலில் இருப்பது பற்றிய எங்கள் வழிகாட்டி நிறுவனம் வாரியாக tokens-ஐப் பட்டியலிடுகிறது. robots.txt-ஐப் புறக்கணிக்கும் எதற்கும், ஃபயர்வால் விதி மட்டுமே தடையை அமல்படுத்துகிறது.
இறுதியாக, வரி கோப்பின் மற்ற பகுதிகளுடன் ஒத்துப்போகிறதா என்று சரிபாருங்கள். OAI-SearchBot அல்லது PerplexityBot-க்கான Allow குழுவுக்கு அருகில் ai-input=no முரண்பட்ட செய்திகளை அனுப்புகிறது: AI தேடல் கிராலர்களை உள்ளே விடுகிறீர்கள், அதே நேரத்தில் அவை பெறுவதை அவற்றின் பதில்கள் பயன்படுத்தக் கூடாது என்கிறீர்கள்.
என் robots.txt ஒவ்வொரு கிராலருக்கும் என்ன சொல்கிறது என்று எப்படிச் சரிபார்ப்பது?
இலவச AISeeWhy robots.txt சரிபார்ப்புக் கருவி ஒரு பக்க முகவரியையோ ஒட்டப்பட்ட robots.txt-ஐயோ எடுத்து, ஒவ்வொரு AI, தேடல் கிராலருக்கும் அந்தப் பக்கத்தைப் பெறலாமா என்று காட்டுகிறது; இதனால் Cloudflare முன்னால் சேர்த்தவை உட்பட நேரலைக் கோப்பு நீங்கள் நினைத்ததையே சொல்கிறது என்று உறுதிசெய்யலாம். இலவச robots.txt ஜெனரேட்டர் உங்கள் தேர்வுகளிலிருந்து ஒரு கோப்பை எழுதுகிறது.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
Content-Signal robots.txt தரநிலையின் பகுதியா?
இல்லை. RFC 9309 User-agent, Allow, Disallow-ஐ வரையறுத்து, பிற பதிவுகளைக் கிராலர்கள் விளக்கிக்கொள்ள அனுமதிக்கிறது. Content-Signal CC0 உரிமத்தின் கீழ் வெளியிடப்பட்ட Cloudflare-இன் Content Signals Policy-இலிருந்து வருகிறது. தனியாக, IETF AI Preferences working group robots.txt-க்கான தன் சொந்த Content-Usage விதியை வரைந்து வருகிறது; அது இன்னும் Internet-Draft, தரநிலை அல்ல.
ai-train=no, GPTBot அல்லது ClaudeBot-ஐ நிறுத்துமா?
நிறுவனங்கள் ஆவணப்படுத்தியபடி இல்லை. OpenAI, Anthropic இரண்டும் GPTBot, ClaudeBot-ஐப் பெயரிடும் robots.txt விதிகள் மூலமான கட்டுப்பாட்டை விவரிக்கின்றன; இரு கிராலர் பக்கங்களும் Content-Signal-ஐக் குறிப்பிடவில்லை. இவற்றில் எதனுடனும் பயிற்சியிலிருந்து விலக, token-ஐப் பெயரிட்டு மறுங்கள்.
Content-Signal-க்கும் __usage_ai-training-க்கும் என்ன வேறுபாடு?
Content-Signal ஒரு குழுவுக்குள் உள்ள வரி; தேடல், AI உள்ளீடு, பயிற்சி மூன்றையும் உள்ளடக்குகிறது. __usage_ai-training என்பது தனி User-Agent குழுவாகப் பயன்படுத்தப்படும் கொள்கை token; பயிற்சியை மட்டுமே உள்ளடக்குகிறது. பகிரப்பட்ட பயிற்சி signal பற்றி Anthropic, Microsoft, Google, OpenAI அறிக்கைகளை வெளியிட்டுள்ளன; அவற்றில் எதுவும் Content-Signal-ஐ ஆவணப்படுத்தவில்லை.
Google Search Console ஏன் Syntax not understood என்கிறது?
Google-இன் robots.txt ஆவணங்கள் user-agent, allow, disallow, sitemap-ஐ மட்டுமே ஆதரிக்கின்றன, எனவே பிற வரிகள் கொடியிடப்படலாம். இந்த அறிக்கைகளால் கிராலிங் வேகத்திலோ SEO-விலோ எந்தத் தாக்கத்தையும் தான் காணவில்லை என்று Cloudflare கூறுகிறது.
use=reference என்பதன் பொருள் என்ன?
இது Cloudflare சோதித்து வரும் நான்காவது புலம். reference என்றால் index செய், சிறு பகுதியைக் காட்டு, திரும்ப இணைப்பு கொடு. Cloudflare இதை managed robots.txt கோப்புகளில் சேர்க்கிறது; நாங்கள் சரிபார்த்த கிராலர் ஆவணங்கள் எதுவும் இதைக் குறிப்பிடவில்லை.
மூலங்கள்
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI கிராலர் அணுகல் அறிக்கை, 2026-11