robots.txt-ലെ Content-Signal എന്താണ്, ആരെങ്കിലും അത് പാലിക്കുന്നുണ്ടോ?
Content-Signal എന്നത് Cloudflare പ്രസിദ്ധീകരിച്ച, ഓപ്ഷണലായ ഒരു robots.txt വരിയാണ്; എടുത്തതിന് ശേഷം നിങ്ങളുടെ ഉള്ളടക്കം എങ്ങനെ ഉപയോഗിക്കാമെന്ന് അത് പറയുന്നു: സെർച്ച് ഫലങ്ങൾക്ക് search, AI ഉത്തരങ്ങളിലേക്ക് നൽകാൻ ai-input, മോഡലുകൾ പരിശീലിപ്പിക്കാൻ ai-train, ഓരോന്നും yes അല്ലെങ്കിൽ no ആയി, Content-Signal: search=yes, ai-input=yes, ai-train=no എന്നതിലെ പോലെ. ഇത് ഒരു മുൻഗണന പ്രകടിപ്പിക്കുന്നു, ഒന്നും തടയുന്നില്ല. 2026 നവംബർ വരെ, OpenAI, Anthropic, Google, Perplexity എന്നിവയുടെ ക്രോളർ പേജുകളിൽ ഒന്നും ഇത് വായിക്കുമെന്ന് പറയുന്നില്ല, വലിയ AI കമ്പനികൾ പകരം പരിശീലനത്തിന് മാത്രമുള്ള മറ്റൊരു ടോക്കണിനെയാണ് പിന്തുണച്ചത്.
ഒരു ക്രോളറിന് എവിടെ പോകാമെന്ന് പറയാനാണ് robots.txt നിർമ്മിച്ചത്, അത് വായിക്കുന്നതുകൊണ്ട് എന്ത് ചെയ്യാമെന്ന് പറയാനല്ല. ഒരേ ഫെച്ച് ഒരു സെർച്ച് ഇൻഡക്സിലേക്കും തത്സമയ AI ഉത്തരത്തിലേക്കും പരിശീലന സെറ്റിലേക്കും എത്താമെന്നായപ്പോൾ ആ വിടവ് പ്രധാനമായി. അത് നികത്താൻ Cloudflare 2025 സെപ്റ്റംബർ 24-ന് CC0 ലൈസൻസിന് കീഴിൽ Content Signals Policy പ്രസിദ്ധീകരിച്ചു, തങ്ങളുടെ ഉപഭോക്താക്കൾ ഇതിനകം 3.8 ദശലക്ഷത്തിലധികം ഡൊമെയ്നുകൾക്ക് മാനേജ്ഡ് robots.txt ഓണാക്കിയിട്ടുണ്ടെന്ന് അന്ന് പറയുകയും ചെയ്തു; ആ ഫീച്ചർ ഇപ്പോൾ അവർക്കുവേണ്ടി ഈ വരി ചേർക്കുന്നു.
ഈ പേജിൽ
- search, ai-input, ai-train എന്നിവയുടെ അർത്ഥമെന്ത്?
- robots.txt-ൽ ഒരു Content-Signal വരി എങ്ങനെ എഴുതാം?
- വരിക്ക് മുകളിലുള്ള നയ ടെക്സ്റ്റ് എന്ത് പറയുന്നു?
- Content-Signal ഇതിനകം എന്റെ robots.txt-ൽ ഉണ്ടോ?
- AI ക്രോളറുകൾ Content-Signal പാലിക്കുന്നുണ്ടോ?
- എന്റെ robots.txt-ൽ Content-Signal ചേർക്കണോ?
- എന്റെ robots.txt ഓരോ ക്രോളറിനോടും എന്ത് പറയുന്നുവെന്ന് എങ്ങനെ പരിശോധിക്കാം?
search, ai-input, ai-train എന്നിവയുടെ അർത്ഥമെന്ത്?
നയം മൂന്ന് സിഗ്നലുകൾ നിർവചിക്കുന്നു. താഴെയുള്ള പദപ്രയോഗം contentsignals.org-നെയും Cloudflare പ്രസിദ്ധീകരിക്കുന്ന നയ ടെക്സ്റ്റിനെയും പിന്തുടരുന്നു:
search: ഒരു സെർച്ച് ഇൻഡക്സ് നിർമ്മിക്കുകയും സെർച്ച് ഫലങ്ങൾ നൽകുകയും ചെയ്യുക, ഉദാഹരണത്തിന് നിങ്ങളുടെ പേജുകളിൽ നിന്നുള്ള ഹൈപ്പർലിങ്കുകളും ചെറിയ ഭാഗങ്ങളും നൽകുക. AI സൃഷ്ടിച്ച സെർച്ച് സംഗ്രഹങ്ങൾ search-ൽ ഉൾപ്പെടുന്നില്ലെന്ന് നിർവചനം പറയുന്നു.ai-input: ഒന്നോ അതിലധികമോ AI മോഡലുകളിലേക്ക് ഉള്ളടക്കം നൽകുക, ഉദാഹരണത്തിന് retrieval augmented generation, ഗ്രൗണ്ടിംഗ്, അല്ലെങ്കിൽ ജനറേറ്റീവ് AI സെർച്ച് ഉത്തരങ്ങൾക്കായി ഉള്ളടക്കത്തിന്റെ മറ്റ് തത്സമയ ഉപയോഗം.ai-train: AI മോഡലുകൾ പരിശീലിപ്പിക്കുകയോ ഫൈൻ-ട്യൂൺ ചെയ്യുകയോ ചെയ്യുക.
ഓരോ സിഗ്നലും yes അല്ലെങ്കിൽ no സ്വീകരിക്കുന്നു. നയത്തിന്റെ ഭാഷയിൽ, yes എന്നാൽ ആ ഉപയോഗത്തിനായി ഉള്ളടക്കം ശേഖരിക്കാം, no എന്നാൽ പാടില്ല, നിങ്ങൾ ഒഴിവാക്കുന്ന സിഗ്നൽ ആ ഉപയോഗം അനുവദിക്കുകയോ നിയന്ത്രിക്കുകയോ ചെയ്യുന്നില്ല. Cloudflare-ന്റെ ഡിഫോൾട്ട് search-ഉം ai-train-ഉം സജ്ജമാക്കുകയും ai-input സജ്ജമാക്കാതെ വിടുകയും ചെയ്യുന്നു, കാരണം ആ സിഗ്നലിനെക്കുറിച്ച് ഓരോ ഉപഭോക്താവിന്റെയും മുൻഗണന തങ്ങൾക്ക് അറിയില്ലെന്നും ഊഹിക്കാൻ ആഗ്രഹിക്കുന്നില്ലെന്നും അത് പറയുന്നു.
മിക്കവരും ശ്രദ്ധിക്കാതെ പോകുന്നത് search-ഉം ai-input-ഉം തമ്മിലുള്ള വേർതിരിവാണ്. നിങ്ങളുടെ പേജുകൾ AI ഉത്തരങ്ങളിൽ ഉപയോഗിക്കണമെന്ന് നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, search=yes മാത്രം അത് പറയുന്നില്ല. ai-input=yes പറയുന്നു.
robots.txt-ൽ ഒരു Content-Signal വരി എങ്ങനെ എഴുതാം?
Content-Signal ഒരു യൂസർ ഏജന്റ് ഗ്രൂപ്പിനുള്ളിൽ, Allow, Disallow എന്നിവയ്ക്കൊപ്പം, സിഗ്നലുകൾ കോമ കൊണ്ട് വേർതിരിച്ച് എഴുതുന്നു. ഒരു പാത്തിൽ തുടങ്ങുന്ന രൂപവും contentsignals.org കാണിക്കുന്നു, അങ്ങനെ സൈറ്റിന്റെ ഒരു ഭാഗത്തിന് ബാക്കിയുള്ളതിൽ നിന്ന് വ്യത്യസ്തമായ സിഗ്നലുകൾ നൽകാം:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow-ഉം Disallow-ഉം മുമ്പത്തെപ്പോലെ തന്നെ പ്രവർത്തിക്കുന്നു, Content-Signal അവയ്ക്ക് പകരമാകുന്നില്ല. നിർവചിച്ച നിയമങ്ങളിൽ ഇടപെടാത്തിടത്തോളം, പ്രോട്ടോക്കോളിന്റെ ഭാഗമല്ലാത്ത റെക്കോർഡുകൾ വ്യാഖ്യാനിക്കാൻ RFC 9309 ക്രോളറുകളെ അനുവദിക്കുന്നു, അതിനാൽ ഈ വരി അറിയാത്ത ഒരു പാർസർ അത് ഒഴിവാക്കണം.
രണ്ട് വിശദാംശങ്ങൾ അറിഞ്ഞിരിക്കണം. ഒന്നാമതായി, വരി ഒരു ഗ്രൂപ്പിന്റേതാണ്. RFC 9309 പ്രകാരം, സ്വന്തം പേരുള്ള ഗ്രൂപ്പുള്ള ഒരു ക്രോളർ User-agent: * ഗ്രൂപ്പ് പൂർണ്ണമായും അവഗണിക്കുന്നു, ഈ വരിക്ക് Content Signals പേജുകൾ ഒരു അപവാദവും വിവരിക്കുന്നില്ല. Googlebot-നോ OAI-SearchBot-നോ നിങ്ങൾ സ്വന്തം ഗ്രൂപ്പ് നൽകുന്നുവെങ്കിൽ, contentsignals.org അതിന്റെ ക്രോളർ-തിരിച്ചുള്ള ഉദാഹരണത്തിൽ ചെയ്യുന്നതുപോലെ, Content-Signal വരി അവിടെ ആവർത്തിക്കുക. രണ്ടാമതായി, Google Search Console ഈ വരിക്ക് Syntax not understood റിപ്പോർട്ട് ചെയ്തേക്കാം. Cloudflare-ന്റെ ഡോക്യുമെന്റേഷൻ ഇത് പരാമർശിക്കുകയും ക്രോളിംഗിലോ SEO-യിലോ ഒരു സ്വാധീനവും നിരീക്ഷിച്ചിട്ടില്ലെന്ന് പറയുകയും ചെയ്യുന്നു. Google-ന്റെ robots.txt ഡോക്യുമെന്റേഷൻ user-agent, allow, disallow, sitemap എന്നിവ മാത്രമേ പിന്തുണയ്ക്കുന്ന ഫീൽഡുകളായി പട്ടികപ്പെടുത്തുന്നുള്ളൂ.
വരിക്ക് മുകളിലുള്ള നയ ടെക്സ്റ്റ് എന്ത് പറയുന്നു?
Content Signals Policy ഒരു വരിയിൽ കൂടുതലാണ്. contentsignals.org-ലെ Cloudflare-ന്റെ ജനറേറ്ററും അതിന്റെ മാനേജ്ഡ് robots.txt-ഉം സിഗ്നലുകൾക്ക് മുകളിൽ കമന്റുകളുടെ ഒരു ബ്ലോക്ക് ചേർക്കുന്നു. വെബ്സൈറ്റ് ആക്സസ് ചെയ്യുന്നതിനുള്ള വ്യവസ്ഥയായി ഉള്ളടക്ക സിഗ്നലുകൾ പാലിക്കാൻ നിങ്ങൾ സമ്മതിക്കുന്നു എന്ന് പറഞ്ഞുകൊണ്ട് അത് ആരംഭിക്കുന്നു, തുടർന്ന് മൂന്ന് സിഗ്നലുകളും yes, no, സിഗ്നൽ ഇല്ലാത്ത സാഹചര്യം എന്നിവയും നിർവചിക്കുന്നു.
ഉള്ളടക്ക സിഗ്നലുകൾ വഴി പ്രകടിപ്പിക്കുന്ന ഏതൊരു നിയന്ത്രണവും ഡിജിറ്റൽ സിംഗിൾ മാർക്കറ്റിലെ പകർപ്പവകാശത്തെക്കുറിച്ചുള്ള EU Directive 2019/790-ന്റെ ആർട്ടിക്കിൾ 4 പ്രകാരമുള്ള അവകാശങ്ങളുടെ വ്യക്തമായ സംവരണമാണെന്ന് പറയുന്ന, വലിയക്ഷരങ്ങളിലുള്ള ഒരു വാക്യത്തോടെ അത് അവസാനിക്കുന്നു. വിവിധ നിയമപരിധികളിൽ സിഗ്നലുകൾക്ക് നിയമപരമായ പ്രാധാന്യമുണ്ടായേക്കാമെന്ന് Cloudflare-ന്റെ പ്രഖ്യാപനം കൂട്ടിച്ചേർക്കുന്നു.
robots.txt ഫയലുകൾ നടപ്പാക്കാവുന്ന നിയമപരമായ ബാധ്യതകൾ ചുമത്തുന്നില്ലെന്ന് കോടതികളും റെഗുലേറ്റർമാരും നിഗമനം ചെയ്തേക്കാമെന്ന് contentsignals.org തന്നെ മുന്നറിയിപ്പ് നൽകുന്നു, ഒരു അഭിഭാഷകനെ സമീപിക്കാൻ നിർദ്ദേശിക്കുന്നു. കമന്റ് ബ്ലോക്കിനെ നിങ്ങളുടെ നിലപാടിന്റെ രേഖാമൂലമുള്ള പ്രസ്താവനയായി കാണുക, ഒരു കരാറായല്ല.
Content-Signal ഇതിനകം എന്റെ robots.txt-ൽ ഉണ്ടോ?
നിങ്ങളുടെ സൈറ്റ് Cloudflare-ലാണെങ്കിൽ, രണ്ട് വിധത്തിൽ ഒന്നിൽ അത് ഉണ്ടായേക്കാം:
- മാനേജ്ഡ് robots.txt. Bot Preference Sync ഓണായിരിക്കുകയും കുറഞ്ഞത് ഒരു AI Crawler and Agent access നയം Block, Block on pages with ads, അല്ലെങ്കിൽ Training-ന് Disallow ആയി സജ്ജമാക്കുകയും ചെയ്താൽ, നിങ്ങളുടെ സെർവർ അയയ്ക്കുന്ന robots.txt-ന് മുന്നിൽ Cloudflare ഒരു മാനേജ്ഡ് ബ്ലോക്ക് ചേർക്കുന്നു. അതിൽ നയ ടെക്സ്റ്റ്,
User-Agent: *-ന് കീഴിൽContent-signal: search=yes, ai-train=no, use=reference,Amazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBot,meta-externalagentഎന്നിവയ്ക്ക്Disallow: /എന്നിവ ഉണ്ടാകും. - robots.txt ഒട്ടും ഇല്ലെങ്കിൽ. സ്വന്തമായി robots.txt ഇല്ലാത്തതും മാനേജ്ഡ് ഫീച്ചർ ഉപയോഗിക്കാത്തതുമായ Free പ്ലാനിലെ ഡൊമെയ്നുകൾ, ഒരു ക്രോളർ
/robots.txtഅഭ്യർത്ഥിക്കുമ്പോൾ Content Signals Policy കാണിക്കുമെന്ന് Cloudflare പറയുന്നു. ആ പതിപ്പിൽ നിർവചനങ്ങൾ ഉണ്ട്, പക്ഷേ ഒരു മുൻഗണനയും പ്രസ്താവിക്കുന്നില്ല.
use=reference എന്ന ഭാഗം പുതിയതാണ്. Cloudflare use-നെ താൻ ടെസ്റ്റ് ചെയ്യുന്ന ഓപ്ഷണലായ നാലാമത്തെ ഫീൽഡായി വിവരിക്കുന്നു, മൂന്ന് മൂല്യങ്ങളോടെ: immediate (ഇടപഴകുക, പക്ഷേ ഒന്നും സംഭരിക്കുകയോ വീണ്ടും ഉപയോഗിക്കുകയോ ചെയ്യരുത്), reference (ഇൻഡക്സ് ചെയ്യുക, ഭാഗം ഉദ്ധരിക്കുക, തിരികെ ലിങ്ക് ചെയ്യുക), full (സംഗ്രഹിക്കുക, പുനർനിർമ്മിക്കുക). ഇത് യഥാർത്ഥ മൂന്ന് സിഗ്നലുകളിൽ ഒന്നല്ല, ഞങ്ങൾ പരിശോധിച്ച ക്രോളർ ഡോക്യുമെന്റേഷനുകളിൽ ഒന്നും ഇത് പരാമർശിക്കുന്നില്ല.
Cloudflare ഈ വരികൾ എഡ്ജിൽ ചേർക്കുന്നതിനാൽ, ക്രോളറുകൾക്ക് ലഭിക്കുന്ന ഫയൽ വ്യത്യസ്തമായിരിക്കുമ്പോഴും നിങ്ങളുടെ റിപ്പോസിറ്ററിയിലെ ഫയൽ മാറ്റമില്ലാത്തതായി തോന്നാം. സ്വന്തം വരി ചേർക്കുന്നതിന് മുമ്പ് ലൈവ് https://yourdomain.com/robots.txt എടുക്കുക, അങ്ങനെ മറുപടിയിൽ രണ്ട് വ്യത്യസ്ത നയങ്ങൾ ഉണ്ടാകില്ല.
വലിയ സൈറ്റുകൾക്കിടയിൽ ഉപയോഗം ഇപ്പോഴും കുറവാണ്. ഏറ്റവും ജനപ്രിയമായ 1,000 ഡൊമെയ്നുകളെക്കുറിച്ചുള്ള ഞങ്ങളുടെ 2026 നവംബറിലെ പഠനത്തിൽ, robots.txt നൽകിയ 518 സൈറ്റുകളിൽ 18 എണ്ണം (3.5%) Content-Signal ഉപയോഗിച്ചു.
AI ക്രോളറുകൾ Content-Signal പാലിക്കുന്നുണ്ടോ?
ഞങ്ങൾക്ക് കണ്ടെത്താനായ ഡോക്യുമെന്റേഷൻ അനുസരിച്ച് ഇല്ല. 2026 നവംബർ 17-ന് OpenAI, Anthropic, Google, Perplexity എന്നിവയുടെ ക്രോളർ പേജുകൾ ഞങ്ങൾ പരിശോധിച്ചു, അവയിൽ ഒന്നും Content-Signal പരാമർശിക്കുന്നില്ല. Cloudflare തന്നെ സിഗ്നലുകളെ മുൻഗണനകളായാണ് വിവരിക്കുന്നത്, സ്ക്രാപ്പിംഗിനെതിരായ സാങ്കേതിക പ്രതിരോധ നടപടികളായല്ല, ചില കമ്പനികൾ അവയെ ലളിതമായി അവഗണിച്ചേക്കാമെന്നും പറയുന്നു.
പകരം AI കമ്പനികൾ ഡോക്യുമെന്റ് ചെയ്തിരിക്കുന്നത് IETF AI Preferences വർക്കിംഗ് ഗ്രൂപ്പിലെ പ്രവർത്തനത്തെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു പ്രത്യേക സംവിധാനമാണ്: ഒരു സാധാരണ User-Agent ഗ്രൂപ്പായി എഴുതുന്ന __usage_ai-training എന്ന നയ ടോക്കൺ. ഇത് പരിശീലനത്തിന് മാത്രം ബാധകമാണ്, User-Agent: * ഗ്രൂപ്പ് ടോക്കൺ ഉപയോഗിക്കുന്നതായി കണക്കാക്കില്ലെന്ന് ഇതിനെ നിർവചിക്കുന്ന Internet-Draft പറയുന്നു:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ പിന്തുണ അസമമാണ്, ഭാഗികമായി ഇനിയും വരാനിരിക്കുന്നു. 2026 ഒക്ടോബർ 30 മുതൽ ഒരു പൊതു മെഷീൻ-റീഡബിൾ പരിശീലന സിഗ്നൽ തിരിച്ചറിയുന്നുണ്ടെന്നും അത് ക്രമേണ നടപ്പാക്കുകയാണെന്നും ClaudeBot എന്ന് പേരെടുത്ത് പറയുന്ന നിയമത്തിന് അതിനേക്കാൾ മുൻഗണനയുണ്ടെന്നും Anthropic പറയുന്നു. Microsoft, Bing-നായി __usage_ai-training ടോക്കൺ ഡോക്യുമെന്റ് ചെയ്യുന്നു, 2027 ഫെബ്രുവരി 1 മുതൽ പേജുകൾ ക്രോൾ ചെയ്യുന്നതനുസരിച്ച് അതിന്റെ പുതിയ മുൻഗണനകൾ പ്രാബല്യത്തിൽ വരും. 2027-ൽ പങ്കിട്ട നിയന്ത്രണം പിന്തുണയ്ക്കാൻ ലക്ഷ്യമിടുന്നുവെന്നും, Google-Extended എന്ന് പേരെടുത്ത് പറയാത്തപ്പോൾ അതുവഴിയുള്ള പരിശീലന ഒഴിവാക്കലിനെ ആ ടോക്കണിന്റെ disallow ആയി കണക്കാക്കാൻ പദ്ധതിയിടുന്നുവെന്നും Google പറയുന്നു. പങ്കിട്ട സിഗ്നൽ മാനിക്കുമെന്ന് പറയുന്ന ഒരു പ്രഖ്യാപനം OpenAI അതേ ദിവസം, തീയതി പറയാതെ, പ്രസിദ്ധീകരിച്ചു.
അതിനാൽ ai-train=no-ഉം __usage_ai-training-ഉം സമാനമായ കാര്യങ്ങൾ പറയുന്നു, പക്ഷേ AI കമ്പനികളിൽ നിന്ന് ഡോക്യുമെന്റ് ചെയ്ത പിന്തുണയുള്ളത് രണ്ടാമത്തേതിന് മാത്രമാണ്. GPTBot, ClaudeBot പോലുള്ള ക്രോളർ-തിരിച്ചുള്ള ടോക്കണുകളാണ് ഇന്നും ഓരോ വെണ്ടറും പ്രയോഗിക്കുന്ന നിയന്ത്രണങ്ങൾ.
എന്റെ robots.txt-ൽ Content-Signal ചേർക്കണോ?
മെഷീനുകൾക്കും ആളുകൾക്കും വായിക്കാവുന്ന ഒരിടത്ത് നിങ്ങളുടെ ഉപയോഗ നയം എഴുതിവെക്കണമെങ്കിൽ അത് ചേർക്കുക. വെണ്ടർ ടോക്കണുകൾക്ക് ക്രോളർ തിരിച്ച് മാത്രം പ്രകടിപ്പിക്കാവുന്ന ഒരു ai-input മുൻഗണന, എല്ലാ ക്രോളറുകൾക്കുമായി ഒറ്റ വരിയിൽ അത് പ്രസ്താവിക്കുകയും ചെയ്യുന്നു. ഇതിന് ഒരു വരി മാത്രമേ ചെലവുള്ളൂ, ഇത് അറിയാത്ത പാർസറുകൾ ഇത് ഒഴിവാക്കും.
ഇതിനെ മാത്രം ആശ്രയിക്കരുത്. ഉള്ളടക്കം പരിശീലനത്തിൽ നിന്ന് മാറ്റിനിർത്താൻ, ഡോക്യുമെന്റ് ചെയ്ത പരിശീലന ടോക്കണുകളും വിലക്കുക, പങ്കിട്ട പരിശീലന ടോക്കൺ പരിഗണിക്കുക; AI സെർച്ചിൽ തുടർന്നുകൊണ്ട് AI പരിശീലനം തടയുന്നതിനെക്കുറിച്ചുള്ള ഞങ്ങളുടെ ഗൈഡ് ഓരോ വെണ്ടറിന്റെയും ടോക്കണുകൾ പട്ടികപ്പെടുത്തുന്നു. robots.txt അവഗണിക്കുന്ന എന്തിനും, ഒരു ഫയർവാൾ നിയമം മാത്രമേ തടയൽ നടപ്പാക്കൂ.
അവസാനമായി, ഈ വരി ഫയലിന്റെ ബാക്കി ഭാഗവുമായി യോജിക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക. OAI-SearchBot-നോ PerplexityBot-നോ ഉള്ള ഒരു Allow ഗ്രൂപ്പിനൊപ്പമുള്ള ai-input=no പരസ്പരവിരുദ്ധമായ സന്ദേശങ്ങൾ അയയ്ക്കുന്നു: AI സെർച്ച് ക്രോളറുകളെ നിങ്ങൾ അകത്ത് കടത്തിവിടുന്നു, എന്നാൽ അവ എടുക്കുന്നത് അവയുടെ ഉത്തരങ്ങൾക്ക് ഉപയോഗിക്കരുതെന്ന് പറയുന്നു.
എന്റെ robots.txt ഓരോ ക്രോളറിനോടും എന്ത് പറയുന്നുവെന്ന് എങ്ങനെ പരിശോധിക്കാം?
സൗജന്യ AISeeWhy robots.txt ചെക്കർ ഒരു പേജ് വിലാസമോ പേസ്റ്റ് ചെയ്ത robots.txt-ഓ സ്വീകരിച്ച്, ഓരോ AI, സെർച്ച് ക്രോളറിനും ആ പേജ് എടുക്കാമോ എന്ന് കാണിക്കുന്നു, അതിനാൽ Cloudflare മുന്നിൽ ചേർത്തത് ഉൾപ്പെടെ, ലൈവ് ഫയൽ നിങ്ങൾ ഉദ്ദേശിച്ചത് തന്നെയാണ് പറയുന്നതെന്ന് സ്ഥിരീകരിക്കാം. സൗജന്യ robots.txt ജനറേറ്റർ നിങ്ങളുടെ തിരഞ്ഞെടുപ്പുകളിൽ നിന്ന് ഫയൽ എഴുതുന്നു.
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
Content-Signal robots.txt സ്റ്റാൻഡേർഡിന്റെ ഭാഗമാണോ?
അല്ല. RFC 9309 User-agent, Allow, Disallow എന്നിവ നിർവചിക്കുകയും മറ്റ് റെക്കോർഡുകൾ വ്യാഖ്യാനിക്കാൻ ക്രോളറുകളെ അനുവദിക്കുകയും ചെയ്യുന്നു. CC0 ലൈസൻസിന് കീഴിൽ പുറത്തിറക്കിയ Cloudflare-ന്റെ Content Signals Policy-യിൽ നിന്നാണ് Content-Signal വരുന്നത്. ഇതിൽ നിന്ന് വേറിട്ട്, IETF AI Preferences വർക്കിംഗ് ഗ്രൂപ്പ് robots.txt-നായി സ്വന്തം Content-Usage നിയമം തയ്യാറാക്കുന്നുണ്ട്, അത് ഇപ്പോഴും ഒരു Internet-Draft ആണ്, സ്റ്റാൻഡേർഡല്ല.
ai-train=no GPTBot-നെയോ ClaudeBot-നെയോ തടയുമോ?
വെണ്ടർമാർ ഡോക്യുമെന്റ് ചെയ്യുന്നിടത്തോളം ഇല്ല. GPTBot, ClaudeBot എന്നിവയുടെ പേരെടുത്ത് പറയുന്ന robots.txt നിയമങ്ങൾ വഴിയുള്ള നിയന്ത്രണമാണ് OpenAI-യും Anthropic-ഉം വിവരിക്കുന്നത്, ഒരു ക്രോളർ പേജും Content-Signal പരാമർശിക്കുന്നില്ല. ഇവയിൽ ഏതിലെങ്കിലും പരിശീലനത്തിൽ നിന്ന് ഒഴിവാകാൻ, ടോക്കൺ പേരെടുത്ത് വിലക്കുക.
Content-Signal-ഉം __usage_ai-training-ഉം തമ്മിലുള്ള വ്യത്യാസം എന്താണ്?
Content-Signal ഒരു ഗ്രൂപ്പിനുള്ളിലെ വരിയാണ്, സെർച്ച്, AI ഇൻപുട്ട്, പരിശീലനം എന്നിവ ഉൾക്കൊള്ളുന്നു. __usage_ai-training സ്വന്തം User-Agent ഗ്രൂപ്പായി ഉപയോഗിക്കുന്ന ഒരു നയ ടോക്കണാണ്, പരിശീലനം മാത്രം ഉൾക്കൊള്ളുന്നു. പങ്കിട്ട പരിശീലന സിഗ്നലിനെക്കുറിച്ച് Anthropic, Microsoft, Google, OpenAI എന്നിവ പ്രസ്താവനകൾ പ്രസിദ്ധീകരിച്ചിട്ടുണ്ട്; അവയിൽ ഒന്നും Content-Signal ഡോക്യുമെന്റ് ചെയ്യുന്നില്ല.
Google Search Console Syntax not understood എന്ന് പറയുന്നത് എന്തുകൊണ്ട്?
Google-ന്റെ robots.txt ഡോക്യുമെന്റേഷൻ user-agent, allow, disallow, sitemap എന്നിവ മാത്രമേ പിന്തുണയ്ക്കുന്നുള്ളൂ, അതിനാൽ മറ്റ് വരികൾ ഫ്ലാഗ് ചെയ്യപ്പെട്ടേക്കാം. ഈ റിപ്പോർട്ടുകൾ ക്രോളിംഗ് നിരക്കിലോ SEO-യിലോ ഒരു സ്വാധീനവും ചെലുത്തുന്നതായി നിരീക്ഷിച്ചിട്ടില്ലെന്ന് Cloudflare പറയുന്നു.
use=reference എന്നതിന്റെ അർത്ഥമെന്ത്?
Cloudflare ടെസ്റ്റ് ചെയ്യുന്ന നാലാമത്തെ ഫീൽഡാണിത്. reference എന്നാൽ ഇൻഡക്സ് ചെയ്യുക, ഭാഗം ഉദ്ധരിക്കുക, തിരികെ ലിങ്ക് ചെയ്യുക. Cloudflare ഇത് മാനേജ്ഡ് robots.txt ഫയലുകളിൽ ചേർക്കുന്നു, ഞങ്ങൾ പരിശോധിച്ച ക്രോളർ ഡോക്യുമെന്റേഷനുകളിൽ ഒന്നും ഇത് പരാമർശിക്കുന്നില്ല.
ഉറവിടങ്ങൾ
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI ക്രോളർ ആക്സസ് റിപ്പോർട്ട്, 2026-11