AI ക്രോളറുകൾക്കുള്ള robots.txt: എന്ത് അനുവദിക്കണം, എന്ത് തടയണം
നിങ്ങൾക്ക് പ്രധാനമായ ഓരോ AI ക്രോളറിനും സ്വന്തം User-agent ഗ്രൂപ്പ് നൽകുക. ഉദ്ധരിക്കപ്പെടണമെങ്കിൽ OAI-SearchBot, Claude-SearchBot, PerplexityBot പോലുള്ള സെർച്ച് ക്രോളറുകളെ അനുവദിക്കുക, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended പോലുള്ള പരിശീലന ടോക്കണുകളെക്കുറിച്ച് വെവ്വേറെ തീരുമാനിക്കുക. പേരുള്ള ഒരു ഗ്രൂപ്പ് ആ ക്രോളറിന് * ഗ്രൂപ്പിനെ മാറ്റിസ്ഥാപിക്കുന്നു.
1994 മുതലുള്ളതും 2022-ൽ RFC 9309 എന്ന ഔദ്യോഗിക മാനദണ്ഡമായി മാറിയതുമായ ഒരു സാധാരണ ടെക്സ്റ്റ് ഫയലാണ് robots.txt. തങ്ങളുടെ ക്രോളറുകൾ ഇത് പാലിക്കുന്നുവെന്ന് മിക്ക AI കമ്പനികളും പറയുന്നു, പലതും സെർച്ചിനും പരിശീലനത്തിനും വെവ്വേറെ ടോക്കണുകൾ പ്രസിദ്ധീകരിക്കുന്നു. അതിനാൽ ഒരു AI നയം പ്രസ്താവിക്കാനുള്ള ഏറ്റവും ലളിതമായ സ്ഥലം robots.txt ആണ്, നിയമങ്ങൾ നിങ്ങൾ കരുതുന്നത് തന്നെയാണ് അർത്ഥമാക്കുന്നതെങ്കിൽ.
ഈ പേജിൽ
- AI ക്രോളറുകൾ ഏതൊക്കെ robots.txt ടോക്കണുകൾ ഉപയോഗിക്കുന്നു?
- നല്ല ഒരു AI robots.txt എങ്ങനെയിരിക്കും?
- ഏത് നിയമങ്ങൾ ബാധകമാണെന്ന് ക്രോളറുകൾ എങ്ങനെ തിരഞ്ഞെടുക്കുന്നു?
- ഏറ്റവും സാധാരണമായ robots.txt തെറ്റുകൾ ഏതൊക്കെ?
- അനുവദിക്കലിനും വിലക്കലിനും അപ്പുറം ഒരു AI ഉപയോഗ നയം പ്രസ്താവിക്കാനാകുമോ?
- മാറ്റങ്ങൾക്ക് എത്ര സമയമെടുക്കും, അവ എങ്ങനെ പരിശോധിക്കാം?
AI ക്രോളറുകൾ ഏതൊക്കെ robots.txt ടോക്കണുകൾ ഉപയോഗിക്കുന്നു?
കമ്പനികൾ രേഖപ്പെടുത്തുന്ന ടോക്കണുകൾ ഇവയാണ്. RFC 9309 അനുസരിച്ച് പേര് ഒത്തുനോക്കുന്നത് വലിയക്ഷരവും ചെറിയക്ഷരവും പരിഗണിക്കാതെയാണ്.
- OpenAI:
OAI-SearchBot(ChatGPT സെർച്ച്),GPTBot(പരിശീലനം),ChatGPT-User(ഉപയോക്താവ് ആവശ്യപ്പെടുന്ന സന്ദർശനങ്ങൾ; robots.txt ബാധകമാകണമെന്നില്ലെന്ന് OpenAI പറയുന്നു). - Anthropic:
Claude-SearchBot(സെർച്ച്),ClaudeBot(പരിശീലനം),Claude-User(ഉപയോക്താവ് ആവശ്യപ്പെടുന്ന സന്ദർശനങ്ങൾ). - Perplexity:
PerplexityBot(സെർച്ച്),Perplexity-User(ഉപയോക്താവ് ആവശ്യപ്പെടുന്ന സന്ദർശനങ്ങൾ; ഇത് സാധാരണയായി robots.txt അവഗണിക്കുന്നുവെന്ന് Perplexity പറയുന്നു). - Google:
Googlebot(AI ഫീച്ചറുകൾ ഉൾപ്പെടെ Search),Google-Extended— Gemini പരിശീലനത്തിലും ഗ്രൗണ്ടിംഗിലുമുള്ള ഉപയോഗം നിയന്ത്രിക്കുന്ന, സ്വന്തമായി ക്രോളറില്ലാത്ത ഒരു ടോക്കൺ. - Apple:
Applebot(Spotlight, Siri, Safari സെർച്ച്),Applebot-Extended— ക്രോൾ ചെയ്യുന്നില്ല, പക്ഷേ Apple-ന്റെ ഫൗണ്ടേഷൻ മോഡലുകളുടെ പരിശീലനത്തിനുള്ള ഉപയോഗം നിയന്ത്രിക്കുന്നു. - Meta:
meta-externalagent(പരിശീലനവും ഉൽപ്പന്ന ഇൻഡക്സിംഗും),meta-webindexer(Meta AI സെർച്ച്). - Common Crawl:
CCBot, Common Crawl-ന്റെ സൗജന്യ പൊതു വെബ് ഡാറ്റ ആർക്കൈവ് നിർമ്മിക്കുന്നു.
നല്ല ഒരു AI robots.txt എങ്ങനെയിരിക്കും?
ഈ ഉദാഹരണം AI സെർച്ചിനെയും ഉപയോക്തൃ ഫെച്ചുകളെയും അനുവദിക്കുന്നു, പ്രധാന പരിശീലന ടോക്കണുകളിൽ നിന്ന് ഒഴിവാകുന്നു, ഒരു സ്വകാര്യ ഭാഗം എല്ലാവർക്കും അടച്ചുവെക്കുന്നു:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml തുടർച്ചയായ നിരവധി User-agent വരികൾ ഒരു ഗ്രൂപ്പായി മാറുന്നു, അതിനാൽ അവയ്ക്ക് താഴെയുള്ള നിയമങ്ങൾ ആ ക്രോളറുകളിൽ ഓരോന്നിനും ബാധകമാണ്. നിങ്ങളുടെ ഉള്ളടക്കം പരിശീലനത്തിന് ഉപയോഗിക്കണമെന്ന് നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, രണ്ടാമത്തെ ഗ്രൂപ്പ് ഒഴിവാക്കിയാൽ മതി. Google-Extended തടയുന്നത് Google Search-നെ ബാധിക്കില്ല: Search-ലെ ഉൾപ്പെടുത്തലിനെ അത് ബാധിക്കില്ലെന്നും റാങ്കിംഗ് സിഗ്നലല്ലെന്നും Google പറയുന്നു. അതുപോലെ, Applebot-Extended വിലക്കുന്ന പേജുകൾ അതിന്റെ സെർച്ച് ഫലങ്ങളിൽ തുടർന്നും പ്രത്യക്ഷപ്പെടാമെന്ന് Apple പറയുന്നു.
ഏത് നിയമങ്ങൾ ബാധകമാണെന്ന് ക്രോളറുകൾ എങ്ങനെ തിരഞ്ഞെടുക്കുന്നു?
RFC 9309 ഇത് കൃത്യമായി നിർവചിക്കുന്നു, മിക്ക അപ്രതീക്ഷിത ഫലങ്ങളും ഈ വിശദാംശങ്ങൾ വിശദീകരിക്കുന്നു:
- ഒരു ക്രോളർ അതിന്റെ പ്രോഡക്റ്റ് ടോക്കണുമായി
User-agentപൊരുത്തപ്പെടുന്ന ഗ്രൂപ്പ് തിരയുന്നു, വലിയക്ഷരവും ചെറിയക്ഷരവും പരിഗണിക്കാതെ. നിരവധി ഗ്രൂപ്പുകൾ പൊരുത്തപ്പെട്ടാൽ അവയുടെ നിയമങ്ങൾ ഒന്നായി ചേർക്കുന്നു. - ഒരു ഗ്രൂപ്പും പൊരുത്തപ്പെടുന്നില്ലെങ്കിൽ മാത്രമേ ക്രോളർ
User-agent: *ഗ്രൂപ്പ് പിന്തുടരൂ. പേരുള്ള ഒരു ഗ്രൂപ്പ്*-ൽ നിന്ന് ഒന്നും പാരമ്പര്യമായി എടുക്കുന്നില്ല. - ഗ്രൂപ്പിനുള്ളിൽ, ഏറ്റവും നീളമുള്ള പൊരുത്തപ്പെടുന്ന പാത്തുള്ള നിയമം ജയിക്കുന്നു.
/blog/post-ന്Allow: /blog/Disallow: /-നെ മറികടക്കുന്നു. - ഒരു
Allowനിയമവും ഒരുDisallowനിയമവും തുല്യ നീളത്തിൽ പൊരുത്തപ്പെട്ടാൽ,Allowഉപയോഗിക്കണം. - ഒരു പാത്തിലെ
*ഏത് അക്ഷരങ്ങളുമായും പൊരുത്തപ്പെടുന്നു,$അവസാനം ഉറപ്പിക്കുന്നു, അതിനാൽDisallow: /*.pdf$എല്ലാ PDF-കളെയും ഉൾക്കൊള്ളുന്നു.
ഏറ്റവും സാധാരണമായ robots.txt തെറ്റുകൾ ഏതൊക്കെ?
- പേരുള്ള ഒരു ഗ്രൂപ്പ്
*-ൽ നിന്ന് പാരമ്പര്യമായി എടുക്കുമെന്ന് പ്രതീക്ഷിക്കുന്നത്.Allow: /മാത്രമുള്ളOAI-SearchBotഗ്രൂപ്പ്,*-ന് കീഴിൽ നിങ്ങൾ വിലക്കിയവ ഉൾപ്പെടെ എല്ലാ പാത്തുകളും തുറക്കുന്നു. - ഒരു HTML പേജ് നൽകുന്ന robots.txt വിലാസം, പലപ്പോഴും സ്റ്റാറ്റസ് 200-ഓടെ നൽകുന്ന 404 പേജ്. ക്രോളറുകൾ അതിൽ സാധുവായ നിയമങ്ങളൊന്നും കണ്ടെത്തുന്നില്ല.
- സെർവർ പിശക് നൽകുന്ന robots.txt. അപ്പോൾ സൈറ്റ് മുഴുവൻ വിലക്കപ്പെട്ടതായി ക്രോളർ കണക്കാക്കണമെന്ന് RFC 9309 പറയുന്നു. 404 വ്യത്യസ്തമാണ്: നിയന്ത്രണങ്ങളൊന്നുമില്ല എന്നാണ് അതിനർത്ഥം.
- പരിശീലനം തടയാൻ ഉദ്ദേശിച്ച് ഒരു സെർച്ച് ടോക്കൺ തടയുന്നത്, ഉദാഹരണത്തിന് മോഡൽ പരിശീലനം ഒഴിവാക്കാൻ
PerplexityBotഅല്ലെങ്കിൽClaude-SearchBotവിലക്കുന്നത്. - ഉപയോക്താവ് ആവശ്യപ്പെടുന്ന ഫെച്ചുകൾ തടയാൻ robots.txt-നെ ആശ്രയിക്കുന്നത്. തങ്ങളുടെ ഉപയോക്തൃ ഏജന്റുകൾ അത് പാലിക്കണമെന്നില്ലെന്ന് OpenAI-യും Perplexity-യും പറയുന്നു.
- സബ്ഡൊമെയ്നുകൾ മറക്കുന്നത്. ഓരോ ഹോസ്റ്റിനും സ്വന്തം robots.txt ഉണ്ട്; ഓരോ സബ്ഡൊമെയ്നിനും നിയമങ്ങൾ ചേർക്കാൻ Anthropic-ന്റെ ഡോക്യുമെന്റേഷൻ സൈറ്റ് ഉടമകളെ ഓർമ്മിപ്പിക്കുന്നു.
അനുവദിക്കലിനും വിലക്കലിനും അപ്പുറം ഒരു AI ഉപയോഗ നയം പ്രസ്താവിക്കാനാകുമോ?
മൂന്ന് സിഗ്നലുകളുള്ള ഒരു Content-Signal വരി robots.txt-നായി Cloudflare നിർദ്ദേശിച്ചിട്ടുണ്ട്: search (സെർച്ച് ഇൻഡക്സ് നിർമ്മിക്കുകയും ലിങ്കുകളും ചെറിയ ഉദ്ധരണികളും കാണിക്കുകയും ചെയ്യുക), ai-input (AI ഉത്തരങ്ങൾക്കായി ഉള്ളടക്കം തത്സമയം ഉപയോഗിക്കുക), ai-train (മോഡലുകളെ പരിശീലിപ്പിക്കുകയോ ഫൈൻ-ട്യൂൺ ചെയ്യുകയോ ചെയ്യുക). Cloudflare-ന്റെ മാനേജ്ഡ് robots.txt-ന് ഇത് നിങ്ങൾക്കായി ചേർക്കാനാകും.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt-ലെ എല്ലാത്തിനെയും പോലെ ഇവ മുൻഗണനകളാണ്, സാങ്കേതിക നിയന്ത്രണങ്ങളല്ല. robots.txt പാലിക്കുന്നത് സ്വമേധയാ ആണെന്ന് Cloudflare തന്നെ ചൂണ്ടിക്കാട്ടുന്നു. ഈ വരി ഓപ്ഷണലാണ്, ദോഷമൊന്നും ചെയ്യില്ല, പക്ഷേ മുകളിലുള്ള ഓരോ ക്രോളറിനുമുള്ള ഗ്രൂപ്പുകൾക്ക് പകരമാകില്ല.
മാറ്റങ്ങൾക്ക് എത്ര സമയമെടുക്കും, അവ എങ്ങനെ പരിശോധിക്കാം?
കാഷ് ചെയ്ത robots.txt 24 മണിക്കൂറിലധികം ക്രോളറുകൾ ഉപയോഗിക്കരുതെന്ന് RFC 9309 പറയുന്നു, മാറ്റങ്ങൾ പ്രയോഗിക്കാൻ ഏകദേശം ഒരു ദിവസം എടുത്തേക്കാമെന്ന് OpenAI-യും Perplexity-യും പറയുന്നു. robots.txt ആക്സസ് നിയന്ത്രണമല്ലെന്നും ഓർക്കുക: നിങ്ങളുടെ നിയമങ്ങൾ അനുവദിക്കുന്ന ഒരു ക്രോളറിനെ ഫയർവാളിന് തുടർന്നും തടയാനാകും.
AISeeWhy പരിശോധിക്കുന്ന ഓരോ ക്രോളറിനും RFC 9309 അനുസരിച്ച് നിങ്ങളുടെ robots.txt പാഴ്സ് ചെയ്യുന്നു, എത്താനാകാത്തതോ HTML ആയി നൽകുന്നതോ ആയ ഫയലുകൾ ചൂണ്ടിക്കാട്ടുന്നു, നിങ്ങളുടെ നിയമങ്ങളും സെർവറും എവിടെ വിയോജിക്കുന്നുവെന്ന് കാണിക്കുന്നു, മാറ്റത്തിനായി തയ്യാറായ ഒരു diff നൽകുന്നു.
ഈ പ്രശ്നത്തിനുള്ള പരിഹാരങ്ങൾ
- robots.txt GPTBot-നെ അനുവദിക്കുന്നു, പക്ഷേ സെർവർ അതിനെ തടയുന്നു
- robots.txt OAI-SearchBot-നെ വിലക്കുന്നു
- robots.txt ഒരു HTML പേജാണ്
- robots.txt-ൽ Content-Signal ഇല്ല
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
GPTBot അല്ലെങ്കിൽ ClaudeBot തടയുന്നത് AI ഉത്തരങ്ങളിലെ എന്റെ ദൃശ്യതയെ ബാധിക്കുമോ?
നേരിട്ടല്ല. രണ്ട് കമ്പനികളും സെർച്ചിനായി OAI-SearchBot, Claude-SearchBot എന്നീ പ്രത്യേക സെർച്ച് ക്രോളറുകൾ ഉപയോഗിക്കുന്നു. പരിശീലന ക്രോളറിനെ തടയുന്നത് ഒരു നയപരമായ തീരുമാനമാണ്.
Google-Extended AI Overviews തടയുമോ?
ഇല്ല. Search-ലെ AI ഫീച്ചറുകൾ Googlebot-ഉം nosnippet, noindex പോലുള്ള സാധാരണ Search നിയന്ത്രണങ്ങളും ഉപയോഗിക്കുന്നുവെന്ന് Google പറയുന്നു. Google-Extended മറ്റ് Google ഉൽപ്പന്നങ്ങളിലെ Gemini പരിശീലനവും ഗ്രൗണ്ടിംഗും ഉൾക്കൊള്ളുന്നു, Search-നെ ബാധിക്കുന്നില്ല.
AI ക്രോളറുകൾ Crawl-delay പിന്തുണയ്ക്കുന്നുണ്ടോ?
ഇത് RFC 9309-ന്റെ ഭാഗമല്ല. നിലവാരമില്ലാത്ത ഒരു വിപുലീകരണമായി Crawl-delay പിന്തുണയ്ക്കുന്നുവെന്ന് Anthropic പറയുന്നു; മറ്റ് കമ്പനികൾക്ക് അവയുടെ ഡോക്യുമെന്റേഷൻ പരിശോധിക്കുക.
robots.txt എവിടെയായിരിക്കണം?
ഓരോ ഹോസ്റ്റിന്റെയും റൂട്ടിൽ, ഉദാഹരണത്തിന് https://example.com/robots.txt. ഒരു സബ്ഫോൾഡറിലെ ഫയൽ അവഗണിക്കപ്പെടുന്നു, ഓരോ സബ്ഡൊമെയ്നിനും സ്വന്തം ഫയൽ വേണം.
ഉറവിടങ്ങൾ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ക്രോളറുകളുടെ അവലോകനം
- Google: Google-Extended ഉൾപ്പെടെയുള്ള പൊതു ക്രോളറുകൾ
- Apple: Applebot-നെക്കുറിച്ച്
- Cloudflare: മാനേജ്ഡ് robots.txt-ഉം Content Signals-ഉം