AI ക്രോളറുകൾക്കുള്ള robots.txt: എന്ത് അനുവദിക്കണം, എന്ത് തടയണം

പ്രസിദ്ധീകരിച്ചത്

ചുരുക്കത്തിൽ

നിങ്ങൾക്ക് പ്രധാനമായ ഓരോ AI ക്രോളറിനും സ്വന്തം User-agent ഗ്രൂപ്പ് നൽകുക. ഉദ്ധരിക്കപ്പെടണമെങ്കിൽ OAI-SearchBot, Claude-SearchBot, PerplexityBot പോലുള്ള സെർച്ച് ക്രോളറുകളെ അനുവദിക്കുക, GPTBot, ClaudeBot, Google-Extended, Applebot-Extended പോലുള്ള പരിശീലന ടോക്കണുകളെക്കുറിച്ച് വെവ്വേറെ തീരുമാനിക്കുക. പേരുള്ള ഒരു ഗ്രൂപ്പ് ആ ക്രോളറിന് * ഗ്രൂപ്പിനെ മാറ്റിസ്ഥാപിക്കുന്നു.

1994 മുതലുള്ളതും 2022-ൽ RFC 9309 എന്ന ഔദ്യോഗിക മാനദണ്ഡമായി മാറിയതുമായ ഒരു സാധാരണ ടെക്സ്റ്റ് ഫയലാണ് robots.txt. തങ്ങളുടെ ക്രോളറുകൾ ഇത് പാലിക്കുന്നുവെന്ന് മിക്ക AI കമ്പനികളും പറയുന്നു, പലതും സെർച്ചിനും പരിശീലനത്തിനും വെവ്വേറെ ടോക്കണുകൾ പ്രസിദ്ധീകരിക്കുന്നു. അതിനാൽ ഒരു AI നയം പ്രസ്താവിക്കാനുള്ള ഏറ്റവും ലളിതമായ സ്ഥലം robots.txt ആണ്, നിയമങ്ങൾ നിങ്ങൾ കരുതുന്നത് തന്നെയാണ് അർത്ഥമാക്കുന്നതെങ്കിൽ.

ഈ പേജിൽ
  1. AI ക്രോളറുകൾ ഏതൊക്കെ robots.txt ടോക്കണുകൾ ഉപയോഗിക്കുന്നു?
  2. നല്ല ഒരു AI robots.txt എങ്ങനെയിരിക്കും?
  3. ഏത് നിയമങ്ങൾ ബാധകമാണെന്ന് ക്രോളറുകൾ എങ്ങനെ തിരഞ്ഞെടുക്കുന്നു?
  4. ഏറ്റവും സാധാരണമായ robots.txt തെറ്റുകൾ ഏതൊക്കെ?
  5. അനുവദിക്കലിനും വിലക്കലിനും അപ്പുറം ഒരു AI ഉപയോഗ നയം പ്രസ്താവിക്കാനാകുമോ?
  6. മാറ്റങ്ങൾക്ക് എത്ര സമയമെടുക്കും, അവ എങ്ങനെ പരിശോധിക്കാം?

AI ക്രോളറുകൾ ഏതൊക്കെ robots.txt ടോക്കണുകൾ ഉപയോഗിക്കുന്നു?

കമ്പനികൾ രേഖപ്പെടുത്തുന്ന ടോക്കണുകൾ ഇവയാണ്. RFC 9309 അനുസരിച്ച് പേര് ഒത്തുനോക്കുന്നത് വലിയക്ഷരവും ചെറിയക്ഷരവും പരിഗണിക്കാതെയാണ്.

നല്ല ഒരു AI robots.txt എങ്ങനെയിരിക്കും?

ഈ ഉദാഹരണം AI സെർച്ചിനെയും ഉപയോക്തൃ ഫെച്ചുകളെയും അനുവദിക്കുന്നു, പ്രധാന പരിശീലന ടോക്കണുകളിൽ നിന്ന് ഒഴിവാകുന്നു, ഒരു സ്വകാര്യ ഭാഗം എല്ലാവർക്കും അടച്ചുവെക്കുന്നു:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

തുടർച്ചയായ നിരവധി User-agent വരികൾ ഒരു ഗ്രൂപ്പായി മാറുന്നു, അതിനാൽ അവയ്ക്ക് താഴെയുള്ള നിയമങ്ങൾ ആ ക്രോളറുകളിൽ ഓരോന്നിനും ബാധകമാണ്. നിങ്ങളുടെ ഉള്ളടക്കം പരിശീലനത്തിന് ഉപയോഗിക്കണമെന്ന് നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, രണ്ടാമത്തെ ഗ്രൂപ്പ് ഒഴിവാക്കിയാൽ മതി. Google-Extended തടയുന്നത് Google Search-നെ ബാധിക്കില്ല: Search-ലെ ഉൾപ്പെടുത്തലിനെ അത് ബാധിക്കില്ലെന്നും റാങ്കിംഗ് സിഗ്നലല്ലെന്നും Google പറയുന്നു. അതുപോലെ, Applebot-Extended വിലക്കുന്ന പേജുകൾ അതിന്റെ സെർച്ച് ഫലങ്ങളിൽ തുടർന്നും പ്രത്യക്ഷപ്പെടാമെന്ന് Apple പറയുന്നു.

ഏത് നിയമങ്ങൾ ബാധകമാണെന്ന് ക്രോളറുകൾ എങ്ങനെ തിരഞ്ഞെടുക്കുന്നു?

RFC 9309 ഇത് കൃത്യമായി നിർവചിക്കുന്നു, മിക്ക അപ്രതീക്ഷിത ഫലങ്ങളും ഈ വിശദാംശങ്ങൾ വിശദീകരിക്കുന്നു:

ഏറ്റവും സാധാരണമായ robots.txt തെറ്റുകൾ ഏതൊക്കെ?

അനുവദിക്കലിനും വിലക്കലിനും അപ്പുറം ഒരു AI ഉപയോഗ നയം പ്രസ്താവിക്കാനാകുമോ?

മൂന്ന് സിഗ്നലുകളുള്ള ഒരു Content-Signal വരി robots.txt-നായി Cloudflare നിർദ്ദേശിച്ചിട്ടുണ്ട്: search (സെർച്ച് ഇൻഡക്സ് നിർമ്മിക്കുകയും ലിങ്കുകളും ചെറിയ ഉദ്ധരണികളും കാണിക്കുകയും ചെയ്യുക), ai-input (AI ഉത്തരങ്ങൾക്കായി ഉള്ളടക്കം തത്സമയം ഉപയോഗിക്കുക), ai-train (മോഡലുകളെ പരിശീലിപ്പിക്കുകയോ ഫൈൻ-ട്യൂൺ ചെയ്യുകയോ ചെയ്യുക). Cloudflare-ന്റെ മാനേജ്ഡ് robots.txt-ന് ഇത് നിങ്ങൾക്കായി ചേർക്കാനാകും.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt-ലെ എല്ലാത്തിനെയും പോലെ ഇവ മുൻഗണനകളാണ്, സാങ്കേതിക നിയന്ത്രണങ്ങളല്ല. robots.txt പാലിക്കുന്നത് സ്വമേധയാ ആണെന്ന് Cloudflare തന്നെ ചൂണ്ടിക്കാട്ടുന്നു. ഈ വരി ഓപ്ഷണലാണ്, ദോഷമൊന്നും ചെയ്യില്ല, പക്ഷേ മുകളിലുള്ള ഓരോ ക്രോളറിനുമുള്ള ഗ്രൂപ്പുകൾക്ക് പകരമാകില്ല.

മാറ്റങ്ങൾക്ക് എത്ര സമയമെടുക്കും, അവ എങ്ങനെ പരിശോധിക്കാം?

കാഷ് ചെയ്ത robots.txt 24 മണിക്കൂറിലധികം ക്രോളറുകൾ ഉപയോഗിക്കരുതെന്ന് RFC 9309 പറയുന്നു, മാറ്റങ്ങൾ പ്രയോഗിക്കാൻ ഏകദേശം ഒരു ദിവസം എടുത്തേക്കാമെന്ന് OpenAI-യും Perplexity-യും പറയുന്നു. robots.txt ആക്‌സസ് നിയന്ത്രണമല്ലെന്നും ഓർക്കുക: നിങ്ങളുടെ നിയമങ്ങൾ അനുവദിക്കുന്ന ഒരു ക്രോളറിനെ ഫയർവാളിന് തുടർന്നും തടയാനാകും.

AISeeWhy പരിശോധിക്കുന്ന ഓരോ ക്രോളറിനും RFC 9309 അനുസരിച്ച് നിങ്ങളുടെ robots.txt പാഴ്സ് ചെയ്യുന്നു, എത്താനാകാത്തതോ HTML ആയി നൽകുന്നതോ ആയ ഫയലുകൾ ചൂണ്ടിക്കാട്ടുന്നു, നിങ്ങളുടെ നിയമങ്ങളും സെർവറും എവിടെ വിയോജിക്കുന്നുവെന്ന് കാണിക്കുന്നു, മാറ്റത്തിനായി തയ്യാറായ ഒരു diff നൽകുന്നു.

ഈ പ്രശ്നത്തിനുള്ള പരിഹാരങ്ങൾ

സൗജന്യ ടൂളുകൾ

അടുത്ത ഘട്ടങ്ങൾ

ഈ ലേഖനത്തിലെ ക്രോളറുകൾ

പതിവ് ചോദ്യങ്ങൾ

GPTBot അല്ലെങ്കിൽ ClaudeBot തടയുന്നത് AI ഉത്തരങ്ങളിലെ എന്റെ ദൃശ്യതയെ ബാധിക്കുമോ?

നേരിട്ടല്ല. രണ്ട് കമ്പനികളും സെർച്ചിനായി OAI-SearchBot, Claude-SearchBot എന്നീ പ്രത്യേക സെർച്ച് ക്രോളറുകൾ ഉപയോഗിക്കുന്നു. പരിശീലന ക്രോളറിനെ തടയുന്നത് ഒരു നയപരമായ തീരുമാനമാണ്.

Google-Extended AI Overviews തടയുമോ?

ഇല്ല. Search-ലെ AI ഫീച്ചറുകൾ Googlebot-ഉം nosnippet, noindex പോലുള്ള സാധാരണ Search നിയന്ത്രണങ്ങളും ഉപയോഗിക്കുന്നുവെന്ന് Google പറയുന്നു. Google-Extended മറ്റ് Google ഉൽപ്പന്നങ്ങളിലെ Gemini പരിശീലനവും ഗ്രൗണ്ടിംഗും ഉൾക്കൊള്ളുന്നു, Search-നെ ബാധിക്കുന്നില്ല.

AI ക്രോളറുകൾ Crawl-delay പിന്തുണയ്ക്കുന്നുണ്ടോ?

ഇത് RFC 9309-ന്റെ ഭാഗമല്ല. നിലവാരമില്ലാത്ത ഒരു വിപുലീകരണമായി Crawl-delay പിന്തുണയ്ക്കുന്നുവെന്ന് Anthropic പറയുന്നു; മറ്റ് കമ്പനികൾക്ക് അവയുടെ ഡോക്യുമെന്റേഷൻ പരിശോധിക്കുക.

robots.txt എവിടെയായിരിക്കണം?

ഓരോ ഹോസ്റ്റിന്റെയും റൂട്ടിൽ, ഉദാഹരണത്തിന് https://example.com/robots.txt. ഒരു സബ്ഫോൾഡറിലെ ഫയൽ അവഗണിക്കപ്പെടുന്നു, ഓരോ സബ്ഡൊമെയ്‌നിനും സ്വന്തം ഫയൽ വേണം.

ഉറവിടങ്ങൾ

കൂടുതൽ ലേഖനങ്ങൾ