ഏതൊക്കെ AI ക്രോളറുകൾക്ക് നിങ്ങളുടെ സൈറ്റ് വായിക്കാമെന്ന് തിരഞ്ഞെടുത്ത് സൃഷ്ടിച്ച robots.txt പകർത്തുക. GPTBot, ClaudeBot പോലുള്ള AI പരിശീലന ക്രോളറുകളെ തടയുകയും OAI-SearchBot, PerplexityBot പോലുള്ള AI സെർച്ച് ക്രോളറുകളെ അനുവദിക്കുകയും ചെയ്യുന്നതാണ് സാധാരണ തിരഞ്ഞെടുപ്പ്; അങ്ങനെ നിങ്ങളുടെ പേജുകൾ AI ഉത്തരങ്ങളിൽ തുടർന്നും പ്രത്യക്ഷപ്പെടുകയും ഉദ്ധരിക്കപ്പെടുകയും ചെയ്യും.
ഉപയോക്താവ് ആവശ്യപ്പെട്ട ഫെച്ചറുകളെ തടയുന്നതിന് പരിമിതമായ ഫലമേയുള്ളൂ: ഒരാൾ പേജ് ആവശ്യപ്പെട്ടതിനാൽ ഈ ഏജന്റുകൾ robots.txt പാലിച്ചേക്കില്ലെന്ന് ചില വെണ്ടർമാർ പറയുന്നു. പ്രസിദ്ധീകരിക്കുന്നതിന് മുമ്പ് robots.txt ചെക്കർ ഉപയോഗിച്ച് ഫലം പരിശോധിക്കുക. AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും →
ഇത് എങ്ങനെ ഉപയോഗിക്കാം
ഫയൽ നിങ്ങളുടെ ഡൊമെയ്നിന്റെ റൂട്ടിൽ വയ്ക്കുക (https://example.com/robots.txt). മറ്റ് ക്രോളറുകൾക്കുള്ള നിയമങ്ങൾ ഇതിനകം ഉണ്ടെങ്കിൽ അവ നിലനിർത്തി AI ഗ്രൂപ്പുകൾ മാത്രം ചേർക്കുക. ഓരോ ക്രോളറും അടുത്ത തവണ ഫയൽ വായിക്കുമ്പോൾ മാറ്റങ്ങൾ പ്രാബല്യത്തിൽ വരും, സാധാരണയായി ഒരു ദിവസത്തിനുള്ളിൽ.
ഈ വാചകം ഇംഗ്ലീഷിൽ നിന്ന് യന്ത്രം ഉപയോഗിച്ച് വിവർത്തനം ചെയ്തതാണ്.
ജനറേറ്റർ എന്താണ് എഴുതുന്നത്
നിങ്ങളുടെ സൈറ്റ് വായിക്കാവുന്ന ക്രോളറുകൾ ടിക്ക് ചെയ്യുക, തടയേണ്ടവ അൺടിക്ക് ചെയ്യുക. ജനറേറ്റർ തടഞ്ഞ ഓരോ ക്രോളറിനും ഒരു ഗ്രൂപ്പ്, User-agent: <token> ശേഷം Disallow: /, പിന്നെ മറ്റെല്ലാം അനുവദിക്കുന്ന ഒരു അവസാന User-agent: * ഗ്രൂപ്പ് എന്നിവയോടെ robots.txt എഴുതുന്നു. ഒരു സൈറ്റ്മാപ്പ് വിലാസം ചേർത്താൽ അത് ഒരു Sitemap വരി ചേർക്കുന്നു. Content-Signal ഓപ്ഷനുകൾ ടിക്ക് ചെയ്താൽ, നിങ്ങളുടെ ഉള്ളടക്കം എങ്ങനെ ഉപയോഗിക്കാമെന്ന് പറയുന്ന ഒരു Content-Signal വരി ചേർക്കുന്നു.
നിങ്ങളുടെ ബ്രൗസറിൽ നിന്ന് ഒന്നും പുറത്തുപോകുന്നില്ല: നിങ്ങൾ ക്ലിക്ക് ചെയ്യുമ്പോൾ തന്നെ ഫയൽ പേജിൽ നിർമ്മിക്കപ്പെടുന്നു, ഔട്ട്പുട്ട് ബോക്സിൽ നിന്ന് നിങ്ങൾ അത് പകർത്തുന്നു.
ഏത് പ്രീസെറ്റിൽ നിന്ന് തുടങ്ങണം
എല്ലാം അനുവദിക്കുക: ഓരോ ക്രോളറിനും ഓരോ പേജും വായിക്കാം. കണ്ടെത്തപ്പെടാനും ഉദ്ധരിക്കപ്പെടാനും ആഗ്രഹിക്കുന്ന മിക്ക സൈറ്റുകൾക്കും ഇതാണ് ശരി.
ട്രെയിനിംഗ് തടയുക, AI സെർച്ച് അനുവദിക്കുക: GPTBot, ClaudeBot, CCBot, Google-Extended പോലുള്ള ട്രെയിനിംഗ് ക്രോളറുകൾ തടയപ്പെടുന്നു; OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User പോലുള്ള സെർച്ച്, യൂസർ ക്രോളറുകൾ അനുവദിക്കപ്പെടുന്നു. നിങ്ങളുടെ പേജുകൾ AI ഉത്തരങ്ങളിൽ ഇപ്പോഴും പ്രത്യക്ഷപ്പെടാനും ഉദ്ധരിക്കപ്പെടാനും കഴിയും.
എല്ലാ AI ക്രോളറുകളും തടയുക: ലിസ്റ്റിലെ ഓരോ AI ക്രോളറും തടയപ്പെടുന്നു. ആ ക്രോളറുകൾ AI ഉത്തരങ്ങൾക്കായി നിങ്ങളുടെ പേജുകൾ എടുക്കില്ല, സാധാരണയായി അതിനർത്ഥം അസിസ്റ്റന്റുകളിൽ നിന്ന് കുറഞ്ഞ ഉദ്ധരണികളും കുറഞ്ഞ ട്രാഫിക്കും എന്നാണ്.
ഒരു ഉദാഹരണം: ട്രെയിനിംഗ് തടയുക, AI സെർച്ച് അനുവദിക്കുക
തടഞ്ഞ ഓരോ ക്രോളറിനും സ്വന്തം ഗ്രൂപ്പുണ്ട്, അതിനാൽ അതിന്റെ Disallow: / അതിന് മാത്രം ബാധകമാണ്. OAI-SearchBot, Googlebot ഉൾപ്പെടെ മറ്റെല്ലാ ക്രോളറുകളും User-agent: *-ലേക്ക് എത്തുകയും എല്ലാം വായിക്കുകയും ചെയ്യാം. Content-Signal വരി അത് വായിക്കുന്ന ക്രോളറുകൾക്കായി അതേ ഉദ്ദേശ്യം ആവർത്തിക്കുന്നു: സെർച്ചും തത്സമയ ഉത്തരങ്ങളും അതെ, ട്രെയിനിംഗ് ഇല്ല.
ലയിപ്പിക്കുക, മാറ്റിസ്ഥാപിക്കരുത്. നിങ്ങളുടെ നിലവിലെ robots.txt-ൽ അഡ്മിൻ ഭാഗങ്ങൾ, കാർട്ടുകൾ അല്ലെങ്കിൽ സെർച്ച് പേജുകൾക്കുള്ള നിയമങ്ങൾ ഉണ്ടെങ്കിൽ, അവ പുതിയ ഫയലിലെ User-agent: * ഗ്രൂപ്പിലേക്ക് പകർത്തുക, അല്ലെങ്കിൽ ആ ഭാഗങ്ങൾ എല്ലാ ക്രോളറുകൾക്കും തുറന്നുകൊടുക്കും.
ഓരോ ഹോസ്റ്റിന്റെയും റൂട്ടിൽ ഫയൽ വയ്ക്കുക: https://example.com/robots.txt. ഒരു സബ്ഡൊമെയ്നിന് സ്വന്തം ഫയൽ വേണം.
സ്റ്റാറ്റസ് 200 സഹിതം പ്ലെയിൻ ടെക്സ്റ്റായി നൽകുക. ആ വിലാസത്തിലെ ഒരു HTML പേജോ എററോ robots.txt ആയി പ്രവർത്തിക്കില്ല.
ഫലം robots.txt ടെസ്റ്ററിൽ ഒട്ടിച്ച് നിങ്ങൾക്ക് പ്രധാനമായ ക്രോളറുകൾക്കായി ചില യഥാർത്ഥ പാത്തുകൾ പരിശോധിക്കുക.
robots.txt ഒരു അഭ്യർത്ഥനയാണെന്ന് ഓർക്കുക. നിങ്ങൾ അനുവദിക്കുന്ന ഒരു ക്രോളറിനെ ഫയർവാൾ തടഞ്ഞാൽ, ഫയലിന് അത് പരിഹരിക്കാനാവില്ല; പൂർണ്ണ പരിശോധന അത് കാണിക്കുന്നു.
സാധാരണ തെറ്റുകൾ
ട്രെയിനിംഗ് നിർത്താൻ OAI-SearchBot അല്ലെങ്കിൽ PerplexityBot തടയുന്നത്. അവ സെർച്ച് ക്രോളറുകളാണ്; അവയെ തടഞ്ഞാൽ നിങ്ങൾ ഉത്തരങ്ങളിൽ നിന്ന് പുറത്താകും.
അവയിൽ ഒന്നിനെ മാത്രം തടയാൻ ഉദ്ദേശിച്ച്, ഒരു Disallow: /-ന് മുകളിൽ പല User-agent വരികൾ എഴുതുന്നത്: ഒന്നിനു താഴെ ഒന്നായുള്ള വരികൾ ഒരു ഗ്രൂപ്പാകുന്നു.
ChatGPT-User പോലുള്ള ഉപയോക്താവ് അഭ്യർത്ഥിച്ച ഫെച്ചറുകൾ തടയൽ പാലിക്കുമെന്ന് പ്രതീക്ഷിക്കുന്നത്. ഒരാൾ പേജ് ആവശ്യപ്പെടുമ്പോൾ ഈ ഏജന്റുകൾ robots.txt പാലിച്ചേക്കില്ലെന്ന് ചില കമ്പനികൾ പറയുന്നു.
Crawl-delay അല്ലെങ്കിൽ Noindex വരികൾ ചേർക്കുന്നത്. അവ RFC 9309-ന്റെ ഭാഗമല്ല, Google രണ്ടും അവഗണിക്കുന്നു.
പതിവ് ചോദ്യങ്ങൾ
GPTBot തടഞ്ഞാൽ എന്റെ സൈറ്റ് ChatGPT-യിൽ നിന്ന് നീക്കം ചെയ്യപ്പെടുമോ?
ഇല്ല. GPTBot ട്രെയിനിംഗ് ഡാറ്റ ശേഖരിക്കുന്നു. ChatGPT സെർച്ച് OAI-SearchBot ഉപയോഗിക്കുന്നു, ChatGPT-User ആളുകൾ ആവശ്യപ്പെടുന്ന പേജുകൾ തുറക്കുന്നു. ഉദ്ധരിക്കപ്പെടണമെങ്കിൽ അവ അനുവദിച്ചുതന്നെ വയ്ക്കുക.
Content-Signal എന്താണ്?
നിങ്ങളുടെ ഉള്ളടക്കം എങ്ങനെ ഉപയോഗിക്കാമെന്ന് പറയുന്ന robots.txt-ലെ ഒരു വരി: search, ai-input (തത്സമയ ഉത്തരങ്ങൾ), ai-train (ട്രെയിനിംഗ്), ഓരോന്നും yes അല്ലെങ്കിൽ no. പിന്തുണ കമ്പനി അനുസരിച്ച് വ്യത്യാസപ്പെടുന്നു; ക്രോളറുകൾ പാലിക്കുന്ന നിയമം ക്രോളർ-നിർദ്ദിഷ്ട ഗ്രൂപ്പുകൾ തന്നെയാണ്.
Google-Extended, Google Search-നെ ബാധിക്കുമോ?
ഇല്ല. ഇത് robots.txt-ൽ മാത്രമുള്ള ഒരു ടോക്കണാണ്, Google-ന് നിങ്ങളുടെ പേജുകൾ അതിന്റെ AI മോഡലുകൾക്ക് ഉപയോഗിക്കാമോ എന്ന് നിയന്ത്രിക്കുന്നു; Google Search-ലെ ക്രോളിംഗോ റാങ്കിംഗോ മാറ്റുന്നില്ല.
എന്റെ തിരഞ്ഞെടുപ്പ് എവിടേക്കെങ്കിലും അയയ്ക്കുന്നുണ്ടോ?
ഇല്ല. ജനറേറ്റർ നിങ്ങളുടെ ബ്രൗസറിൽ പ്രവർത്തിക്കുന്നു, ഫയൽ പരീക്ഷിക്കാൻ നിങ്ങൾ തിരഞ്ഞെടുക്കുന്നത് വരെ ഞങ്ങളുടെ സെർവറിലേക്ക് ഒന്നും അയയ്ക്കുന്നില്ല.