AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
ഒരു പേജ് വിലാസം നൽകുക: ഞങ്ങൾ സൈറ്റിന്റെ robots.txt വായിച്ച്, ഓരോ AI, സെർച്ച് ക്രോളറിനും ആ പേജ് എടുക്കാമോ എന്ന് കാണിക്കും. അല്ലെങ്കിൽ പ്രസിദ്ധീകരിക്കുന്നതിന് മുമ്പ് പരിശോധിക്കാൻ ഒരു robots.txt ഒട്ടിക്കുക.
robots.txt ഒരു അഭ്യർത്ഥന മാത്രമാണ്. robots.txt അനുവദിക്കുന്ന ക്രോളറിനെയും ഒരു ഫയർവാളോ ബോട്ട് സംരക്ഷണമോ തടഞ്ഞേക്കാം; പൂർണ്ണ പരിശോധന അത് പരിശോധിക്കുന്നു. പൂർണ്ണ പരിശോധന നടത്തുക →
നിങ്ങൾ തുറന്നിരിക്കുന്ന പേജിന് ഇതേ പരിശോധന, ഒറ്റ ക്ലിക്കിൽ: AI ക്രോളർ ചെക്കർ ↗
AI ക്രോളറുകൾ robots.txt എങ്ങനെ വായിക്കുന്നു
ഓരോ ക്രോളറും അതിന്റെ ടോക്കൺ (ഉദാഹരണത്തിന് GPTBot അല്ലെങ്കിൽ PerplexityBot) പേരെടുത്ത് പറയുന്ന ഗ്രൂപ്പ് പിന്തുടരുന്നു; അങ്ങനെയൊന്നില്ലെങ്കിൽ മാത്രം User-agent: * പിന്തുടരുന്നു. ഒരു ഗ്രൂപ്പിനുള്ളിൽ ഏറ്റവും നീളമുള്ള പൊരുത്തപ്പെടുന്ന നിയമം ജയിക്കുന്നു, തുല്യമായാൽ Allow ജയിക്കുന്നു. GPTBot, ClaudeBot, Google-Extended പോലുള്ള പരിശീലന ക്രോളറുകളെ തടയുന്നത് നിങ്ങളുടെ ഉള്ളടക്കത്തെ മോഡൽ പരിശീലനത്തിൽ നിന്ന് മാറ്റിനിർത്തുന്നു; OAI-SearchBot, ChatGPT-User, PerplexityBot പോലുള്ള സെർച്ച്, ഉപയോക്തൃ ക്രോളറുകളെ തടയുന്നത് നിങ്ങളുടെ പേജുകളെ AI ഉത്തരങ്ങളിൽ നിന്ന് മാറ്റിനിർത്തുന്നു.
ഗൈഡ്
robots.txt ടെസ്റ്റർ എങ്ങനെ ഉപയോഗിക്കാം
ഈ വാചകം ഇംഗ്ലീഷിൽ നിന്ന് യന്ത്രം ഉപയോഗിച്ച് വിവർത്തനം ചെയ്തതാണ്.
ഈ robots.txt ടെസ്റ്റർ എന്താണ് പരിശോധിക്കുന്നത്
ഒരു പേജിന്റെ വിലാസം നൽകുക. ടെസ്റ്റർ ആ വിലാസത്തിൽ നിന്ന് സ്കീമും ഹോസ്റ്റും എടുത്ത്, ആ ഹോസ്റ്റിന്റെ റൂട്ടിൽ നിന്ന് /robots.txt വായിച്ച്, നിങ്ങളുടെ പേജിന്റെ പാത്തിന് അതിലെ നിയമങ്ങൾ വിലയിരുത്തുന്നു. 16 ക്രോളറുകളിൽ ഓരോന്നിനും ഒരേ ചോദ്യത്തിന് ഉത്തരം നൽകുന്നു: ഈ ക്രോളറിന് ഈ പേജ് എടുക്കാമോ?
ക്രോളറുകളെ അവ ചെയ്യുന്ന ജോലി അനുസരിച്ച് ഗ്രൂപ്പ് ചെയ്തിരിക്കുന്നു. ട്രെയിനിംഗ് ക്രോളറുകൾ AI മോഡലുകൾക്കായി പേജുകൾ ശേഖരിക്കുന്നു: GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent, കൂടാതെ robots.txt-ൽ മാത്രമുള്ള ടോക്കണുകളായ Google-Extended, Applebot-Extended. ഇവ ഒരിക്കലും സ്വയം സന്ദർശിക്കുന്നില്ല, പക്ഷേ ഇതിനകം എടുത്ത പേജുകൾ Google-നും Apple-നും ഉപയോഗിക്കാമോ എന്ന് അറിയിക്കുന്നു. AI ഉത്തരങ്ങളും സെർച്ച് ഫലങ്ങളും ഉദ്ധരിക്കുന്ന ഇൻഡെക്സുകൾ സെർച്ച് ക്രോളറുകൾ നിർമ്മിക്കുന്നു: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot, Applebot. ഒരാൾ ഒരു അസിസ്റ്റന്റിനോട് പേജ് തുറക്കാൻ ആവശ്യപ്പെടുമ്പോൾ യൂസർ ഏജന്റുകൾ അത് എടുക്കുന്നു: ChatGPT-User, Claude-User, Perplexity-User.
വിലാസത്തിന് പകരം ഒരു robots.txt ഒട്ടിക്കാനും കഴിയും. അപ്പോൾ ഒന്നും എടുക്കുന്നില്ല: നിങ്ങൾ ഒട്ടിച്ച വാചകം ടെസ്റ്റർ വിലയിരുത്തുന്നു, അതിനാൽ പ്രസിദ്ധീകരിക്കുന്നതിന് മുമ്പ് ഒരു മാറ്റം പരീക്ഷിക്കാം. ഒട്ടിച്ച വാചകം ഉത്തരം നൽകാൻ മാത്രം ഉപയോഗിക്കുന്നു, സേവ് ചെയ്യുന്നില്ല.
ഫലങ്ങൾ എങ്ങനെ വായിക്കാം
പട്ടികയിൽ ഓരോ ക്രോളറിനും ഒരു വരിയുണ്ട്. നിങ്ങളുടെ പാത്തിന്റെ കോളത്തിൽ അനുവദിച്ചു അല്ലെങ്കിൽ തടഞ്ഞു എന്ന് കാണാം. ഫയലിന്റെ ഏത് ഭാഗമാണ് തീരുമാനിച്ചതെന്ന് അവസാന കോളം പറയുന്നു:
സ്വന്തം ഗ്രൂപ്പ്: ഈ ക്രോളറിന്റെ ടോക്കൺ ഉള്ള ഒരു User-agent വരി ഫയലിലുണ്ട്, അതിന് ആ ഗ്രൂപ്പിലെ നിയമങ്ങൾ മാത്രമേ ബാധകമാകൂ.
User-agent: *: ഒരു ഗ്രൂപ്പും ഈ ക്രോളറിന്റെ പേര് പറയുന്നില്ല, അതിനാൽ അത് എല്ലാവർക്കുമുള്ള ഗ്രൂപ്പ് പിന്തുടരുന്നു.
നിയമമില്ല: ഒരു ഗ്രൂപ്പും ബാധകമല്ല, അതിനാൽ പേജ് അനുവദിക്കപ്പെടുന്നു.
പട്ടികയ്ക്ക് താഴെ ഫയൽ ലിസ്റ്റ് ചെയ്യുന്ന Sitemap വരികളും, ഉണ്ടെങ്കിൽ അതിന്റെ Content-Signal വരിയും കാണാം. വിലാസം ഒരു ടെക്സ്റ്റ് ഫയലിന് പകരം വെബ് പേജ് നൽകിയാലോ ഒരു ഫയലും നൽകിയില്ലെങ്കിലോ ടെസ്റ്റർ അത് പറയും: /robots.txt-ലെ ഒരു HTML പേജിനെ ക്രോളറുകൾ ഫയൽ ഇല്ലാത്തതായി കണക്കാക്കുന്നു.
അനുവദിച്ചു എന്ന് കാണിക്കുന്ന വരിയുടെ അർത്ഥം robots.txt ആ ക്രോളറിനെ തടയുന്നില്ല എന്ന് മാത്രമാണ്. ക്രോളർ സന്ദർശിക്കും എന്ന് അതിന് അർത്ഥമില്ല, നിങ്ങളുടെ ഫയർവാളിനെക്കുറിച്ച് അത് ഒന്നും പറയുന്നില്ല.
ഒരു ക്രോളർ അതിന്റെ നിയമങ്ങൾ എങ്ങനെ തിരഞ്ഞെടുക്കുന്നു
robots.txt മാനദണ്ഡമായ RFC 9309 മൂന്ന് നിയമങ്ങൾ നിശ്ചയിക്കുന്നു, അമ്പരപ്പിക്കുന്ന മിക്കവാറും എല്ലാ ഫലങ്ങളും അവ വിശദീകരിക്കുന്നു. ഒരു ക്രോളർ ആദ്യം വലിയക്ഷരവും ചെറിയക്ഷരവും നോക്കാതെ തന്റെ ടോക്കണുമായി പൊരുത്തപ്പെടുന്ന User-agent ഉള്ള ഗ്രൂപ്പുകൾ തിരയുന്നു. ഒന്ന് കണ്ടെത്തിയാൽ, ആ ഗ്രൂപ്പുകൾ മാത്രം പിന്തുടരുകയും User-agent: * പൂർണ്ണമായി അവഗണിക്കുകയും ചെയ്യുന്നു. തിരഞ്ഞെടുത്ത ഗ്രൂപ്പിൽ, ഏറ്റവും നീളമുള്ള പൊരുത്തപ്പെടുന്ന പാത്ത് ഉള്ള നിയമം ജയിക്കുന്നു, ഒരു Allow-ഉം ഒരു Disallow-ഉം ഒരേ നീളത്തിൽ പൊരുത്തപ്പെട്ടാൽ Allow ജയിക്കുന്നു.
ഈ ഫയലിൽ GPTBot എല്ലാ പേജുകളിൽ നിന്നും തടയപ്പെടുന്നു, കാരണം അതിന് സ്വന്തം ഗ്രൂപ്പുണ്ട്. മറ്റെല്ലാ ക്രോളറുകൾക്കും /private/press/kit.pdf എടുക്കാം, കാരണം Allow: /private/press/ എന്നത് Disallow: /private/-നേക്കാൾ നീളമുള്ളതാണ്, എന്നാൽ /private/notes/-ൽ നിന്ന് അവ തടയപ്പെടുന്നു. രണ്ട് പാത്തുകളും ടെസ്റ്ററിൽ പരീക്ഷിക്കുക, തീരുമാനം ഒരു ഗ്രൂപ്പിൽ നിന്ന് മറ്റൊന്നിലേക്ക് മാറുന്നത് കാണാം.
സാധാരണ തെറ്റുകൾ, ഉദാഹരണങ്ങൾ സഹിതം
ഒന്നിനു താഴെ ഒന്നായുള്ള User-agent വരികൾ ഒരേ ഗ്രൂപ്പ് പങ്കിടുന്നു. User-agent: GPTBot, പിന്നെ User-agent: OAI-SearchBot, പിന്നെ Disallow: / ഉള്ള ഫയൽ രണ്ട് ക്രോളറുകളെയും തടയുന്നു, അതിനാൽ ട്രെയിനിംഗ് മാത്രം നിർത്താൻ ഉദ്ദേശിച്ച സൈറ്റ് ChatGPT സെർച്ചിൽ നിന്നും അപ്രത്യക്ഷമാകുന്നു.
തെറ്റായ OpenAI ടോക്കൺ തടയുന്നത്. GPTBot ട്രെയിനിംഗ് ഡാറ്റ ശേഖരിക്കുന്നു; ChatGPT സെർച്ചിന് നിങ്ങളെ കാണിക്കാനും ഉദ്ധരിക്കാനും കഴിയുമോ എന്ന് OAI-SearchBot തീരുമാനിക്കുന്നു. ട്രെയിനിംഗ് നിർത്താൻ OAI-SearchBot അല്ലെങ്കിൽ ChatGPT-User തടഞ്ഞാൽ, പകരം നിങ്ങൾ ഉത്തരങ്ങളിൽ നിന്ന് പുറത്താകും.
ഒരൊറ്റ അക്ഷരം നിയമം മറിച്ചിടുന്നു. ശേഷം ഒന്നുമില്ലാത്ത Disallow: എല്ലാം അനുവദിക്കുന്നു; Disallow: / എല്ലാം തടയുന്നു.
പാത്തുകളിൽ വലിയക്ഷരവും ചെറിയക്ഷരവും വ്യത്യസ്തമാണ്. Disallow: /Blog/ എന്നത് /blog/ തടയുന്നില്ല.
വൈൽഡ്കാർഡുകൾക്ക് ശ്രദ്ധ വേണം. Disallow: /*.pdf എന്നത് /file.pdf?download=1-ഉം തടയുന്നു; Disallow: /*.pdf$.pdf-ൽ അവസാനിക്കുന്ന വിലാസങ്ങൾ മാത്രം തടയുന്നു.
ഫയൽ തെറ്റായ ഹോസ്റ്റിലാണ്. robots.txt അത് നൽകുന്ന സ്കീമിനും ഹോസ്റ്റിനും മാത്രമേ ബാധകമാകൂ, അതിനാൽ www.example.com, example.com, shop.example.com എന്നിവയ്ക്ക് ഓരോന്നിനും സ്വന്തം ഫയൽ വേണം.
സെർവർ ഒരു എറർ ഉപയോഗിച്ച് മറുപടി നൽകുന്നു. 4xx മറുപടി എന്നാൽ ക്രോളറുകൾക്ക് എല്ലാം എടുക്കാം. 5xx മറുപടിയോ ടൈംഔട്ടോ എന്നാൽ ഫയൽ വീണ്ടും വായിക്കാനാകുന്നത് വരെ എല്ലാം വിലക്കപ്പെട്ടതായി അവ കരുതണം, അതിനാൽ തകരാറിലായ /robots.txt എല്ലാ ക്രോളിംഗും നിർത്തിയേക്കാം.
ക്രോളറുകൾ പാലിക്കാത്ത നിയമങ്ങൾ. Noindex:, Crawl-delay: എന്നിവ RFC 9309-ന്റെ ഭാഗമല്ല, Google രണ്ടും അവഗണിക്കുന്നു.
robots.txt ഒരു പേജിനെ സെർച്ചിൽ നിന്ന് നീക്കം ചെയ്യുമെന്ന് പ്രതീക്ഷിക്കുന്നത്. അത് ക്രോളിംഗ് നിർത്തുന്നു, ഇൻഡെക്സിംഗ് അല്ല: തടഞ്ഞ വിലാസം അതിന്റെ വാചകമില്ലാതെ ലിസ്റ്റിൽ കാണിച്ചേക്കാം. ഒരു പേജ് ഇൻഡെക്സിൽ നിന്ന് ഒഴിവാക്കാൻ, ക്രോളിംഗ് അനുവദിച്ച് noindex മെറ്റാ ടാഗോ ഹെഡറോ ഉപയോഗിക്കുക.
ട്രെയിനിംഗ്, സെർച്ച്, യൂസർ ക്രോളറുകൾ: ഓരോന്നും തടഞ്ഞാൽ എന്ത് സംഭവിക്കും
ഒരു ട്രെയിനിംഗ് ക്രോളർ തടയുന്നത് ഒരു നയപരമായ തീരുമാനമാണ്. അത് നിങ്ങളുടെ പേജുകളെ ഭാവിയിലെ മോഡൽ ട്രെയിനിംഗിൽ നിന്ന് ഒഴിവാക്കുന്നു, ഇന്ന് AI സെർച്ചിന് നിങ്ങളെ ഉദ്ധരിക്കാനാകുമോ എന്നതിനെ ബാധിക്കുന്നില്ല. OAI-SearchBot, Claude-SearchBot, PerplexityBot പോലുള്ള ഒരു സെർച്ച് ക്രോളർ തടഞ്ഞാൽ നിങ്ങളുടെ പേജുകൾ ആ അസിസ്റ്റന്റിന്റെ ഉത്തരങ്ങളിൽ നിന്ന് പുറത്താകും. Googlebot അല്ലെങ്കിൽ Bingbot തടഞ്ഞാൽ ആ സെർച്ച് എഞ്ചിനുകളിൽ നിന്നും അവയിൽ നിർമ്മിച്ച AI ഫീച്ചറുകളിൽ നിന്നും നിങ്ങൾ പുറത്താകും.
ChatGPT-User പോലുള്ള യൂസർ ഏജന്റുകൾ നിങ്ങളുടെ പേജ് ആവശ്യപ്പെട്ട ഒരാൾക്കുവേണ്ടി പ്രവർത്തിക്കുന്നു. അത്തരം അഭ്യർത്ഥനകൾക്ക് ഈ ഏജന്റുകൾ robots.txt പാലിച്ചേക്കില്ലെന്ന് ചില കമ്പനികൾ പറയുന്നു, അതിനാൽ അവയ്ക്കുള്ള നിയമം ഒരു അഭ്യർത്ഥന മാത്രമാണ്, ഉറപ്പല്ല. ട്രെയിനിംഗ് ഓഫും AI സെർച്ച് ഓണും വേണമെങ്കിൽ, ട്രെയിനിംഗ് ടോക്കണുകൾ തടഞ്ഞ് സെർച്ച്, യൂസർ ടോക്കണുകൾ അതേപടി വിടുക.
പ്രസിദ്ധീകരിക്കുന്നതിന് മുമ്പ് പരീക്ഷിക്കുക, പിന്നെ വീണ്ടും പരീക്ഷിക്കുക
നിങ്ങളുടെ ഡ്രാഫ്റ്റ് ടെസ്റ്ററിൽ ഒട്ടിച്ച്, ഒരു പ്രോഡക്റ്റ് അല്ലെങ്കിൽ വില പേജ് പോലുള്ള പ്രധാനപ്പെട്ട പേജിന്റെ പാത്ത് സജ്ജമാക്കി, നിങ്ങൾക്ക് പ്രധാനമായ ഓരോ ക്രോളറിന്റെയും വരി വായിക്കുക. തടയാൻ ഉദ്ദേശിച്ച ഒരു പാത്ത് ഉപയോഗിച്ച് ആവർത്തിക്കുക. ഫലങ്ങൾ നിങ്ങളുടെ ഉദ്ദേശ്യവുമായി പൊരുത്തപ്പെടുമ്പോൾ, ഫയൽ പ്രസിദ്ധീകരിച്ച് ലൈവ് വിലാസം ഉപയോഗിച്ച് ടെസ്റ്റർ വീണ്ടും പ്രവർത്തിപ്പിക്കുക; നിങ്ങൾ എഡിറ്റ് ചെയ്ത ഫയൽ തന്നെയാണ് സെർവർ നൽകുന്നതെന്ന് അത് തെളിയിക്കുന്നു.
ക്രോളറുകൾ robots.txt കാഷെ ചെയ്യുന്നു; ഉദാഹരണത്തിന് Google സാധാരണയായി 24 മണിക്കൂറിനുള്ളിൽ അതിന്റെ കോപ്പി പുതുക്കുന്നു. ഒരു മാറ്റം അവയുടെ പെരുമാറ്റത്തിൽ കാണാൻ ഒരു ദിവസമെടുത്തേക്കാം, Google Search Console-ലെ robots.txt റിപ്പോർട്ട് Google അവസാനമായി എടുത്ത കോപ്പി കാണിക്കുന്നു.
robots.txt ഒരു ക്രോളറിനെ അനുവദിച്ചിട്ടും അത് തടയപ്പെടുമ്പോൾ
robots.txt ഒരു അഭ്യർത്ഥന മാത്രമാണ്. ആളുകൾക്ക് പേജ് ലഭിക്കുമ്പോഴും, ഒരു ഫയർവാളോ ബോട്ട് സംരക്ഷണ സേവനമോ CDN നിയമമോ ഒരു ക്രോളറിന് 403 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് നൽകിയേക്കാം. ടെസ്റ്റർ ഒരു ഫയൽ മാത്രം വായിക്കുന്നതിനാൽ അത് കാണാൻ കഴിയില്ല. പൂർണ്ണ പരിശോധന ഒരു സാധാരണ ബ്രൗസറിനൊപ്പം ഓരോ ക്രോളറിന്റെയും യൂസർ ഏജന്റ് ഉപയോഗിച്ച് നിങ്ങളുടെ പേജ് എടുത്ത്, ഏത് ക്രോളറിനാണ് വ്യത്യസ്ത മറുപടി ലഭിക്കുന്നതെന്ന് HTTP സ്റ്റാറ്റസും ഫയർവാളിന്റെ സിഗ്നേച്ചറും സഹിതം കാണിക്കുന്നു.
പതിവ് ചോദ്യങ്ങൾ
ഇത് Google-ന്റെ robots.txt Tester പോലെയാണോ?
അല്ല. Google അതിന്റെ പ്രത്യേക robots.txt Tester 2023-ൽ നിർത്തലാക്കി; ഇപ്പോൾ Search Console-ലെ robots.txt റിപ്പോർട്ട് Google എടുത്ത ഫയലും പാഴ്സിംഗ് എററുകളും Google-ന്റെ ക്രോളറുകൾക്ക് മാത്രം കാണിക്കുന്നു. ഈ ടെസ്റ്റർ അതേ RFC 9309 നിയമങ്ങൾ ഒരേസമയം 16 AI, സെർച്ച് ക്രോളറുകൾക്ക് ബാധകമാക്കുന്നു.
അനുവദിച്ചു എന്നാൽ ക്രോളർ എന്റെ പേജ് വായിക്കുമെന്നോ ഉദ്ധരിക്കുമെന്നോ അർത്ഥമുണ്ടോ?
ഇല്ല. robots.txt അത് വിലക്കുന്നില്ല എന്ന് മാത്രമാണ് അർത്ഥം. ക്രോളറിന് പേജ് ലഭിക്കുമോ എന്നത് നിങ്ങളുടെ സെർവറിനെയും ഫയർവാളിനെയും ആശ്രയിച്ചിരിക്കുന്നു, ഒരു അസിസ്റ്റന്റ് അത് ഉദ്ധരിക്കുമോ എന്നത് നിങ്ങളുടെ ഉള്ളടക്കത്തെയും ചോദിച്ച ചോദ്യത്തെയും ആശ്രയിച്ചിരിക്കുന്നു.
ഒരു ക്രോളറിന് “നിയമമില്ല” എന്ന് കാണിക്കുന്നത് എന്തുകൊണ്ട്?
നിങ്ങളുടെ ഫയലിൽ അതിന്റെ ടോക്കണിനായി ഗ്രൂപ്പില്ല, User-agent: * ഗ്രൂപ്പുമില്ല, അതിനാൽ അതിന് ഒന്നും ബാധകമല്ല, എല്ലാ പാത്തുകളും അനുവദിക്കപ്പെടുന്നു.
ഇതുവരെ പ്രസിദ്ധീകരിക്കാത്ത ഒരു robots.txt പരീക്ഷിക്കാമോ?
ഉവ്വ്. വാചകം രണ്ടാമത്തെ ഫീൽഡിൽ ഒട്ടിച്ച് പരീക്ഷിക്കേണ്ട പാത്ത് നൽകുക. നിങ്ങളുടെ സൈറ്റിൽ നിന്ന് ഒന്നും എടുക്കുന്നില്ല, ഒട്ടിച്ച വാചകം സേവ് ചെയ്യുന്നുമില്ല.
ടെസ്റ്റർ GPTBot ആയോ മറ്റ് ക്രോളറുകളായോ അഭ്യർത്ഥനകൾ അയയ്ക്കുന്നുണ്ടോ?
ഇല്ല. അത് നിങ്ങളുടെ robots.txt വായിച്ച് നിയമങ്ങൾ ബാധകമാക്കുന്നു, അത്ര മാത്രം. ഓരോ ക്രോളറിനും നിങ്ങളുടെ സെർവറിൽ നിന്ന് യഥാർത്ഥത്തിൽ എന്ത് ലഭിക്കുന്നുവെന്ന് കാണാൻ, പൂർണ്ണ പരിശോധന നടത്തുക.
ഇത് എത്ര തവണ ഉപയോഗിക്കാം?
ഇത് സൗജന്യമാണ്, അക്കൗണ്ട് വേണ്ട. എല്ലാവർക്കും ലഭ്യമാക്കാൻ, ഓരോ നെറ്റ്വർക്കിനും മണിക്കൂറിൽ പരിമിതമായ എണ്ണം ടെസ്റ്റുകൾ മാത്രമേ നടത്താനാകൂ.