ഏറ്റവും ജനപ്രിയമായ 10,000 സൈറ്റുകളുടെ robots.txt ഞങ്ങൾ വായിച്ചു. AI ക്രാളറുകളുടെ കാര്യത്തിൽ അവർ ചെയ്യുന്നത് ഇതാണ്
Tranco ടോപ് 10,000-ലെ robots.txt നൽകുന്ന 6,192 ഡൊമെയ്നുകളിൽ, 23.2% കുറഞ്ഞത് ഒരു AI ട്രെയിനിങ് ക്രാളറെയും 12.3% കുറഞ്ഞത് ഒരു AI സെർച്ച് അല്ലെങ്കിൽ യൂസർ ക്രാളറെയും തടയുന്നു. ട്രെയിനിങ് തടയുന്ന സൈറ്റുകളിൽ 51.6% AI സെർച്ചും തടയുന്നു. ട്രെയിനിങ്ങിൽ നിന്ന് ഒഴിവാകുകയും എല്ലാ AI സെർച്ച് ക്രാളറുകളെയും അനുവദിക്കുകയും ചെയ്യുന്നത് 11.2% മാത്രമാണ്.
നവംബറിൽ ഏറ്റവും ജനപ്രിയമായ 1,000 ഡൊമെയ്നുകളുടെ robots.txt ഞങ്ങൾ വായിച്ചിരുന്നു. ഇത്തവണ അതേ രീതിയിൽ 10,000 എണ്ണം വായിച്ചു, സൈറ്റുകൾ ചെറുതാകുമ്പോൾ ചിത്രം എങ്ങനെ മാറുന്നു എന്ന പരിശോധനയും ചേർത്തു. പ്രധാന നിഗമനം മാറുന്നില്ല: ട്രെയിനിങ് തടയുന്നതും സെർച്ച് തടയുന്നതും രണ്ട് വ്യത്യസ്ത കാര്യങ്ങളാണെങ്കിലും ഒറ്റ തീരുമാനമായാണ് കണക്കാക്കപ്പെടുന്നത്.
ഈ പേജിൽ
ഞങ്ങൾ ഇത് എങ്ങനെ അളന്നു?
Tranco ലിസ്റ്റിലെ (ലിസ്റ്റ് ID JZWZY) ആദ്യ 10,000 ഡൊമെയ്നുകൾ എടുത്ത്, 2026 നവംബർ 21-ന് AISeeWhy-യുടെ സ്വന്തം user agent ഉപയോഗിച്ച് ഓരോ ഡൊമെയ്നിന്റെയും ഹോം പേജ്, robots.txt, llms.txt എന്നിവ ഒരു തവണ എടുത്തു. ഓരോ robots.txt-ഉം RFC 9309 പ്രകാരം ഹോം പേജിനും (/) 16 AI, സെർച്ച് ക്രാളറുകൾക്കും വിലയിരുത്തി.
10,000 ഡൊമെയ്നുകളിൽ 6,192 എണ്ണം robots.txt നൽകി (HTML പേജ് അല്ലാത്ത വിജയകരമായ മറുപടി). 1,121 എണ്ണം 4xx മറുപടി നൽകി, അതായത് നിയമങ്ങളില്ല, എല്ലാ ക്രാളറുകളെയും അനുവദിക്കുന്നു. 2,687 എണ്ണം നൽകിയില്ല (HTTPS സൈറ്റ് ഇല്ല, പിശകുകൾ, ടൈംഔട്ടുകൾ, അല്ലെങ്കിൽ പകരം ഒരു HTML പേജ്). താഴെയുള്ള എല്ലാ ശതമാനങ്ങളും 6,192-ന്റെ ശതമാനമാണ്. ലിസ്റ്റിൽ വെബ്സൈറ്റ് ഇല്ലാത്ത CDN-കളും API-കളും ഉൾപ്പെടുന്നു.
ഞങ്ങൾ എന്താണ് കണ്ടെത്തിയത്?
- 23.2% (1,437 ഡൊമെയ്നുകൾ) കുറഞ്ഞത് ഒരു AI ട്രെയിനിങ് ക്രാളറെ തടയുന്നു.
- 12.3% (762) കുറഞ്ഞത് ഒരു AI സെർച്ച് അല്ലെങ്കിൽ യൂസർ ക്രാളറെ തടയുന്നു, അതായത് അതിനെ ആശ്രയിക്കുന്ന ഉത്തരങ്ങളിൽ ആ പേജുകൾ ഉപയോഗിക്കുകയോ ഉദ്ധരിക്കുകയോ ചെയ്യരുത്.
- ട്രെയിനിങ് ക്രാളറെ തടയുന്ന ഡൊമെയ്നുകളിൽ 51.6% (1,437-ൽ 742) കുറഞ്ഞത് ഒരു AI സെർച്ച് അല്ലെങ്കിൽ യൂസർ ക്രാളറെയും തടയുന്നു.
- 11.2% (695) മാത്രമാണ് തിരഞ്ഞെടുത്ത വഴി സ്വീകരിക്കുന്നത്: ട്രെയിനിങ് ക്രാളറുകളെ തടയുകയും എല്ലാ AI സെർച്ച്, യൂസർ ക്രാളറുകളെയും അനുവദിക്കുകയും ചെയ്യുന്നു.
- 6.5% (401) അവരുടെ AI മുൻഗണനകൾ
Content-Signalഉപയോഗിച്ച് വ്യക്തമാക്കുന്നു. - എല്ലാ 10,000 ഡൊമെയ്നുകളിലും 12.4% (1,240)
llms.txtപ്രസിദ്ധീകരിക്കുന്നു. - താരതമ്യത്തിന്: 2.0% (124) ഹോം പേജിൽ
Googlebot-നെ തടയുന്നു.
ഏതൊക്കെ ക്രാളറുകളെയാണ് ഏറ്റവും കൂടുതൽ തടയുന്നത്?
ആ ക്രാളറിന് ഹോം പേജ് അനുവദിക്കാത്ത robots.txt ഉള്ള 6,192 ഡൊമെയ്നുകളുടെ ശതമാനം:
- ട്രെയിനിങ്, സ്ക്രാപ്പർ ക്രാളറുകൾ:
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%. - മറ്റ് ട്രെയിനിങ് ടോക്കണുകൾ:
Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%. PerplexityBot10.4% ആണ് ഏറ്റവും കൂടുതൽ തടയപ്പെടുന്ന AI സെർച്ച് ക്രാളർ,OAI-SearchBot7.0%,Claude-SearchBot7.0% എന്നിവയ്ക്ക് മുന്നിൽ.- ഒരാൾ ചോദിക്കുമ്പോൾ പേജ് തുറക്കുന്ന ക്രാളറുകൾ:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%.
വലിയ സൈറ്റുകൾ കൂടുതൽ തടയുന്നുണ്ടോ?
അതെ, ട്രെയിനിങ്ങും സെർച്ചും അവർ കൂടുതൽ തവണ കൂട്ടിക്കലർത്തുകയും ചെയ്യുന്നു. ഞങ്ങൾ ലിസ്റ്റിനെ റാങ്ക് അനുസരിച്ച് വിഭജിച്ചു:
- റാങ്ക് 1 മുതൽ 1,000 വരെ (robots.txt ഉള്ള 560 ഡൊമെയ്നുകൾ): 28.6% ട്രെയിനിങ് തടയുന്നു, 18.6% AI സെർച്ച് തടയുന്നു, ട്രെയിനിങ് തടയുന്നവരിൽ 63.1% AI സെർച്ചും തടയുന്നു.
- റാങ്ക് 1,001 മുതൽ 3,000 വരെ (1,256 ഡൊമെയ്നുകൾ): 23.5%, 13.5%, 55.6%.
- റാങ്ക് 3,001 മുതൽ 10,000 വരെ (4,376 ഡൊമെയ്നുകൾ): 22.4%, 11.2%, 48.6%.
എല്ലാ വലുപ്പത്തിലും തിരഞ്ഞെടുത്ത വഴി അപൂർവമാണ്: മൂന്ന് ഗ്രൂപ്പുകളിലെയും ഡൊമെയ്നുകളിൽ 10.5%, 10.4%, 11.5%.
നവംബർ 12-ലെ ഞങ്ങളുടെ റിപ്പോർട്ടിന് ശേഷം എന്തെങ്കിലും മാറിയോ?
അതേ ലിസ്റ്റ് ഉപയോഗിച്ച് ആദ്യ 1,000 ഡൊമെയ്നുകൾ ഞങ്ങൾ വീണ്ടും പരിശോധിച്ചു. ഫലം ഏകദേശം ഒരു പോയിന്റിനുള്ളിൽ സ്ഥിരമാണ്: 28.6% ട്രെയിനിങ് തടയുന്നു (നവംബർ 12-ന് 29.9%), 18.6% AI സെർച്ച് തടയുന്നു (19.5%), ട്രെയിനിങ് തടയുന്നവരിൽ 63.1% AI സെർച്ചും തടയുന്നു (63.2%). ഡിനോമിനേറ്ററുകൾ അല്പം വ്യത്യസ്തമാണ് (ഇപ്പോൾ robots.txt ഉള്ള 560 ഡൊമെയ്നുകൾ, അന്ന് 518), കാരണം ഈ തവണ എടുക്കുന്നതിന് മുമ്പ് ഡൊമെയ്നിന്റെ റീഡയറക്ട് പിന്തുടർന്ന് പ്രധാന ഹോസ്റ്റിലേക്ക് പോകുന്നു.
നിങ്ങളുടെ robots.txt-ന് ഇത് എന്താണ് അർഥമാക്കുന്നത്?
മിക്ക AI കമ്പനികളും ട്രെയിനിങ്ങിനും സെർച്ചിനും വെവ്വേറെ ക്രാളറുകൾ രേഖപ്പെടുത്തുകയും ക്രമീകരണങ്ങൾ സ്വതന്ത്രമാണെന്ന് പറയുകയും ചെയ്യുന്നു. GPTBot അനുവദിക്കാതിരുന്നാൽ OAI-SearchBot-നെ ബാധിക്കില്ല, ClaudeBot അനുവദിക്കാതിരുന്നാൽ Claude-SearchBot-നെയും ബാധിക്കില്ല. ട്രെയിനിങ്ങിൽ നിന്ന് ഒഴിവാകുകയും എന്നിട്ടും ഉദ്ധരിക്കപ്പെടുകയും വേണമെങ്കിൽ, ട്രെയിനിങ് ടോക്കണുകൾ തടയുകയും സെർച്ച്, യൂസർ ടോക്കണുകൾ അനുവദിക്കുകയും ചെയ്യുക. സ്വകാര്യ പാത്തുകൾ ഓരോ ഗ്രൂപ്പിലും ആവർത്തിക്കുക, കാരണം പേരുള്ള ഒരു ഗ്രൂപ്പ് *-ൽ നിന്ന് അനന്തരമായി ഒന്നും എടുക്കുന്നില്ല.
ഈ സംഖ്യകൾ എത്ര വിശ്വസനീയമാണ്?
ഇവ ഒരു പാഴ്സർ ഉപയോഗിച്ച് ഒരു ദിവസം വായിച്ച, ഹോം പേജിനുള്ള robots.txt നിയമങ്ങളാണ്. robots.txt അനുവദിക്കുന്ന ക്രാളറെപ്പോലും നിരസിക്കാൻ കഴിയുന്ന ഫയർവാൾ തടയലുകൾ ഇത് അളക്കുന്നില്ല. ഓരോ സൈറ്റും എന്താണ് ഉദ്ദേശിച്ചത് എന്ന് ഇതിൽ നിന്ന് പറയാനാവില്ല, Tranco ലിസ്റ്റിൽ വെബ്സൈറ്റ് ഇല്ലാത്ത ഡൊമെയ്നുകളും ഉൾപ്പെടുന്നു. ഒരു സെർച്ച് ക്രാളറെ തടയുന്ന നിയമം തെറ്റിന്റെ തെളിവല്ല, വ്യത്യാസം അറിയാതെ പലപ്പോഴും എടുക്കുന്ന ഒരു തീരുമാനത്തിന്റെ തെളിവ് മാത്രമാണ്. ഈ പേജിലേക്ക് ലിങ്ക് നൽകി നിങ്ങൾക്ക് ഈ കണക്കുകൾ ഉദ്ധരിക്കാം.
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- llms.txt ചെക്കറും വാലിഡേറ്ററും
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
ജനപ്രിയ സൈറ്റുകളിൽ എത്ര ശതമാനം AI ക്രാളറുകളെ തടയുന്നു?
Tranco ടോപ് 10,000-ൽ robots.txt നൽകുന്ന 6,192 ഡൊമെയ്നുകളിൽ, 23.2% കുറഞ്ഞത് ഒരു AI ട്രെയിനിങ് ക്രാളറെയും 12.3% കുറഞ്ഞത് ഒരു AI സെർച്ച് അല്ലെങ്കിൽ യൂസർ ക്രാളറെയും തടയുന്നു.
AI ട്രെയിനിങ് തടയുന്ന സൈറ്റുകൾ AI സെർച്ചും തടയുന്നുണ്ടോ?
പലപ്പോഴും. ട്രെയിനിങ് ക്രാളറെ തടയുന്ന സൈറ്റുകളിൽ 51.6% കുറഞ്ഞത് ഒരു AI സെർച്ച് അല്ലെങ്കിൽ യൂസർ ക്രാളറെയും തടയുന്നു, വെണ്ടർമാർ അവയെ സ്വതന്ത്ര ക്രമീകരണങ്ങളുള്ള വെവ്വേറെ ക്രാളറുകളായി രേഖപ്പെടുത്തിയിട്ടുണ്ടെങ്കിലും.
ഏത് AI ക്രാളറാണ് ഏറ്റവും കൂടുതൽ തടയപ്പെടുന്നത്?
ട്രെയിനിങ് ക്രാളറുകളിൽ Bytespider (18.7%), CCBot (18.5%), പിന്നെ GPTBot (17.4%). AI സെർച്ച് ക്രാളറുകളിൽ PerplexityBot ആണ് ഏറ്റവും കൂടുതൽ തടയപ്പെടുന്നത്, 10.4% ഡൊമെയ്നുകളിൽ.
നിങ്ങളുടെ 1,000 സൈറ്റ് റിപ്പോർട്ടിൽ നിന്ന് സംഖ്യകൾ വ്യത്യസ്തമാകുന്നത് എന്തുകൊണ്ട്?
ആദ്യ 1,000 ഡൊമെയ്നുകൾ ഏതാണ്ട് അതേ ശതമാനങ്ങൾ നൽകുന്നു (29.9%, 19.5% എന്നിവയ്ക്ക് പകരം 28.6%, 18.6%). ചെറിയ സൈറ്റുകൾ കുറച്ച് മാത്രം തടയുന്നതിനാലാണ് 10,000 സൈറ്റുകളുടെ കണക്കുകൾ കുറവായത്.
ഉറവിടങ്ങൾ
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers