പത്തിൽ നാല് ബിസിനസ് വെബ്സൈറ്റുകൾ AI ക്രാളറുകളെ തിരിച്ചയയ്ക്കുന്നു
യുഎസ്, യുകെ, ഫ്രാൻസ് എന്നിവിടങ്ങളിലെ 165 ബിസിനസ് വെബ്സൈറ്റുകളുടെ ഞങ്ങളുടെ ഓഡിറ്റിൽ, 38% സൈറ്റുകൾ സെർവറിൽ വച്ച് കുറഞ്ഞത് ഒരു AI ക്രാളറെ തിരിച്ചയച്ചു, മിക്കവാറും ഒരു ട്രെയിനിങ് അല്ലെങ്കിൽ സ്ക്രാപ്പർ ബോട്ടിനെ. ഏകദേശം പത്തിൽ ഒരു സൈറ്റ് ഉദ്ധരണിയിലേക്ക് നയിക്കാവുന്ന PerplexityBot, OAI-SearchBot പോലുള്ള AI സെർച്ച് ക്രാളറെയും നിരസിച്ചു. ഓരോ ക്രാളറിനും ഒരു അഭ്യർഥന അയച്ച് നിങ്ങളുടെ സൈറ്റ് പരിശോധിക്കുക.
നിങ്ങളുടെ സ്വന്തം ഉൽപ്പന്നത്തെക്കുറിച്ച് ChatGPT-യോട് ചോദിക്കുമ്പോൾ അത് ഒരു എതിരാളിയുടെയും ഒരു റിവ്യൂ സൈറ്റിന്റെയും ഒരു ഫോറം ത്രെഡിന്റെയും പേര് പറയുന്നു. ചിലപ്പോൾ അത് ഉള്ളടക്കത്തിന്റെ പ്രശ്നമാണ്. പലപ്പോഴും AI ക്രാളറുകളോട് ഫയർവാൾ "ഇല്ല" എന്ന് പറയുന്നതാണ് കാരണം. സൈറ്റ് ബ്രൗസറിൽ നന്നായി പ്രവർത്തിക്കുന്നതിനാൽ നിങ്ങളുടെ ടീമിൽ ആരും അത് കണ്ടിട്ടുണ്ടാവില്ല.
ഈ പേജിൽ
ഞങ്ങൾ എന്താണ് പരിശോധിച്ചത്?
ഒരേ വിലാസത്തിൽ നിന്ന് ഞങ്ങൾ ഒരു പേജ് പലതവണ അഭ്യർഥിക്കുന്നു: ഒരു തവണ സാധാരണ ബ്രൗസറായി, പിന്നെ 14 AI, സെർച്ച് ക്രാളറുകളിൽ ഓരോന്നായി. OpenAI-യുടെ GPTBot, OAI-SearchBot, ChatGPT-User, Anthropic-ന്റെ ClaudeBot, Claude-SearchBot, Perplexity-യുടെ PerplexityBot എന്നിവ ഇതിൽ ഉൾപ്പെടുന്നു. ബ്രൗസറിന് പേജ് കിട്ടുകയും ഒരു ക്രാളറിന് 401, 403, 406, 429, 451, 503 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് കിട്ടുകയും ചെയ്താൽ, ആ സൈറ്റ് ആ ക്രാളറെ തിരിച്ചയയ്ക്കുന്നു.
സാമ്പിൾ യുഎസ്, യുകെ, ഫ്രാൻസ് എന്നിവിടങ്ങളിലെ 218 ബിസിനസ് വെബ്സൈറ്റുകളാണ്, 2026 നവംബർ 18 മുതൽ 21 വരെ ഓഡിറ്റ് ചെയ്തവ. അതിൽ 165 എണ്ണത്തിൽ ഞങ്ങൾക്ക് പൂർണ്ണ പരിശോധന നടത്താനായി. ബാക്കി 53 സൈറ്റുകൾ ഞങ്ങളുടെ സാധാരണ ബ്രൗസർ അഭ്യർഥന പോലും നിരസിക്കുകയോ മറുപടി നൽകാതിരിക്കുകയോ ചെയ്തു. ഊഹിക്കുന്നതിന് പകരം അവയെ ഒഴിവാക്കി.
ഞങ്ങൾ എന്താണ് കണ്ടെത്തിയത്?
- പരിശോധിക്കാൻ കഴിഞ്ഞ സൈറ്റുകളിൽ 38% (165-ൽ 63) കുറഞ്ഞത് ഒരു AI ക്രാളറെ തിരിച്ചയച്ചു.
- ആ സൈറ്റുകളെല്ലാം കുറഞ്ഞത് ഒരു ട്രെയിനിങ് അല്ലെങ്കിൽ സ്ക്രാപ്പർ ക്രാളറെ നിരസിച്ചു. എല്ലാ സൈറ്റുകളിലുമായി
Bytespider-നെ 35% നിരസിച്ചു,ClaudeBot-നെ 13%,GPTBot-നെ 11%. - 10% സൈറ്റുകൾ (16) കുറഞ്ഞത് ഒരു AI സെർച്ച് ക്രാളറെയും നിരസിച്ചു, 5% (8) ഒരാൾ അസിസ്റ്റന്റിനോട് ചോദിക്കുമ്പോൾ പേജ് തത്സമയം തുറക്കുന്ന ക്രാളറെ നിരസിച്ചു.
- ഏറ്റവും പ്രധാനപ്പെട്ട സെർച്ച് ക്രാളറുകൾ
PerplexityBot(11 സൈറ്റുകൾ),OAI-SearchBot(5 സൈറ്റുകൾ) എന്നിവയായിരുന്നു. - ഞങ്ങൾ പരിശോധിച്ച ഏതെങ്കിലും ക്രാളറെ നിരസിച്ച 66 സൈറ്റുകളിൽ 32-ന് പിന്നിൽ Cloudflare ആയിരുന്നു. മറ്റൊരു 30 എണ്ണത്തിൽ ഏത് ഫയർവാളാണ് മറുപടി നൽകിയതെന്ന് പറയാൻ കഴിഞ്ഞില്ല.
ഇത് എന്തുകൊണ്ട് സംഭവിക്കുന്നു, എപ്പോഴാണ് ഇത് ഒരു തിരഞ്ഞെടുപ്പ് ആകുന്നത്?
ഇതിൽ വലിയൊരു ഭാഗം മനഃപൂർവം ആയിരിക്കാം. തങ്ങളുടെ ഉള്ളടക്കം മോഡലുകളെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിക്കുന്നത് പല ഉടമകൾക്കും ഇഷ്ടമല്ല, സ്ക്രാപ്പറുകളെ തടയുന്ന ബോട്ട് പ്രൊട്ടക്ഷൻ ക്രമീകരണങ്ങൾ ഓണാക്കാനും എളുപ്പമാണ്. അത് ന്യായമായ തീരുമാനമാണ്.
പ്രശ്നം, AI കമ്പനികൾ ട്രെയിനിങ്ങിനും സെർച്ചിനും വെവ്വേറെ ക്രാളറുകൾ ഉപയോഗിക്കുന്നു എന്നതാണ്. ട്രെയിനിങ് ക്രാളറെ തടയാൻ സെർച്ച് ക്രാളറെ തടയേണ്ടതില്ല, ഉത്തരത്തിൽ നിങ്ങളുടെ പേജ് ഉദ്ധരിക്കപ്പെടാൻ ഇടയാക്കുന്നത് സെർച്ച് ക്രാളറാണ്.
വലിയ സൈറ്റുകൾ കൂടുതൽ മെച്ചമാണോ?
വലിയ വ്യത്യാസമില്ല. ഏറ്റവും ജനപ്രിയമായ 1,000 ഡൊമെയ്നുകളെക്കുറിച്ചുള്ള ഞങ്ങളുടെ robots.txt റിപ്പോർട്ടിൽ, robots.txt ഉള്ള സൈറ്റുകളിൽ 29.9% കുറഞ്ഞത് ഒരു AI ട്രെയിനിങ് ക്രാളറെ തടയുന്നു, അവയിൽ 63.2% കുറഞ്ഞത് ഒരു AI സെർച്ച് അല്ലെങ്കിൽ യൂസർ ക്രാളറെയും തടയുന്നു. എല്ലാ AI സെർച്ച് ക്രാളറുകളെയും അനുവദിച്ചുകൊണ്ട് ട്രെയിനിങ് മാത്രം തടയുന്നത് 11.0% സൈറ്റുകൾ മാത്രമാണ്, അവരിൽ മിക്കവരും ആഗ്രഹിച്ചിരുന്നത് ഈ ക്രമീകരണമായിരിക്കാം.
എന്റെ സ്വന്തം സൈറ്റ് പത്ത് മിനിറ്റിൽ എങ്ങനെ പരിശോധിക്കാം?
yoursite.com/robots.txtതുറക്കുക. നിങ്ങൾക്ക് പ്രധാനപ്പെട്ട ഓരോ AI ക്രാളറിനും, അതിന്റെ പേരുള്ള ഒരു ഗ്രൂപ്പ് ഉണ്ടോ എന്നും ആ ഗ്രൂപ്പ് എന്താണ് പറയുന്നത് എന്നും നോക്കുക. ഒരു ക്രാളറിന്റെ പേരുള്ള ഗ്രൂപ്പ് പൊതുവായ*ഗ്രൂപ്പിനെ പൂർണ്ണമായി മാറ്റിസ്ഥാപിക്കുന്നു.- ഫയൽ എന്ത് പറയുന്നു എന്നല്ല, സെർവർ എന്ത് ചെയ്യുന്നു എന്നാണ് പരിശോധിക്കേണ്ടത്. നിങ്ങളുടെ പ്രധാന പേജ് ഒരു ബ്രൗസറായും ക്രാളറായും അഭ്യർഥിക്കുക. 403, 429,
Just a moment...എന്ന തലക്കെട്ടുള്ള പേജ്, അല്ലെങ്കിൽ ബ്രൗസറിന്റേതിനെക്കാൾ വളരെ ചെറിയ പ്രതികരണം എന്നിവയാണ് ഫയർവാൾ തടയലിന്റെ അടയാളം. - അസിസ്റ്റന്റിനോട് ചോദിക്കുക. സെർച്ച് ഓണാക്കി, നിങ്ങളുടെ വാങ്ങലുകാർ ചോദിക്കുന്ന ചോദ്യങ്ങൾ ChatGPT-യോടോ Perplexity-യോടോ ചോദിച്ച് ഏതൊക്കെ സൈറ്റുകളാണ് അത് ഉദ്ധരിക്കുന്നതെന്ന് നോക്കുക. ആക്സസ് ശരിയാണെങ്കിലും നിങ്ങൾ വരുന്നില്ലെങ്കിൽ, പ്രശ്നം ആക്സസ് അല്ല, ഉള്ളടക്കമാണ്.
ഈ സംഖ്യകൾ എത്ര വിശ്വസനീയമാണ്?
ഇതൊരു സെൻസസ് ആയല്ല, ഒരു പ്രവണതയായി കാണുക. സാമ്പിൾ ക്രമരഹിതമല്ല: പരസ്യ ലൈബ്രറികൾ, ജോബ് ബോർഡുകൾ, മാപ്പ് ലിസ്റ്റിങ്ങുകൾ എന്നിവ വഴി കണ്ടെത്തിയ കമ്പനികളാണ് ഇവ. ഞങ്ങൾ ഒരു വിലാസത്തിൽ നിന്ന് user agent വഴി പരിശോധിക്കുന്നു, യഥാർഥ ക്രാളറുകൾ വരുന്നത് അവയുടെ വെണ്ടർമാർ പ്രസിദ്ധീകരിച്ച വിലാസങ്ങളിൽ നിന്നാണ്, അതിനാൽ ചില ഫയർവാളുകൾ യഥാർഥ ക്രാളറുകളോട് വ്യത്യസ്തമായി പെരുമാറിയേക്കാം. കൂടാതെ, ഒരു തടയൽ എപ്പോഴും തെറ്റല്ല.
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
എത്ര ശതമാനം വെബ്സൈറ്റുകൾ AI ക്രാളറുകളെ തടയുന്നു?
പരിശോധിക്കാൻ കഴിഞ്ഞ 165 ബിസിനസ് വെബ്സൈറ്റുകളുടെ ഞങ്ങളുടെ ഓഡിറ്റിൽ, 38% സൈറ്റുകൾ സെർവറിൽ വച്ച് കുറഞ്ഞത് ഒരു AI ക്രാളറെ തിരിച്ചയച്ചു, കൂടുതലും ട്രെയിനിങ്, സ്ക്രാപ്പർ ബോട്ടുകളെ. ഏകദേശം 10% AI സെർച്ച് ക്രാളറെയും നിരസിച്ചു.
GPTBot-നെ തടഞ്ഞാൽ എന്റെ സൈറ്റ് ChatGPT സെർച്ചിൽ നിന്ന് പുറത്താകുമോ?
ഇല്ല. OpenAI പറയുന്നത്, അവരുടെ ക്രാളറുകൾക്കുള്ള ഓരോ robots.txt ക്രമീകരണവും സ്വതന്ത്രമാണ് എന്നാണ്: GPTBot ട്രെയിനിങ്ങുമായും OAI-SearchBot ChatGPT സെർച്ചുമായും ബന്ധപ്പെട്ടതാണ്. ഒന്നിനെ തടയുന്നത് മറ്റൊന്നിനെ തടയുന്നില്ല.
robots.txt ഇല്ലാതെ ഒരു സൈറ്റിന് ക്രാളറെ എങ്ങനെ തടയാൻ കഴിയും?
ഒരു ഫയർവാൾ, CDN അല്ലെങ്കിൽ ബോട്ട് പ്രൊട്ടക്ഷൻ നിയമത്തിന് ക്രാളറിന് 403, 429 അല്ലെങ്കിൽ ഒരു ചലഞ്ച് പേജ് നൽകി മറുപടി നൽകാം. robots.txt ഒരിക്കലും ഇത് കാണിക്കില്ല, അതിനാൽ പേജ് ക്രാളറായി അഭ്യർഥിച്ച് പരിശോധിക്കണം.
ഒരു ക്രാളറെ തിരിച്ചയയ്ക്കുന്നത് എപ്പോഴും തെറ്റാണോ?
അല്ല. ട്രെയിനിങ് ക്രാളറുകളെയും സ്ക്രാപ്പറുകളെയും പുറത്തുനിർത്താൻ പല ഉടമകളും ആഗ്രഹിക്കുന്നു. സെർച്ച് ക്രാളറുകളെ അബദ്ധത്തിൽ തടയുന്നതാണ് തെറ്റ്, കാരണം നിങ്ങളുടെ പേജ് ഉദ്ധരിക്കാൻ ഇടയാക്കുന്നത് അവയാണ്.
ഉറവിടങ്ങൾ
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)