AI പരിശീലനം തടഞ്ഞ് AI സെർച്ച് ഉത്തരങ്ങളിൽ എങ്ങനെ തുടരാം
മിക്ക AI കമ്പനികളും മോഡൽ പരിശീലനത്തിനും സെർച്ചിനും വെവ്വേറെ robots.txt ടോക്കണുകൾ ഉപയോഗിക്കുന്നു. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent, CCBot പോലുള്ള പരിശീലന ടോക്കണുകളെ വിലക്കുക, OAI-SearchBot, Claude-SearchBot, PerplexityBot പോലുള്ള സെർച്ച്, ഉപയോക്തൃ ടോക്കണുകളെ അനുവദിക്കുക. അതേ മുൻഗണന വാക്കുകളിൽ രേഖപ്പെടുത്താൻ ഒരു Content-Signal വരി ചേർക്കുക.
പല സൈറ്റ് ഉടമകളും ഒരേസമയം രണ്ട് കാര്യങ്ങൾ ആഗ്രഹിക്കുന്നു: തങ്ങളുടെ ഉള്ളടക്കം AI മോഡലുകളെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിക്കരുത്, പക്ഷേ AI അസിസ്റ്റന്റുകൾ തങ്ങളുടെ പേജുകൾ കണ്ടെത്തുകയും ഉദ്ധരിക്കുകയും ലിങ്ക് ചെയ്യുകയും വേണം. പ്രധാന കമ്പനികൾ ഇപ്പോൾ ഈ ജോലികൾ വ്യത്യസ്ത ക്രോളറുകളിലോ ടോക്കണുകളിലോ വിഭജിക്കുന്നതിനാൽ robots.txt-ൽ രണ്ട് തീരുമാനങ്ങളും പ്രകടിപ്പിക്കാം. പ്രശ്നം എന്തെന്നാൽ, പേരുകൾ ഓരോ കമ്പനിക്കും വ്യത്യസ്തമാണ്, ചില കമ്പനികൾ ഈ രീതിയിൽ ഒതുങ്ങുന്നില്ല, ഒരു തെറ്റായ വരി നിങ്ങളെ പരിശീലന ഡാറ്റയിൽ നിന്നല്ല, AI ഉത്തരങ്ങളിൽ നിന്ന് നീക്കം ചെയ്തേക്കാം.
ഈ പേജിൽ
- പരിശീലന ക്രോളറും സെർച്ച് ക്രോളറും തമ്മിലുള്ള വ്യത്യാസം എന്താണ്?
- ഏത് ടോക്കണുകളാണ് പരിശീലനം നിയന്ത്രിക്കുന്നത്, ഏതാണ് സെർച്ച്?
- robots.txt എങ്ങനെയിരിക്കും?
- എത്ര സൈറ്റുകൾ ഇതിനകം ഇങ്ങനെ ചെയ്യുന്നു?
- Content-Signal എന്താണ് കൂട്ടിച്ചേർക്കുന്നത്?
- ഈ വിഭജനം എവിടെയാണ് വൃത്തിയായി പ്രവർത്തിക്കാത്തത്?
- വിഭജനം പ്രവർത്തിക്കുന്നുണ്ടോ എന്ന് എങ്ങനെ പരിശോധിക്കാം?
പരിശീലന ക്രോളറും സെർച്ച് ക്രോളറും തമ്മിലുള്ള വ്യത്യാസം എന്താണ്?
AI മോഡലുകൾ നിർമ്മിക്കാനോ മെച്ചപ്പെടുത്താനോ ഉപയോഗിച്ചേക്കാവുന്ന പേജുകൾ ശേഖരിക്കുന്നതാണ് പരിശീലന ക്രോളർ. പരിശീലനം സ്വയം ഒരു ഉദ്ധരണിയോ ലിങ്കോ ഉണ്ടാക്കുന്നില്ല. ഒരു ഉത്തരത്തിനുള്ള ഉറവിടങ്ങൾ കണ്ടെത്താൻ AI അസിസ്റ്റന്റ് ഉപയോഗിക്കുന്ന ഇൻഡക്സ് നിർമ്മിക്കുന്നതാണ് സെർച്ച് ക്രോളർ, അത് ഉദ്ധരിക്കുന്നത് ആ ഉറവിടങ്ങളെയാണ്. ആരെങ്കിലും ഒരു പേജിനെക്കുറിച്ച് ചോദിച്ചതിനാൽ അത് തത്സമയം തുറക്കുന്നതാണ് ഉപയോക്താവ് പ്രവർത്തിപ്പിക്കുന്ന ഫെച്ചർ.
കമ്പനികൾ ഈ റോളുകൾ വെവ്വേറെ രേഖപ്പെടുത്തുകയും ക്രമീകരണങ്ങൾ പരസ്പരം സ്വതന്ത്രമാണെന്ന് പറയുകയും ചെയ്യുന്നു. ഉദാഹരണത്തിന്, അതിന്റെ ക്രോളറുകൾക്കുള്ള ഓരോ robots.txt ക്രമീകരണവും മറ്റുള്ളവയിൽ നിന്ന് സ്വതന്ത്രമാണെന്ന് OpenAI പറയുന്നു. അതിനാൽ ശരിയായി ചെയ്താൽ, പരിശീലനത്തിൽ നിന്നുള്ള ഒഴിവാകൽ നിങ്ങളുടെ സെർച്ച് ദൃശ്യതയെ ബാധിക്കില്ല.
ഏത് ടോക്കണുകളാണ് പരിശീലനം നിയന്ത്രിക്കുന്നത്, ഏതാണ് സെർച്ച്?
കമ്പനികൾ രേഖപ്പെടുത്തുന്ന ടോക്കണുകൾ, അവ നിയന്ത്രിക്കുന്നതനുസരിച്ച് തരംതിരിച്ചത്:
- OpenAI: അതിന്റെ ഫൗണ്ടേഷൻ മോഡലുകളെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിച്ചേക്കാവുന്ന ഉള്ളടക്കം
GPTBotക്രോൾ ചെയ്യുന്നു.OAI-SearchBotChatGPT സെർച്ചിനുള്ളതാണ്,ChatGPT-Userഉപയോക്തൃ പ്രവൃത്തികൾ കൈകാര്യം ചെയ്യുന്നു; robots.txt അതിന് ബാധകമാകണമെന്നില്ലെന്ന് OpenAI പറയുന്നു. - Anthropic: പരിശീലനത്തിന് സംഭാവന ചെയ്തേക്കാവുന്ന ഉള്ളടക്കം
ClaudeBotശേഖരിക്കുന്നു.Claude-SearchBotClaude-ന്റെ സെർച്ച് ഫലങ്ങൾ മെച്ചപ്പെടുത്തുന്നു,Claude-Userഉപയോക്താക്കൾക്കായി പേജുകൾ എടുക്കുന്നു. തങ്ങളുടെ ബോട്ടുകൾ robots.txt പാലിക്കുന്നുവെന്ന് Anthropic പറയുന്നു. - Google:
Google-Extendedസ്വന്തമായി ക്രോളറില്ലാത്ത ഒരു robots.txt ടോക്കണാണ്. ഭാവി Gemini മോഡലുകളുടെ പരിശീലനത്തിലും Gemini Apps, Vertex AI എന്നിവയിലെ ഗ്രൗണ്ടിംഗിലുമുള്ള ഉപയോഗം ഇത് നിയന്ത്രിക്കുന്നു. Google Search-ലെ ഉൾപ്പെടുത്തലിനെയോ റാങ്കിംഗിനെയോ ഇത് ബാധിക്കില്ലെന്ന് Google പറയുന്നു; അത്Googlebotവഴിയാണ് നിയന്ത്രിക്കുന്നത്. - Apple:
Applebot-Extendedക്രോൾ ചെയ്യുന്നില്ല;Applebotക്രോൾ ചെയ്ത ഉള്ളടക്കം Apple-ന്റെ ഫൗണ്ടേഷൻ മോഡലുകളെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിക്കണോ എന്ന് ഇത് നിയന്ത്രിക്കുന്നു. ഇതിനെ വിലക്കുന്ന പേജുകൾ അതിന്റെ സെർച്ച് ഫലങ്ങളിൽ തുടർന്നും പ്രത്യക്ഷപ്പെടാമെന്ന് Apple പറയുന്നു. - Meta: ഫൗണ്ടേഷൻ മോഡലുകളുടെ പരിശീലനം പോലുള്ള ഉപയോഗങ്ങൾക്കായി
meta-externalagentക്രോൾ ചെയ്യുന്നു,meta-webindexerMeta AI സെർച്ച് ഫലങ്ങൾ മെച്ചപ്പെടുത്തുന്നു. - Common Crawl:
CCBotCommon Crawl-ന്റെ പൊതു വെബ് ആർക്കൈവ് നിർമ്മിക്കുന്നു. Cloudflare-ന്റെ മാനേജ്ഡ് robots.txt അത് വിലക്കുന്ന AI പരിശീലന ക്രോളറുകളിൽ ഇതിനെ ഉൾപ്പെടുത്തുന്നു. - Perplexity:
PerplexityBot-ഉംPerplexity-User-ഉം സെർച്ചിനും ഉപയോക്തൃ അഭ്യർത്ഥനകൾക്കുമാണ്. ഇവ രണ്ടും പരിശീലന ഡാറ്റ ശേഖരിക്കാൻ ഉപയോഗിക്കുന്നില്ലെന്ന് Perplexity പറയുന്നു, അതിനാൽ തടയാൻ Perplexity-ക്ക് പരിശീലന ടോക്കൺ ഇല്ല.
robots.txt എങ്ങനെയിരിക്കും?
RFC 9309 അനുസരിച്ച് തുടർച്ചയായ നിരവധി User-agent വരികൾ ഒരു ഗ്രൂപ്പായി മാറുന്നു, അതിനാൽ നിയമങ്ങൾ അവയിൽ ഓരോന്നിനും ബാധകമാണ്. ഈ ഫയൽ മുകളിലുള്ള പരിശീലന ടോക്കണുകളെ ഒഴിവാക്കുന്നു, സെർച്ച്, ഉപയോക്തൃ ഏജന്റുകളെ അനുവദിക്കുന്നു, ഒരു സ്വകാര്യ പാത്ത് എല്ലാവർക്കും അടച്ചുവെക്കുന്നു:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml രണ്ട് വിശദാംശങ്ങൾ പ്രധാനമാണ്. ഒന്ന്, പേരുള്ള ഒരു ഗ്രൂപ്പ് *-ൽ നിന്ന് ഒന്നും പാരമ്പര്യമായി എടുക്കുന്നില്ല, അതിനാൽ സ്വകാര്യ പാത്തുകൾ സെർച്ച് ഗ്രൂപ്പിൽ ആവർത്തിക്കണം. രണ്ട്, Googlebot-നെയോ Applebot-നെയോ പരിശീലന ഗ്രൂപ്പിൽ ചേർക്കരുത്: അവ സെർച്ച് ക്രോളറുകളാണ്, അവയെ തടയുന്നത് നിങ്ങളെ Google Search-ൽ നിന്നും Apple-ന്റെ സെർച്ച് ഫീച്ചറുകളിൽ നിന്നും നീക്കം ചെയ്യുന്നു. മാറ്റങ്ങൾ തൽക്ഷണമല്ല: സെർച്ചിന് ഏകദേശം 24 മണിക്കൂർ എന്ന് OpenAI-യും 24 മണിക്കൂർ വരെ എന്ന് Perplexity-യും പറയുന്നു.
എത്ര സൈറ്റുകൾ ഇതിനകം ഇങ്ങനെ ചെയ്യുന്നു?
പ്രതീക്ഷിക്കുന്നതിലും കുറവ്. 2026-11-12-ന് Tranco പട്ടികയിലെ ഏറ്റവും ജനപ്രിയമായ 1,000 ഡൊമെയ്നുകളുടെ robots.txt ഫയലുകൾ ഞങ്ങൾ വായിച്ചു. robots.txt നൽകിയ 518 എണ്ണത്തിൽ 155 എണ്ണം (29.9%) കുറഞ്ഞത് ഒരു AI പരിശീലന ക്രോളറിനെങ്കിലും ഹോം പേജ് വിലക്കുന്നു. 57 എണ്ണം (11.0%) മാത്രമാണ് തിരഞ്ഞെടുത്ത വഴി സ്വീകരിക്കുന്നത്: അവ പരിശീലന ക്രോളറുകളെ തടയുകയും ഞങ്ങൾ പരിശോധിച്ച എല്ലാ AI സെർച്ച്, ഉപയോക്തൃ ക്രോളറുകളെയും അനുവദിക്കുകയും ചെയ്യുന്നു. ആകെ 101 സൈറ്റുകൾ (19.5%) കുറഞ്ഞത് ഒരു AI സെർച്ച് അല്ലെങ്കിൽ ഉപയോക്തൃ ക്രോളറിനെ തടയുന്നു.
ഓരോ ക്രോളറിന്റെയും കണക്കുകൾ ഇതേ വിഭജനം കാണിക്കുന്നു. GPTBot 111 സൈറ്റുകളിലും (21.4%) OAI-SearchBot 58-ലും (11.2%) തടയപ്പെട്ടിരിക്കുന്നു. ClaudeBot 110-ലും (21.2%) Claude-SearchBot 67-ലും (12.9%). Google-Extended 94-ലും (18.1%), Googlebot 14-ലും (2.7%). 18 സൈറ്റുകൾ (3.5%) മാത്രമാണ് Content-Signal ഉപയോഗിക്കുന്നത്.
പഠനം ഹോം പേജിനുള്ള robots.txt നിയമങ്ങൾ മാത്രമാണ് നോക്കുന്നത്. ഇത് ഫയർവാൾ തടയലുകൾ അളക്കുന്നില്ല, ഓരോ സൈറ്റും എന്താണ് ഉദ്ദേശിച്ചതെന്ന് കാണിക്കുന്നുമില്ല.
Content-Signal എന്താണ് കൂട്ടിച്ചേർക്കുന്നത്?
Cloudflare contentsignals.org-ൽ പ്രസിദ്ധീകരിച്ച ഒരു robots.txt വിപുലീകരണമാണ് Content Signals. ഉള്ളടക്കം എങ്ങനെ ഉപയോഗിക്കാമെന്ന് ഒരു Content-Signal വരി മൂന്ന് സിഗ്നലുകളിലൂടെ വ്യക്തമാക്കുന്നു: search (സെർച്ച് ഇൻഡക്സ് നിർമ്മിക്കുകയും ലിങ്കുകളും ചെറിയ ഉദ്ധരണികളും കാണിക്കുകയും ചെയ്യുക), ai-input (ജനറേറ്റീവ് ഉത്തരങ്ങൾക്കുള്ള ഗ്രൗണ്ടിംഗ് അല്ലെങ്കിൽ റിട്രീവൽ പോലെ ഉള്ളടക്കം തത്സമയം AI മോഡലുകളിലേക്ക് നൽകുക), ai-train (മോഡലുകളെ പരിശീലിപ്പിക്കുകയോ ഫൈൻ-ട്യൂൺ ചെയ്യുകയോ ചെയ്യുക).
search-ന്റെ നിർവചനം AI ജനറേറ്റ് ചെയ്യുന്ന സെർച്ച് സംഗ്രഹങ്ങളെ ഒഴിവാക്കുന്നു എന്നത് ശ്രദ്ധിക്കുക. AI ഉത്തരങ്ങളിൽ പ്രത്യക്ഷപ്പെടണമെങ്കിൽ, മുകളിലെ ഉദാഹരണത്തിലെന്നപോലെ ai-input=yes കൂടി സജ്ജമാക്കുക. Cloudflare-ന്റെ മാനേജ്ഡ് robots.txt സ്ഥിരസ്ഥിതിയായി search=yes, ai-train=no ചേർക്കുന്നു; നിങ്ങൾ ഒഴിവാക്കുന്ന ഒരു സിഗ്നൽ ആ ഉപയോഗം അനുവദിക്കുകയോ നിയന്ത്രിക്കുകയോ ചെയ്യുന്നില്ല.
ഇവ പ്രസ്താവിച്ച മുൻഗണനകളാണ്. ഇവ സാങ്കേതിക തലത്തിൽ ക്രോളിംഗ് തടയുന്നില്ലെന്ന് Content Signals സൈറ്റ് പറയുന്നു, robots.txt പാലിക്കുന്നത് സ്വമേധയാ ആണെന്ന് Cloudflare ചൂണ്ടിക്കാട്ടുന്നു. ഞങ്ങൾ പരിശോധിച്ച OpenAI, Anthropic, Google, Perplexity ക്രോളർ പേജുകളിൽ ഒന്നും അവ Content-Signal വായിക്കുന്നുണ്ടോ എന്ന് പറയുന്നില്ല. അതിനാൽ ഇതിനെ ഓരോ ക്രോളറിനുമുള്ള ഗ്രൂപ്പുകൾക്ക് പകരമായല്ല, അവയ്ക്കൊപ്പമുള്ള ഒരു കൂട്ടിച്ചേർക്കലായി കാണുക.
ഈ വിഭജനം എവിടെയാണ് വൃത്തിയായി പ്രവർത്തിക്കാത്തത്?
ചില സാഹചര്യങ്ങളിൽ ശ്രദ്ധ വേണം:
- Google AI Overviews-ഉം AI Mode-ഉം
Googlebotനിർമ്മിക്കുന്ന Search ഇൻഡക്സിനെ ആശ്രയിക്കുന്നു, അതിനാൽGoogle-Extendedനിങ്ങളെ അവയിൽ നിന്ന് ഒഴിവാക്കുന്നില്ല. Search-ന്റെ ജനറേറ്റീവ് AI ഫീച്ചറുകൾക്ക് പിന്നിലുള്ള മോഡലുകളുടെ പരിശീലനംGoogle-Extendedപരിമിതപ്പെടുത്തുന്നുവെന്ന് Google-ന്റെ Search Console സഹായം കൂട്ടിച്ചേർക്കുന്നു; അതിന്റെ ക്രോളർ ഡോക്യുമെന്റേഷൻ ഈ വ്യാപ്തി പരാമർശിക്കുന്നില്ല. AI Overviews-ൽ നിന്നും AI Mode-ൽ നിന്നും ഒരു സൈറ്റിനെ ഒഴിവാക്കാൻ Google ഇപ്പോൾ ഒരു പ്രത്യേക Search Console ക്രമീകരണം നൽകുന്നു. - ഒരു സൈറ്റ്
GPTBot-നെയുംOAI-SearchBot-നെയും അനുവദിക്കുന്നുണ്ടെങ്കിൽ, ഒരു ക്രോളിന്റെ ഫലങ്ങൾ രണ്ട് ആവശ്യങ്ങൾക്കും ഉപയോഗിച്ചേക്കാമെന്ന് OpenAI പറയുന്നു. ഉള്ളടക്കം പരിശീലനത്തിന് ഉപയോഗിക്കരുതെന്ന് സൂചിപ്പിക്കുന്നത്GPTBot-നെ വിലക്കുന്നതാണ്. - ഒഴിവാകലുകൾ ഭാവിയിലേക്കുള്ളതാണ്. ഉദാഹരണത്തിന്,
ClaudeBot-നെ വിലക്കുന്നത് നിങ്ങളുടെ സൈറ്റിന്റെ ഭാവി ഉള്ളടക്കത്തെ പരിശീലന ഡാറ്റാസെറ്റുകളിൽ നിന്ന് ഒഴിവാക്കുന്നതായി Anthropic വിവരിക്കുന്നു. - ഉപയോക്താവ് പ്രവർത്തിപ്പിക്കുന്ന ഫെച്ചറുകൾ ഇതിനിടയിലാണ്. robots.txt
ChatGPT-User-ന് ബാധകമാകണമെന്നില്ലെന്നുംPerplexity-User-ന് സാധാരണയായി ബാധകമല്ലെന്നും OpenAI-യും Perplexity-യും പറയുന്നു. - ഫയർവാളുകൾ robots.txt വായിക്കുന്നില്ല. ബോട്ടുകളെ വ്യാപകമായി തടയുന്ന ഒരു നിയമം നിങ്ങൾ അനുവദിച്ച സെർച്ച് ക്രോളറുകളെയും തടഞ്ഞേക്കാം. പരിശീലന തടയൽ ഫയർവാളിൽ നടപ്പാക്കുന്നുണ്ടെങ്കിൽ, പരിശീലന ഏജന്റുകളെ പേര് കൊണ്ട് ഒത്തുനോക്കുകയും അവയുടെ പ്രസിദ്ധീകരിച്ച IP ശ്രേണികൾ ഉപയോഗിച്ച് സ്ഥിരീകരിക്കുകയും ചെയ്യുക.
വിഭജനം പ്രവർത്തിക്കുന്നുണ്ടോ എന്ന് എങ്ങനെ പരിശോധിക്കാം?
ഓരോ ക്രോളറും വായിക്കുന്നതുപോലെ നിങ്ങളുടെ robots.txt വായിക്കുക: അതിന്റെ പേരുള്ള ഗ്രൂപ്പ് കണ്ടെത്തുക, ഒന്നുമില്ലെങ്കിൽ മാത്രം *-ലേക്ക് മടങ്ങുക, ഏറ്റവും നീളമുള്ള പൊരുത്തപ്പെടുന്ന നിയമം പ്രയോഗിക്കുക. തുടർന്ന് ഓരോ സെർച്ച് ക്രോളറിന്റെയും യൂസർ ഏജന്റ് ഉപയോഗിച്ച് ഒരു പേജ് അഭ്യർത്ഥിച്ച്, അതിന് 403-ഓ ചലഞ്ച് പേജോ അല്ല, പൂർണ്ണ ഉള്ളടക്കത്തോടെ 200 ലഭിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക.
പരിശീലന, സെർച്ച്, ഉപയോക്തൃ ഏജന്റുകളായി തരംതിരിച്ച 14 ക്രോളറുകൾക്ക് AISeeWhy ഇവ രണ്ടും ചെയ്യുന്നു, ഏറ്റവും സാധാരണമായ തെറ്റ് ചൂണ്ടിക്കാട്ടുകയും ചെയ്യുന്നു: പരിശീലനം തടയാൻ ഉദ്ദേശിച്ച് PerplexityBot അല്ലെങ്കിൽ Claude-SearchBot പോലുള്ള ഒരു സെർച്ച് ടോക്കൺ തടയുന്നത്.
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- AI ക്രോളർ IP പരിശോധന
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
GPTBot-നെ തടഞ്ഞാൽ എന്റെ സൈറ്റ് ChatGPT ഉത്തരങ്ങളിൽ നിന്ന് നീക്കം ചെയ്യപ്പെടുമോ?
ഇല്ല. GPTBot പരിശീലനത്തിനുള്ളതാണെന്നും ഓരോ robots.txt ക്രമീകരണവും സ്വതന്ത്രമാണെന്നും OpenAI പറയുന്നു. ChatGPT സെർച്ച് OAI-SearchBot ഉപയോഗിക്കുന്നു; അത് അനുവദിക്കപ്പെട്ടിരിക്കുകയും നിങ്ങളുടെ ഫയർവാൾ അതിനെ തടയാതിരിക്കുകയും ചെയ്യുന്നിടത്തോളം നിങ്ങളുടെ പേജുകൾ യോഗ്യമായി തുടരും.
Google-Extended-നെ തടഞ്ഞാൽ ഞാൻ AI Overviews-ൽ നിന്ന് പുറത്താകുമോ?
Google-ന്റെ ഡോക്യുമെന്റേഷൻ അനുസരിച്ച് ഇല്ല. Google-Extended Google Search-ലെ ഉൾപ്പെടുത്തലിനെ ബാധിക്കില്ലെന്ന് Google പറയുന്നു, AI Overviews Search ഇൻഡക്സിനെ ആശ്രയിക്കുന്നു. AI Overviews-ൽ നിന്നും AI Mode-ൽ നിന്നും ഒരു സൈറ്റിനെ ഒഴിവാക്കാൻ Google ഒരു പ്രത്യേക Search Console നിയന്ത്രണം നൽകുന്നു.
എല്ലാ AI പരിശീലനവും തടയുന്ന ഒരൊറ്റ വരി ഉണ്ടോ?
ഒരു സ്റ്റാൻഡേർഡ് വരിയും അങ്ങനെ ചെയ്യുന്നില്ല. Content-Signal: ai-train=no എല്ലാ ക്രോളറുകൾക്കുമുള്ള മുൻഗണന വ്യക്തമാക്കുന്നു, പക്ഷേ ഒരു ക്രോളർ അത് പാലിക്കുമോ എന്നത് അതിന്റെ ഓപ്പറേറ്ററെ ആശ്രയിച്ചിരിക്കുന്നു. ഓരോ പരിശീലന ടോക്കണിനും പേരുള്ള ഗ്രൂപ്പുകളാണ് രേഖപ്പെടുത്തിയ വഴി.
AI പരിശീലനം തടയാൻ ഞാൻ Perplexity-യെ തടയണോ?
തങ്ങളുടെ ഏജന്റുകൾ പരിശീലന ഡാറ്റ ശേഖരിക്കാൻ ഉപയോഗിക്കുന്നില്ലെന്ന് Perplexity പറയുന്നു. PerplexityBot-നെ തടയുന്നത് പരിശീലനത്തിൽ നിന്ന് ഒഴിവാക്കാതെ Perplexity-യുടെ സെർച്ച് ഫലങ്ങളിലെ നിങ്ങളുടെ ദൃശ്യത കുറയ്ക്കുന്നു.
ഉറവിടങ്ങൾ
- OpenAI: OpenAI ക്രോളറുകളുടെ അവലോകനം
- Anthropic: Anthropic വെബിൽ നിന്ന് ഡാറ്റ ക്രോൾ ചെയ്യുന്നുണ്ടോ, സൈറ്റ് ഉടമകൾക്ക് ക്രോളറിനെ എങ്ങനെ തടയാം?
- Google: Google-Extended ഉൾപ്പെടെയുള്ള പൊതു ക്രോളറുകൾ
- Google Search Console സഹായം: Search ജനറേറ്റീവ് AI നിയന്ത്രണം
- Apple: Applebot-നെക്കുറിച്ച്
- Meta: Meta വെബ് ക്രോളറുകൾ
- Common Crawl: CCBot
- Perplexity: Perplexity ക്രോളറുകൾ
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: മാനേജ്ഡ് robots.txt-ഉം Content Signals-ഉം
- AISeeWhy: AI ക്രോളർ ആക്സസ് റിപ്പോർട്ട്, 2026-11