Perplexity-യുടെ ക്രോളറുകൾ: PerplexityBot, Perplexity-User

പ്രസിദ്ധീകരിച്ചത് · അപ്ഡേറ്റ് ചെയ്തത്

ചുരുക്കത്തിൽ

സെർച്ച് ഫലങ്ങളിൽ വെബ്സൈറ്റുകൾ കാണിക്കാനും ലിങ്ക് ചെയ്യാനും Perplexity PerplexityBot ഉപയോഗിക്കുന്നു, ഒരു ഉപയോക്താവിന്റെ ചോദ്യത്തിന് ആവശ്യമുള്ളപ്പോൾ പേജുകൾ സന്ദർശിക്കാൻ Perplexity-User ഉപയോഗിക്കുന്നു. PerplexityBot robots.txt പാലിക്കുന്നുവെന്നും ഫൗണ്ടേഷൻ മോഡലുകൾ പരിശീലിപ്പിക്കാൻ ഉപയോഗിക്കുന്നില്ലെന്നും Perplexity പറയുന്നു; ഉപയോക്താവ് അഭ്യർത്ഥിച്ചതായതിനാൽ Perplexity-User പൊതുവെ robots.txt അവഗണിക്കുന്നു. Perplexity-യുടെ സെർച്ച് നിങ്ങളുടെ പേജുകൾ ഉപയോഗിക്കുന്നത് തടയാൻ robots.txt-ൽ PerplexityBot-നെ വിലക്കുക; Perplexity-User-നെ നിർത്താൻ, അതിന്റെ പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളുമായി പൊരുത്തപ്പെടുന്ന ഒരു ഫയർവാൾ നിയമം ഉപയോഗിക്കുക.

Perplexity ഉദ്ധരണികളെ ചുറ്റിപ്പറ്റിയാണ് നിർമ്മിച്ചിരിക്കുന്നത്: ഉത്തരങ്ങൾ അവ ആശ്രയിക്കുന്ന പേജുകളിലേക്കുള്ള നമ്പറിട്ട ലിങ്കുകളോടെ വരുന്നു. അതിന്റെ ക്രോളർ ഡോക്യുമെന്റേഷൻ ചെറുതാണ്, ഏത് ഏജന്റ് robots.txt പാലിക്കുന്നു, ഏത് പാലിക്കുന്നില്ല എന്ന് അത് വ്യക്തമായി പറയുന്നു. ഇവയിൽ ഏതിനെയെങ്കിലും നിയന്ത്രിക്കണമെങ്കിൽ ഏത് ടൂൾ ഉപയോഗിക്കണം എന്ന് ആ വ്യത്യാസമാണ് തീരുമാനിക്കുന്നത്.

ഈ പേജിൽ
  1. PerplexityBot എന്ത് ചെയ്യുന്നു?
  2. Perplexity-User എന്ത് ചെയ്യുന്നു?
  3. robots.txt എന്ത് നിയന്ത്രിക്കുന്നു, എന്ത് നിയന്ത്രിക്കുന്നില്ല?
  4. Perplexity, ChatGPT-ൽ നിന്നും Claude-ൽ നിന്നും എങ്ങനെ വ്യത്യസ്തമാണ്?
  5. Perplexity-ക്കായി ഏത് robots.txt ഉപയോഗിക്കണം?
  6. ഫയർവാൾ Perplexity-യെ തടയുന്നില്ലെന്ന് എങ്ങനെ ഉറപ്പാക്കാം?

PerplexityBot എന്ത് ചെയ്യുന്നു?

Perplexity-യുടെ സെർച്ച് ഫലങ്ങളിൽ വെബ്സൈറ്റുകൾ കാണിക്കാനും ലിങ്ക് ചെയ്യാനുമാണ് PerplexityBot രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. AI ഫൗണ്ടേഷൻ മോഡലുകൾക്കായി ഉള്ളടക്കം ക്രോൾ ചെയ്യാൻ ഇത് ഉപയോഗിക്കുന്നില്ലെന്ന് Perplexity പറയുന്നു. Perplexity-യുടെ സെർച്ച് ഫലങ്ങളിൽ വരാൻ, robots.txt-ൽ PerplexityBot-നെ അനുവദിക്കാൻ Perplexity ശുപാർശ ചെയ്യുന്നു.

Perplexity ഈ user agent രേഖപ്പെടുത്തുന്നു:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

പതിപ്പ് നമ്പർ മാറാം, അതിനാൽ ഫയർവാൾ നിയമങ്ങൾ PerplexityBot എന്ന ടോക്കണുമായി ഒത്തുനോക്കണം. Perplexity IP ശ്രേണികൾ perplexity.ai/perplexitybot.json-ൽ പ്രസിദ്ധീകരിക്കുന്നു.

Perplexity-User എന്ത് ചെയ്യുന്നു?

Perplexity-User ഉപയോക്തൃ പ്രവർത്തനങ്ങളെ പിന്തുണയ്ക്കുന്നു. ആരെങ്കിലും Perplexity-യോട് ഒരു ചോദ്യം ചോദിക്കുമ്പോൾ, കൃത്യമായ ഉത്തരം നൽകാൻ സഹായിക്കുന്നതിന് അത് ഒരു വെബ് പേജ് സന്ദർശിക്കുകയും ആ പേജിലേക്കുള്ള ലിങ്ക് ഉൾപ്പെടുത്തുകയും ചെയ്തേക്കാം. വെബ് ക്രോൾ ചെയ്യാനോ പരിശീലന ഡാറ്റ ശേഖരിക്കാനോ ഇത് ഉപയോഗിക്കുന്നില്ലെന്ന് Perplexity പറയുന്നു.

അതിന്റെ രേഖപ്പെടുത്തിയ user agent Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) ആണ്, IP ശ്രേണികൾ perplexity.ai/perplexity-user.json-ൽ പ്രസിദ്ധീകരിച്ചിരിക്കുന്നു.

robots.txt എന്ത് നിയന്ത്രിക്കുന്നു, എന്ത് നിയന്ത്രിക്കുന്നില്ല?

ഇതാണ് പ്രധാന കാര്യം. ഉപയോക്താവ് അഭ്യർത്ഥിച്ചതായതിനാൽ Perplexity-User പൊതുവെ robots.txt നിയമങ്ങൾ അവഗണിക്കുന്നുവെന്ന് Perplexity പറയുന്നു. PerplexityBot-നുള്ള robots.txt ഗ്രൂപ്പ് സെർച്ചിനായുള്ള ഇൻഡെക്സിംഗിനെ ബാധിക്കുന്നു; ഉപയോക്താവിന് വേണ്ടിയുള്ള തത്സമയ അഭ്യർത്ഥനകളെ അത് വിശ്വസനീയമായി തടയില്ല.

ഓരോ robots.txt ക്രമീകരണവും സ്വതന്ത്രമായി പ്രവർത്തിക്കുന്നുവെന്നും മാറ്റങ്ങൾ പ്രതിഫലിക്കാൻ 24 മണിക്കൂർ വരെ എടുത്തേക്കാമെന്നും Perplexity പറയുന്നു.

Perplexity, ChatGPT-ൽ നിന്നും Claude-ൽ നിന്നും എങ്ങനെ വ്യത്യസ്തമാണ്?

മൂന്ന് വെണ്ടർമാരും സെർച്ച് ക്രോളറിനെ ഉപയോക്താവ് അഭ്യർത്ഥിക്കുന്ന ഫെച്ചറിൽ നിന്ന് വേർതിരിക്കുന്നു. രണ്ട് കാര്യങ്ങൾ Perplexity-യെ വ്യത്യസ്തമാക്കുന്നു. ഒന്ന്, അത് പ്രത്യേക പരിശീലന ക്രോളർ നടത്തുന്നില്ല: PerplexityBot AI ഫൗണ്ടേഷൻ മോഡലുകൾക്കായി ഉള്ളടക്കം ക്രോൾ ചെയ്യാൻ ഉപയോഗിക്കുന്നില്ലെന്ന് അത് പറയുന്നു, അതിനാൽ തീരുമാനിക്കേണ്ട പരിശീലന ടോക്കൺ ഇല്ല. രണ്ട്, തങ്ങളുടെ ഉപയോക്തൃ ഫെച്ചർ പൊതുവെ robots.txt അവഗണിക്കുന്നുവെന്ന് അത് തുറന്നുപറയുന്നു; അതേസമയം ChatGPT-User-ന് robots.txt ബാധകമാകണമെന്നില്ലെന്ന് OpenAI പറയുന്നു, Claude-User ഉൾപ്പെടെ തങ്ങളുടെ ബോട്ടുകൾ robots.txt മാനിക്കുന്നുവെന്ന് Anthropic പറയുന്നു.

പ്രായോഗികമായി ഇതിനർത്ഥം Perplexity-യുടെ സെർച്ച് ക്രോളറിനായി robots.txt-ൽ ഒറ്റ തീരുമാനം, ഉപയോക്താവ് അഭ്യർത്ഥിക്കുന്ന ഫെച്ചുകൾ എപ്പോഴെങ്കിലും നിർത്തണമെങ്കിൽ ഫയർവാളിൽ ഒരു തീരുമാനം എന്നാണ്.

Perplexity-ക്കായി ഏത് robots.txt ഉപയോഗിക്കണം?

ഉദ്ധരിക്കപ്പെടണമെങ്കിൽ, സെർച്ച് ക്രോളറിനെ വ്യക്തമായി അനുവദിക്കുക. പേരുള്ള ഒരു ഗ്രൂപ്പ് *-ൽ നിന്ന് നിയമങ്ങൾ പാരമ്പര്യമായി എടുക്കുന്നില്ലെന്ന് ഓർക്കുക, അതിനാൽ സ്വകാര്യ പാതകൾ ആവർത്തിക്കുക:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

PerplexityBot പരിശീലന ക്രോളർ അല്ലാത്തതിനാൽ, മോഡൽ പരിശീലനത്തിൽ നിന്ന് ഒഴിവാകാൻ അതിനെ തടയുന്നത് ആ ലക്ഷ്യം നിറവേറ്റാതെ നിങ്ങളുടെ സെർച്ച് ദൃശ്യത നഷ്ടപ്പെടുത്തും.

robots.txt-ൽ സൈറ്റ്‌മാപ്പ് ചേർക്കുന്നുണ്ടെങ്കിൽ, Sitemap: വരി ഏതെങ്കിലും ഗ്രൂപ്പിന് പുറത്തോ ഫയലിന്റെ അവസാനത്തിലോ വെക്കുക; അത് എല്ലാ ക്രോളറുകൾക്കും ബാധകമാണ്. സൈറ്റ്‌മാപ്പ് തന്നെ നിങ്ങളുടെ ഫയർവാൾ തടയുന്നില്ലെന്നും ഉറപ്പാക്കുക, കാരണം അത് എടുക്കാനാവാത്ത ക്രോളറിന് പുതിയതോ മാറിയതോ ആയ പേജുകൾ കണ്ടെത്താൻ അത് ഉപയോഗിക്കാനാവില്ല.

ഫയർവാൾ Perplexity-യെ തടയുന്നില്ലെന്ന് എങ്ങനെ ഉറപ്പാക്കാം?

ബോട്ട് സംരക്ഷണം പലപ്പോഴും ബ്രൗസർ അല്ലാത്ത ഏത് അഭ്യർത്ഥനയെയും സംശയാസ്പദമായി കാണുന്നു. ഓരോ Perplexity user agent ഉപയോഗിച്ചും നിങ്ങളുടെ പേജ് അഭ്യർത്ഥിച്ച് പ്രതികരണത്തെ ബ്രൗസർ അഭ്യർത്ഥനയുമായി താരതമ്യം ചെയ്യുക. ക്രോളറിന് 403, 429 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് കിട്ടുന്നുണ്ടെങ്കിൽ, ടോക്കണുമായും, സാധ്യമെങ്കിൽ പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളുമായും ഒത്തുപോകുന്ന ഒരു അനുവാദ നിയമം ചേർക്കുക, അപ്പോൾ യഥാർത്ഥ Perplexity ട്രാഫിക് മാത്രം കടന്നുപോകും. Cloudflare-ൽ, AI Crawl Control AI ക്രോളറുകളെ ഓരോന്നിനും Allow അല്ലെങ്കിൽ Block പ്രവർത്തനത്തോടെ പട്ടികപ്പെടുത്തുന്നു.

user agent-നെ വിശ്വസിക്കുന്നതിന് പകരം സ്ഥിരീകരിക്കുക. PerplexityBot എന്ന് പറയുന്ന അഭ്യർത്ഥന ആർക്കും അയയ്ക്കാം, അതിനാൽ user agent മാത്രം അടിസ്ഥാനമാക്കിയ അനുവാദ നിയമം അനുകരിക്കുന്നവരെയും കടത്തിവിടും, അതിനെ അടിസ്ഥാനമാക്കിയ തടയൽ മറികടക്കാനും കഴിയും. ഉറവിട IP-യെ Perplexity പ്രസിദ്ധീകരിച്ച പട്ടികകളുമായി ഒത്തുനോക്കുന്നത് രണ്ട് തരം നിയമങ്ങളെയും വിശ്വസനീയമാക്കുന്നു.

AISeeWhy PerplexityBot, Perplexity-User എന്നിവയെ മറ്റ് 12 ക്രോളറുകൾക്കൊപ്പം പരിശോധിക്കുന്നു. Perplexity-ക്ക് നിങ്ങളുടെ പേജ് ഒരു ഉത്തരത്തിൽ ഉപയോഗിക്കാനാകുമോ എന്ന് രണ്ടും തീരുമാനിക്കുന്നതിനാൽ, ഏതെങ്കിലും ഒന്നിന്റെ തടയൽ P1 ആയി റിപ്പോർട്ട് ചെയ്യപ്പെടുന്നു, അത് പരിഹരിക്കാനുള്ള നിയമത്തോടെ.

സൗജന്യ ടൂളുകൾ

അടുത്ത ഘട്ടങ്ങൾ

ഈ ലേഖനത്തിലെ ക്രോളറുകൾ

പതിവ് ചോദ്യങ്ങൾ

AI മോഡലുകൾ പരിശീലിപ്പിക്കാൻ Perplexity എന്റെ ഉള്ളടക്കം ഉപയോഗിക്കുന്നുണ്ടോ?

AI ഫൗണ്ടേഷൻ മോഡലുകൾ പരിശീലിപ്പിക്കാൻ ഉള്ളടക്കം ശേഖരിക്കുന്നതിന് PerplexityBot-ഓ Perplexity-User-ഓ ഉപയോഗിക്കുന്നില്ലെന്ന് Perplexity പറയുന്നു.

Perplexity-User എന്തുകൊണ്ട് robots.txt അവഗണിക്കുന്നു?

ഒരു ഉപയോക്താവ് പേജ് ആവശ്യപ്പെട്ടതിനാൽ, ഈ ഫെച്ച് ഓട്ടോമേറ്റഡ് ക്രോളിംഗ് ആയല്ല, ആ ഉപയോക്താവിന് വേണ്ടിയാണ് പ്രവർത്തിക്കുന്നത് എന്നാണ് Perplexity-യുടെ ന്യായം. ആ കാരണത്താൽ ഫെച്ചർ പൊതുവെ robots.txt അവഗണിക്കുന്നുവെന്ന് അതിന്റെ ഡോക്യുമെന്റേഷൻ പറയുന്നു.

ആവശ്യമെങ്കിൽ Perplexity-User-നെ എങ്ങനെ തടയാം?

നിങ്ങളുടെ ഫയർവാൾ അല്ലെങ്കിൽ CDN ഉപയോഗിക്കുക, user agent ടോക്കണും Perplexity പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളും ഒത്തുനോക്കി. ഈ ഏജന്റിന് robots.txt ആശ്രയിക്കാവുന്ന നിയന്ത്രണമല്ല.

robots.txt മാറ്റം പ്രാബല്യത്തിൽ വരാൻ എത്ര സമയമെടുക്കും?

മാറ്റങ്ങൾ തങ്ങളുടെ സിസ്റ്റങ്ങളിൽ പ്രതിഫലിക്കാൻ 24 മണിക്കൂർ വരെ എടുത്തേക്കാമെന്ന് Perplexity പറയുന്നു.

PerplexityBot-നെ തടഞ്ഞാൽ Perplexity എന്റെ ഉള്ളടക്കം ഉപയോഗിക്കുന്നത് പൂർണമായി നിൽക്കുമോ?

ഇല്ല. അത് Perplexity-യുടെ സെർച്ച് ഇൻഡെക്സിനായുള്ള ക്രോളിൽ നിന്ന് നിങ്ങളുടെ പേജുകളെ ഒഴിവാക്കുന്നു, പക്ഷേ ഒരു ഉപയോക്താവ് ചോദിക്കുമ്പോൾ Perplexity-User-ന് ഇപ്പോഴും പേജ് എടുക്കാനാകും, കാരണം ആ ഫെച്ചർ പൊതുവെ robots.txt അവഗണിക്കുന്നു.

ഉറവിടങ്ങൾ

കൂടുതൽ ലേഖനങ്ങൾ