എന്റെ സൈറ്റ് Perplexity-ൽ എന്തുകൊണ്ട് കാണിക്കുന്നില്ല?
PerplexityBot-ന് നിങ്ങളുടെ പേജിൽ എത്താനാകുമോ എന്നും, ഏത് തടസ്സം (robots.txt, ഫയർവാൾ അല്ലെങ്കിൽ JavaScript) നിങ്ങളെ അതിന്റെ ഉത്തരങ്ങളിൽ നിന്ന് അകറ്റുന്നു എന്നും ഏകദേശം 30 സെക്കൻഡിൽ അറിയുക.
സൗജന്യം · സൈൻ-അപ്പ് വേണ്ട · 30 സെക്കൻഡിൽ ഫലം
PerplexityBot-നുള്ള robots.txt
PerplexityBot-ന് ബാധകമായ ഗ്രൂപ്പ് RFC 9309 നിയമങ്ങൾ പ്രകാരം വായിക്കുന്നു, തീരുമാനിക്കുന്ന വരിയും കാണിക്കുന്നു.
ഫയർവാൾ, CDN തടയലുകൾ
ക്രോളറുകൾക്ക് മാത്രം ലഭിക്കുന്ന 403, 429 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് അടയാളപ്പെടുത്തുന്നു, മറുപടി നൽകിയ ഫയർവാളിന്റെ പേരും കാണിക്കുന്നു.
പേജ് എന്താണ് നൽകുന്നത്
ക്രോളറിനുള്ള സ്റ്റാറ്റസ്, വലുപ്പം, റീഡയറക്ടുകൾ എന്നിവ സാധാരണ ബ്രൗസറിന്റേതുമായി താരതമ്യം ചെയ്യുന്നു, അതിനാൽ ക്രോളറുകൾക്ക് കുറഞ്ഞ ഉള്ളടക്കം നൽകുന്നത് വ്യക്തമായി കാണാം.
ഓരോ കണ്ടെത്തലിനും പരിഹാരം
ഓരോ കണ്ടെത്തലിനും ഒപ്പം വരുത്തേണ്ട മാറ്റവും ഉണ്ട്. സൗജന്യ പരിശോധന നിങ്ങളുടെ സ്കോറും ആദ്യ കണ്ടെത്തലും കാണിക്കുന്നു; പൂർണ റിപ്പോർട്ടിന് $29, ഒറ്റത്തവണ.
PerplexityBot-ന് ക്രോൾ ചെയ്യാൻ അനുമതിയുള്ളതും അതിന് യഥാർത്ഥത്തിൽ ലഭിക്കുന്നതുമായ പേജുകൾ മാത്രമേ Perplexity-ക്ക് കാണിക്കാനും ലിങ്ക് ചെയ്യാനും കഴിയൂ. സാധാരണ കാരണങ്ങൾ: PerplexityBot-നെ വിലക്കുന്ന ഒരു robots.txt നിയമം, അതിന് 403 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് നൽകുന്ന ഫയർവാൾ അല്ലെങ്കിൽ CDN, JavaScript പ്രവർത്തിച്ച ശേഷം മാത്രം വരുന്ന ടെക്സ്റ്റ്. മൂന്നും പരിശോധിക്കുക, തുടർന്ന് Perplexity പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളെ അനുവദിക്കുക. Perplexity നിങ്ങളെയല്ല, ഒരു എതിരാളിയെ ഉദ്ധരിക്കുന്നുവെങ്കിൽ, ആദ്യം ഈ തടയലുകൾ ഒഴിവാക്കുക, തുടർന്ന് ഒരേ ചോദ്യത്തിന് അത് ഉദ്ധരിക്കുന്ന പേജുമായി നിങ്ങളുടെ പേജ് താരതമ്യം ചെയ്യുക.
3 ഘട്ടങ്ങളിലായി തടസ്സം കണ്ടെത്തുക
- robots.txt പരിശോധിക്കുക
PerplexityBot-ന്റെ പേരുള്ള ഒരു ഗ്രൂപ്പ് തിരയുക. ഇല്ലെങ്കിൽUser-agent: *ഗ്രൂപ്പ് ബാധകമാകും, പേരുള്ള ഗ്രൂപ്പ്*-നെ പൂർണമായും മാറ്റിസ്ഥാപിക്കും. - ബ്രൗസറും ക്രോളറും താരതമ്യം ചെയ്യുക
പേജ് ഒരു ബ്രൗസറായും ഓരോ Perplexity ഏജന്റായും അഭ്യർത്ഥിക്കുക. ഏജന്റുകൾക്ക് മാത്രം 403, 429 അല്ലെങ്കിൽ 503,
Just a moment...പേജ്, അല്ലെങ്കിൽ വളരെ ചെറിയ 200 എന്നിവ ഫയർവാളിലേക്ക് വിരൽ ചൂണ്ടുന്നു. - പേജ് സോഴ്സ് നോക്കുക
curlഉപയോഗിച്ച് പേജ് എടുത്ത് നിങ്ങളുടെ പ്രധാന ഉള്ളടക്കത്തിലെ ഒരു വാചകം തിരയുക. ഇല്ലെങ്കിൽ സ്ക്രിപ്റ്റുകളാണ് ടെക്സ്റ്റ് ചേർക്കുന്നത്: അത് സെർവറിൽ റെൻഡർ ചെയ്യുക.
പതിവ് ചോദ്യങ്ങൾ
Perplexity എന്നെയല്ലാതെ എന്റെ എതിരാളിയെ ശുപാർശ ചെയ്യുന്നത് എന്തുകൊണ്ട്?
ഉറവിടങ്ങൾ എങ്ങനെ തിരഞ്ഞെടുക്കുന്നുവെന്ന് Perplexity പ്രസിദ്ധീകരിക്കുന്നില്ല, പക്ഷേ അതിന്റെ ഏജന്റുകൾക്ക് വായിക്കാനാകുന്ന പേജുകൾ മാത്രമേ അതിന് ഉദ്ധരിക്കാനാകൂ. ആദ്യം PerplexityBot-നും Perplexity-User-നും നിങ്ങളുടെ പേജ് ലഭിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക. ലഭിക്കുന്നുണ്ടെങ്കിൽ, ഒരേ ചോദ്യത്തിന് Perplexity ഉദ്ധരിക്കുന്ന പേജ് തുറന്ന് താരതമ്യം ചെയ്യുക: നിങ്ങളുടേത് കൃത്യമായി ആ ചോദ്യത്തിന് മുകൾഭാഗത്ത് തന്നെ, വസ്തുതകൾ ടെക്സ്റ്റിൽ പറഞ്ഞുകൊണ്ട്, ഉത്തരം നൽകുന്നുണ്ടോ? AISeeWhy-യുടെ “AI-യിലെ ദൃശ്യത” പരിശോധന നിങ്ങളുടെ ഉപഭോക്താക്കളുടെ ചോദ്യങ്ങൾ Perplexity-യിലും മറ്റ് മൂന്ന് അസിസ്റ്റന്റുകളിലും ചോദിച്ച്, നിങ്ങൾക്കൊപ്പം ഏതൊക്കെ എതിരാളികളുടെ പേര് വരുന്നുവെന്ന് കാണിക്കുന്നു.
Perplexity എന്റെ ഉള്ളടക്കത്തിൽ അതിന്റെ മോഡലുകളെ പരിശീലിപ്പിക്കുന്നുണ്ടോ?
AI ഫൗണ്ടേഷൻ മോഡലുകൾക്കായി ഉള്ളടക്കം ക്രോൾ ചെയ്യാൻ PerplexityBot ഉപയോഗിക്കുന്നില്ലെന്നും Perplexity-User പരിശീലനത്തിനായി ഉള്ളടക്കം ശേഖരിക്കുന്നില്ലെന്നും Perplexity പറയുന്നു. അതിനാൽ PerplexityBot-നെ വിലക്കുന്നത് പരിശീലനത്തിൽ നിന്നുള്ള ഒഴിവാകലായി പ്രവർത്തിക്കുന്നില്ല; Perplexity-യുടെ സെർച്ച് ഫലങ്ങളിലെ നിങ്ങളുടെ ദൃശ്യത കുറയ്ക്കുക മാത്രമേ ചെയ്യൂ.
robots.txt ശരിയാക്കിയ ശേഷം Perplexity അത് ശ്രദ്ധിക്കാൻ എത്ര സമയമെടുക്കും?
robots.txt മാറ്റങ്ങൾ അതിന്റെ സിസ്റ്റങ്ങളിൽ പ്രതിഫലിക്കാൻ 24 മണിക്കൂർ വരെ എടുത്തേക്കാമെന്ന് Perplexity പറയുന്നു. ഫയർവാൾ മാറ്റങ്ങൾ നിങ്ങളുടെ ദാതാവ് പ്രയോഗിക്കുമ്പോൾ പ്രാബല്യത്തിൽ വരും, പക്ഷേ ഫലം വിലയിരുത്തുന്നതിന് മുമ്പ് ക്രോളറിന് തിരികെ വരാൻ സമയം നൽകുക.
robots.txt ഉപയോഗിച്ച് Perplexity-User-നെ തടയാനാകുമോ?
വിശ്വസനീയമായി കഴിയില്ല. ഒരു ഉപയോക്താവ് അഭ്യർത്ഥിച്ചതിനാൽ ഈ ഫെച്ചർ സാധാരണയായി robots.txt അവഗണിക്കുന്നുവെന്ന് Perplexity പറയുന്നു. അത് തടയണമെങ്കിൽ, അതിന്റെ പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളുമായി ഒത്തുനോക്കുന്ന ഒരു ഫയർവാൾ നിയമമാണ് ആശ്രയിക്കാവുന്ന നിയന്ത്രണം.
Perplexity ട്രാഫിക് തിരിച്ചറിയാൻ യൂസർ ഏജന്റ് പരിശോധന മതിയോ?
ഇല്ല. യൂസർ ഏജന്റുകൾ എളുപ്പത്തിൽ പകർത്താം. ഉറവിട IP-യെ Perplexity perplexitybot.json, perplexity-user.json എന്നിവയിൽ പ്രസിദ്ധീകരിക്കുന്ന ശ്രേണികളുമായി താരതമ്യം ചെയ്യുക, ഫയർവാൾ നിയമങ്ങളിൽ യൂസർ ഏജന്റും IP-യും ഒരുമിച്ച് ഒത്തുനോക്കുക.
പൂർണ ഗൈഡ് വായിക്കുക
നിങ്ങളുടെ ഉൽപ്പന്നത്തെക്കുറിച്ച് Perplexity-യോട് ചോദിക്കുമ്പോൾ അത് ഒരു എതിരാളിയെയോ റിവ്യൂ സൈറ്റിനെയോ ഫോറം ത്രെഡിനെയോ ഉദ്ധരിക്കുന്നു, നിങ്ങളുടെ സ്വന്തം പേജുകളെ ഒരിക്കലുമില്ല. ചിലപ്പോൾ അത് പ്രസക്തിയുടെ പ്രശ്നമാണ്. പലപ്പോഴും അത് കുറച്ച് മിനിറ്റുകൾക്കുള്ളിൽ കണ്ടെത്താവുന്ന ഒരു സാങ്കേതിക തടസ്സമാണ്. Perplexity ഏതൊക്കെ ഏജന്റുകൾ ഉപയോഗിക്കുന്നു, ഓരോന്നും എന്ത് ചെയ്യുന്നു, അവയുടെ ട്രാഫിക് എവിടെ നിന്ന് വരുന്നു എന്ന് രേഖപ്പെടുത്തിയിട്ടുണ്ട്. അതിനാൽ ശൃംഖലയിലെ ഓരോ കണ്ണിയും പരിശോധിക്കാം: robots.txt, നിങ്ങളുടെ സെർവർ അയയ്ക്കുന്ന മറുപടി, ആ മറുപടിയിൽ എന്തുണ്ട് എന്നത്.
Perplexity പേജുകൾ എങ്ങനെ കണ്ടെത്തി വായിക്കുന്നു?
Perplexity രണ്ട് ഏജന്റുകളെ രേഖപ്പെടുത്തുന്നു. അവയ്ക്ക് വ്യത്യസ്ത ജോലികളാണ്, ഏതെങ്കിലും ഒന്നിലെ പ്രശ്നം നിങ്ങളുടെ പേജിനെ ഉത്തരത്തിൽ നിന്ന് പുറത്താക്കാം.
- Perplexity-യുടെ സെർച്ച് ഫലങ്ങളിൽ വെബ്സൈറ്റുകൾ കാണിക്കാനും ലിങ്ക് ചെയ്യാനുമാണ്
PerplexityBot. അവിടെ പ്രത്യക്ഷപ്പെടണമെങ്കിൽ robots.txt-ൽ അതിനെ അനുവദിക്കാൻ Perplexity ശുപാർശ ചെയ്യുന്നു; AI ഫൗണ്ടേഷൻ മോഡലുകൾക്കായി ഉള്ളടക്കം ക്രോൾ ചെയ്യാൻ ഇത് ഉപയോഗിക്കുന്നില്ലെന്നും പറയുന്നു. Perplexity-Userഉപയോക്താക്കളുടെ പ്രവൃത്തികളെ പിന്തുണയ്ക്കുന്നു. ആരെങ്കിലും ഒരു ചോദ്യം ചോദിക്കുമ്പോൾ, ഉത്തരം നൽകാൻ സഹായിക്കുന്നതിനായി അത് ഒരു പേജ് സന്ദർശിച്ച് ആ പേജിലേക്ക് ലിങ്ക് നൽകിയേക്കാം. വെബ് ക്രോളിംഗിനോ പരിശീലന ഡാറ്റ ശേഖരിക്കാനോ ഇത് ഉപയോഗിക്കുന്നില്ലെന്ന് Perplexity പറയുന്നു.
പ്രായോഗികമായി, ആരെങ്കിലും ചോദിക്കുന്നതിന് മുമ്പുതന്നെ Perplexity-ക്ക് നിങ്ങളുടെ പേജുകളെക്കുറിച്ച് അറിയാമോ എന്ന് PerplexityBot തീരുമാനിക്കുന്നു; ഒരു ചോദ്യത്തിന് ആവശ്യമുള്ളപ്പോൾ പേജ് തത്സമയം തുറക്കാനാകുമോ എന്ന് Perplexity-User തീരുമാനിക്കുന്നു. നിങ്ങൾ ഉദ്ധരിക്കപ്പെടണമെങ്കിൽ, ബ്രൗസറിന് ലഭിക്കുന്ന അതേ പേജ് രണ്ടിനും ലഭിക്കണം.
നിങ്ങളുടെ robots.txt PerplexityBot-നെ തടയുന്നുണ്ടോ?
https://yourdomain.com/robots.txt തുറന്ന് PerplexityBot എന്ന് പേരെടുത്ത് പറയുന്ന ഒരു ഗ്രൂപ്പ് ഉണ്ടോ എന്ന് നോക്കുക. ഇല്ലെങ്കിൽ ക്രോളർ User-agent: * ഗ്രൂപ്പ് പിന്തുടരുന്നു. RFC 9309 അനുസരിച്ച് പേര് ഒത്തുനോക്കുന്നത് വലിയക്ഷരവും ചെറിയക്ഷരവും പരിഗണിക്കാതെയാണ്, പേരുള്ള ഒരു ഗ്രൂപ്പ് * ഗ്രൂപ്പിനോട് കൂട്ടിച്ചേർക്കുകയല്ല, അതിനെ പൂർണ്ണമായി മാറ്റിസ്ഥാപിക്കുകയാണ് ചെയ്യുന്നത്.
ഈ തടയൽ സാധാരണമാണ്. ഏറ്റവും ജനപ്രിയമായ 1,000 ഡൊമെയ്നുകളുടെ robots.txt ഫയലുകളെക്കുറിച്ചുള്ള ഞങ്ങളുടെ പഠനത്തിൽ, robots.txt നൽകിയ 518 സൈറ്റുകളിൽ 86 എണ്ണം (16.6%) PerplexityBot-ന് ഹോം പേജ് വിലക്കിയിരുന്നു. ഞങ്ങൾ പരിശോധിച്ച AI സെർച്ച് ക്രോളറുകളിൽ ഏറ്റവും ഉയർന്ന വിഹിതമായിരുന്നു അത്; OAI-SearchBot 58 സൈറ്റുകളിൽ (11.2%) തടയപ്പെട്ടിരുന്നു. ഇവയിൽ ചില സൈറ്റുകൾ AI പരിശീലനം തടയാനാകാം ഉദ്ദേശിച്ചത്, പക്ഷേ PerplexityBot ഒരു പരിശീലന ക്രോളറല്ലെന്ന് Perplexity പറയുന്നു. അതിനാൽ അതിനെ തടയുന്നത് ആ ലക്ഷ്യം നേടാതെ സെർച്ചിലെ ദൃശ്യത മാത്രം നഷ്ടപ്പെടുത്തുന്നു.
Perplexity-യെ അകത്തേക്ക് കടത്തിവിടുകയും ഒരു സ്വകാര്യ ഭാഗം അടച്ചുവെക്കുകയും ചെയ്യുന്ന സജ്ജീകരണം ഇങ്ങനെയാണ്:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ഫയൽ തന്നെ ശരിയായി മറുപടി നൽകുന്നുണ്ടോ എന്നും പരിശോധിക്കുക. robots.txt ഒരു സെർവർ പിശക് നൽകിയാൽ, സൈറ്റ് മുഴുവൻ വിലക്കപ്പെട്ടതായി ക്രോളർ കണക്കാക്കണമെന്ന് RFC 9309 പറയുന്നു. സ്റ്റാറ്റസ് 200-ഓടെ ഒരു HTML പേജ് നൽകുന്ന robots.txt വിലാസത്തിൽ സാധുവായ നിയമങ്ങളൊന്നുമില്ല. മാറ്റങ്ങൾ പ്രതിഫലിക്കാൻ 24 മണിക്കൂർ വരെ എടുത്തേക്കാമെന്ന് Perplexity പറയുന്നു.
നിങ്ങളുടെ ഫയർവാളോ CDN-ഓ Perplexity-യെ തടയുന്നുണ്ടോ?
robots.txt ഒരു അഭ്യർത്ഥനയാണ്, ആക്സസ് നിയന്ത്രണമല്ല. യഥാർത്ഥത്തിൽ എന്ത് തിരിച്ചയയ്ക്കണമെന്ന് നിങ്ങളുടെ ഫയർവാൾ, CDN അല്ലെങ്കിൽ ബോട്ട് സംരക്ഷണം തീരുമാനിക്കുന്നു. നിങ്ങളുടെ സ്വന്തം ബ്രൗസർ സന്ദർശനങ്ങൾ സാധാരണപോലെ തോന്നുമ്പോഴും അത് Perplexity-ക്ക് 403, 429 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് നൽകാം. വെബ് ആപ്ലിക്കേഷൻ ഫയർവാളിന് പിന്നിലുള്ള സൈറ്റുകൾ അതിന്റെ ബോട്ടുകളെ വ്യക്തമായി അനുവദിക്കേണ്ടി വന്നേക്കാമെന്ന് Perplexity-യുടെ ഡോക്യുമെന്റേഷൻ പറയുന്നു.
ഒരേ URL ഒരു ബ്രൗസറായും ഓരോ Perplexity ഏജന്റായും അഭ്യർത്ഥിച്ച് സ്റ്റാറ്റസും വലിപ്പവും താരതമ്യം ചെയ്ത് പരിശോധിക്കുക:
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
"Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done Perplexity ഏജന്റുകൾക്ക് മാത്രം 403, 429 അല്ലെങ്കിൽ 503, Just a moment... എന്ന തലക്കെട്ടുള്ള പേജ്, അല്ലെങ്കിൽ ബ്രൗസറിന്റേതിനേക്കാൾ വളരെ ചെറിയ 200 മറുപടി എന്നിവയെല്ലാം ഫയർവാളിലേക്ക് വിരൽ ചൂണ്ടുന്നു. ഈ പരിശോധന Perplexity-യുടേതല്ല, നിങ്ങളുടെ IP വിലാസത്തിൽ നിന്നാണ് വരുന്നത്. അതിനാൽ നിങ്ങളുടെ നിയമങ്ങൾ യൂസർ ഏജന്റിനെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നുവെന്ന് ഇത് കാണിക്കുന്നു; IP അടിസ്ഥാനമാക്കിയുള്ള നിയമങ്ങൾ യഥാർത്ഥ ക്രോളറിന് വ്യത്യസ്തമായി പ്രവർത്തിച്ചേക്കാം.
നിങ്ങൾ Cloudflare ഉപയോഗിക്കുന്നുണ്ടെങ്കിൽ രണ്ട് കാര്യങ്ങൾ ശ്രദ്ധിക്കുക. WAF കസ്റ്റം നിയമങ്ങൾ ഉപയോഗിച്ച് Bot Fight Mode ഒഴിവാക്കാനാകില്ലെന്ന Cloudflare-ന്റെ സ്വന്തം പ്രസ്താവന Perplexity-യുടെ ഡോക്യുമെന്റേഷൻ ആവർത്തിക്കുന്നു; അതിനാൽ ആ ഫീച്ചർ Perplexity-യെ ചലഞ്ച് ചെയ്യുന്നുണ്ടെങ്കിൽ ഒരു അനുവദിക്കൽ നിയമം സഹായിക്കില്ല. കൂടാതെ, പ്രഖ്യാപിക്കാത്ത ക്രോളിംഗ് എന്ന് വിശേഷിപ്പിച്ച ഒന്ന് നിരീക്ഷിച്ചതിനെത്തുടർന്ന് Perplexity-യെ സ്ഥിരീകരിച്ച ബോട്ടുകളുടെ പട്ടികയിൽ നിന്ന് നീക്കം ചെയ്തതായി 2025 ഓഗസ്റ്റിൽ Cloudflare പറഞ്ഞു; Perplexity ആ വിവരണത്തെ എതിർത്തു. അതിനാൽ സ്ഥിരീകരിച്ച ബോട്ടുകളെ മാത്രം കടത്തിവിടുന്ന നിയമങ്ങൾ Perplexity-യെ ഉൾക്കൊള്ളണമെന്നില്ല. ഊഹിക്കുന്നതിന് പകരം നിങ്ങളുടെ ഡാഷ്ബോർഡിൽ നിലവിലെ സ്ഥിതി പരിശോധിക്കുക.
പ്രസിദ്ധീകരിച്ച IP ശ്രേണികൾ ഉപയോഗിച്ച് Perplexity-യെ എങ്ങനെ അനുവദിക്കാം?
PerplexityBot ആണെന്ന് അവകാശപ്പെടുന്ന അഭ്യർത്ഥന ആർക്കും അയയ്ക്കാം, അതിനാൽ യൂസർ ഏജന്റ് മാത്രം ഒത്തുനോക്കുന്ന അനുവദിക്കൽ നിയമം അനുകരിക്കുന്നവരെയും അകത്തേക്ക് കടത്തിവിടുന്നു. Perplexity രണ്ട് ഏജന്റുകളുടെയും വിലാസ ശ്രേണികൾ പ്രസിദ്ധീകരിക്കുന്നു, യൂസർ ഏജന്റും IP വിലാസവും ഒരുമിച്ച് ഒത്തുനോക്കാൻ ശുപാർശ ചെയ്യുന്നു:
curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix' ഈ പട്ടികകൾ പതിവായി അപ്ഡേറ്റ് ചെയ്യുന്നുവെന്ന് Perplexity പറയുന്നു, നിങ്ങളുടെ WAF നിയമങ്ങളുടെ അപ്ഡേറ്റുകൾ ഓട്ടോമേറ്റ് ചെയ്യാനും നിർദ്ദേശിക്കുന്നു. അഭ്യർത്ഥനകളെ തടയുകയോ ചലഞ്ച് ചെയ്യുകയോ ചെയ്യുന്ന ഏത് നിയമത്തിനും മുകളിൽ അനുവദിക്കൽ നിയമം വെക്കുക: Cloudflare-ന്റെ കസ്റ്റം നിയമങ്ങളിൽ ആദ്യം, അല്ലെങ്കിൽ AWS WAF-ൽ കുറഞ്ഞ പ്രയോറിറ്റി നമ്പറോടെ. തുടർന്ന് ലോഗുകൾ നിരീക്ഷിക്കുക, കാരണം ഫയർവാൾ മാറ്റങ്ങൾ വ്യാപിക്കാൻ സമയമെടുത്തേക്കാം.
JavaScript റെൻഡറിംഗ് കാരണം Perplexity-ക്ക് പേജ് വായിക്കാനാകാതെ വരുമോ?
വരാം. Perplexity-യുടെ ക്രോളർ ഡോക്യുമെന്റേഷൻ അതിന്റെ ഏജന്റുകൾ JavaScript പ്രവർത്തിപ്പിക്കുന്നുണ്ടോ എന്ന് പറയുന്നില്ല. അതിനാൽ ക്രോളറിന് ആവശ്യമായ ടെക്സ്റ്റ് സെർവർ അയയ്ക്കുന്ന HTML-ൽ ഉണ്ടായിരിക്കണം എന്ന് കരുതുന്നതാണ് സുരക്ഷിതം. സെർവർ റെൻഡറിംഗ് ഇല്ലാത്ത സിംഗിൾ-പേജ് ആപ്പുകൾ പോലെ പൂർണ്ണമായും ബ്രൗസറിൽ നിർമ്മിക്കുന്ന പേജുകൾ, ലോഡിംഗ് സ്പിന്നർ മാത്രമുള്ള ഒഴിഞ്ഞ ചട്ടക്കൂടായി എത്താം.
curl ഉപയോഗിച്ച് പേജ് എടുത്ത് നിങ്ങളുടെ പ്രധാന ഉള്ളടക്കത്തിലെ ഒരു വാക്യം ഔട്ട്പുട്ടിൽ തിരയുന്നതാണ് പെട്ടെന്നുള്ള പരിശോധന. അത് അവിടെ ഇല്ലെങ്കിൽ, ടെക്സ്റ്റ് സ്ക്രിപ്റ്റുകളാണ് ചേർക്കുന്നത്. സെർവർ-സൈഡ് റെൻഡറിംഗ്, സ്റ്റാറ്റിക് ജനറേഷൻ അല്ലെങ്കിൽ ക്രോളറുകൾക്കായുള്ള പ്രീറെൻഡറിംഗ് Perplexity-ക്ക് മാത്രമല്ല, എല്ലാ AI ക്രോളറുകൾക്കും ഒരേസമയം ഇത് പരിഹരിക്കുന്നു.
എല്ലാം തുറന്നിട്ടും എന്റെ സൈറ്റ് കാണിക്കുന്നില്ലെങ്കിലോ?
വായിക്കാനാകുന്നത് ഒരു മുൻവ്യവസ്ഥയാണ്, ഉറപ്പല്ല. ഏത് ഉറവിടങ്ങളാണ് ഉദ്ധരിക്കേണ്ടതെന്ന് എങ്ങനെ തിരഞ്ഞെടുക്കുന്നു എന്ന് Perplexity പ്രസിദ്ധീകരിക്കുന്നില്ല. അതിനാൽ എല്ലാ ഏജന്റുകൾക്കും വായിക്കാനാകുന്ന ഒരു പേജ്, ചോദ്യത്തിന് കൂടുതൽ നേരിട്ട് ഉത്തരം നൽകുന്ന പേജുകളോട് പിന്തള്ളപ്പെട്ടേക്കാം. നിങ്ങൾക്ക് നിയന്ത്രിക്കാനാകുന്നത്, സാങ്കേതികമായി ഒന്നും വഴിമുടക്കുന്നില്ല എന്നതാണ്: വ്യക്തമായ പേജ് തലക്കെട്ട്, ടെക്സ്റ്റിന്റെ തുടക്കത്തിൽ തന്നെ ഉത്തരം, നിങ്ങൾ മറ്റിടങ്ങളിൽ പറയുന്നതുമായി യോജിക്കുന്ന കൃത്യമായ വസ്തുതകൾ.
robots.txt എന്തൊക്കെ ഉൾക്കൊള്ളുന്നില്ല എന്നതും ഓർക്കുക. ഒരു ഉപയോക്താവ് അഭ്യർത്ഥിച്ചതിനാൽ Perplexity-User സാധാരണയായി robots.txt അവഗണിക്കുന്നുവെന്ന് Perplexity പറയുന്നു. അതിനാൽ Perplexity-User-നുള്ള ഒരു നിയമം തത്സമയ സന്ദർശനങ്ങൾ തടയാനുള്ള വിശ്വസനീയമായ മാർഗമല്ല, അതിനെ അനുവദിക്കുന്ന robots.txt അത് നിങ്ങളുടെ ഫയർവാൾ കടക്കുന്നു എന്നതിന് തെളിവുമല്ല.
AISeeWhy ഒരു ബ്രൗസറിനൊപ്പം PerplexityBot, Perplexity-User, മറ്റ് 12 ക്രോളറുകൾ എന്നിവയായി നിങ്ങളുടെ പേജ് അഭ്യർത്ഥിക്കുന്നു, ഓരോന്നിനും നിങ്ങളുടെ robots.txt നിയമങ്ങൾ പ്രയോഗിക്കുന്നു, ചലഞ്ച് പേജുകൾ തിരിച്ചറിയുന്നു, JavaScript ഇല്ലാതെ ടെക്സ്റ്റിന്റെ എത്ര ഭാഗം എത്തുന്നുവെന്ന് കാണിക്കുന്നു. അങ്ങനെ ശൃംഖലയിലെ ഏത് കണ്ണിയാണ് പരാജയപ്പെടുന്നതെന്ന് നിങ്ങൾക്ക് കാണാം.
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- AI ക്രോളർ IP പരിശോധന
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
ഉറവിടങ്ങൾ
- Perplexity: Perplexity ക്രോളറുകൾ
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Bot Fight Mode
- Cloudflare: വിലക്കുകൾ മറികടക്കാൻ Perplexity രഹസ്യവും പ്രഖ്യാപിക്കാത്തതുമായ ക്രോളറുകൾ ഉപയോഗിക്കുന്നു
- Perplexity: ഏജന്റുകളോ ബോട്ടുകളോ? തുറന്ന വെബിലെ AI-യെ മനസ്സിലാക്കൽ
- AISeeWhy: AI ക്രോളർ ആക്സസ് റിപ്പോർട്ട്, 2026-11