ഒരു ക്രോളറിന്റെ ഔദ്യോഗികമായി പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളിൽ ഉണ്ടോ എന്ന് കാണാൻ നിങ്ങളുടെ സെർവർ ലോഗുകളിൽ നിന്നുള്ള IP വിലാസം ഒട്ടിക്കുക. GPTBot അല്ലെങ്കിൽ PerplexityBot എന്ന് സ്വയം വിളിക്കുന്നതും എന്നാൽ മറ്റൊരു വിലാസത്തിൽ നിന്ന് വരുന്നതുമായ അഭ്യർത്ഥന ആ ക്രോളർ അല്ല, AI ഉത്തരങ്ങളിലെ ദൃശ്യത നഷ്ടപ്പെടാതെ നിങ്ങൾക്ക് അതിനെ തടയാം.
ഏതൊക്കെ ക്രോളറുകൾ അവയുടെ IP വിലാസങ്ങൾ പ്രസിദ്ധീകരിക്കുന്നു?
OpenAI, Perplexity, Google, Microsoft, Apple എന്നിവ അവയുടെ ക്രോളറുകളുടെ IP ശ്രേണികൾ JSON ഫയലുകളായി പ്രസിദ്ധീകരിക്കുന്നു, ഞങ്ങൾ അവ ദിവസവും വായിക്കുന്നു. മറ്റ് ചില AI കമ്പനികൾ ശ്രേണികൾ പ്രസിദ്ധീകരിക്കുന്നില്ല; അവയ്ക്ക് reverse DNS അല്ലെങ്കിൽ വെണ്ടറുടെ ഡോക്യുമെന്റേഷൻ മാത്രമാണ് പരിശോധനാ മാർഗം. ഒരു ലോഗിലെ എല്ലാ AI ക്രോളർ സന്ദർശനങ്ങളും ഒറ്റയടിക്ക് കാണാൻ, നിങ്ങളുടെ AISeeWhy അക്കൗണ്ടിൽ ലോഗ് അപ്ലോഡ് ചെയ്യുക.
ഈ വാചകം ഇംഗ്ലീഷിൽ നിന്ന് യന്ത്രം ഉപയോഗിച്ച് വിവർത്തനം ചെയ്തതാണ്.
ഈ IP പരിശോധന എന്ത് ചെയ്യുന്നു
നിങ്ങളുടെ സെർവർ അല്ലെങ്കിൽ ഫയർവാൾ ലോഗുകളിൽ നിന്ന് ഒരു IPv4 അല്ലെങ്കിൽ IPv6 വിലാസം ഒട്ടിക്കുക. ക്രോളർ ഓപ്പറേറ്റർമാർ സ്വയം പ്രസിദ്ധീകരിക്കുന്ന IP റേഞ്ചുകളിൽ പരിശോധന അത് തിരയുന്നു: GPTBot, OAI-SearchBot, ChatGPT-User എന്നിവയ്ക്ക് OpenAI, PerplexityBot, Perplexity-User എന്നിവയ്ക്ക് Perplexity, Googlebot-ന് Google, Bingbot-ന് Microsoft, Applebot-ന് Apple. പ്രസിദ്ധീകരിച്ച ആ ലിസ്റ്റുകൾ ഞങ്ങൾ ദിവസവും വായിക്കുന്നു. ആ വിലാസം ഏതൊക്കെ ക്രോളറുകളുടെ റേഞ്ചുകളിലാണോ അവയുടെയെല്ലാം പേര് ഉത്തരം പറയുന്നു, അല്ലെങ്കിൽ ഒന്നിലും ഇല്ലെന്ന് പറയുന്നു.
ഫലം എങ്ങനെ വായിക്കാം
ഒരു ക്രോളറിന്റെ പ്രസിദ്ധീകരിച്ച റേഞ്ചുകളിൽ: അഭ്യർത്ഥന ആ ഓപ്പറേറ്ററുടെ നെറ്റ്വർക്കിൽ നിന്നാണ് വന്നത്. പൊരുത്തപ്പെടുന്ന യൂസർ ഏജന്റിനൊപ്പം, അത് യഥാർത്ഥ ക്രോളർ ആയിരുന്നു എന്നതിന് ശക്തമായ തെളിവാണ്.
പ്രസിദ്ധീകരിച്ച ഒരു റേഞ്ചിലുമില്ല: ലിസ്റ്റിലെ ക്രോളറുകളിൽ ഒന്നാണെന്ന് അഭ്യർത്ഥന അവകാശപ്പെട്ടെങ്കിൽ, അത് അല്ലായിരുന്നു. മറ്റാരോ ആ പേര് ഉപയോഗിച്ചു, AI ഉത്തരങ്ങളിലെ ദൃശ്യത നഷ്ടപ്പെടാതെ നിങ്ങൾക്ക് ആ വിലാസം തടയാം.
താരതമ്യം ചെയ്തത്: റേഞ്ചുകൾ താരതമ്യം ചെയ്ത ക്രോളറുകളുടെ ലിസ്റ്റ്. ഈ ലിസ്റ്റിൽ ഇല്ലാത്ത ഒരു ക്രോളറിനെ ഇവിടെ സ്ഥിരീകരിക്കാനോ തള്ളിക്കളയാനോ കഴിയില്ല.
ആർക്കും GPTBot ആണെന്ന് അവകാശപ്പെടാനാകുന്നത് എന്തുകൊണ്ട്
യൂസർ ഏജന്റ് എന്നത് ക്ലയന്റ് അയയ്ക്കുന്ന ഒരു വാചക വരിയാണ്, ആർക്കും അതിൽ GPTBot അല്ലെങ്കിൽ Googlebot എന്ന് എഴുതാം. ലളിതമായ ഫിൽട്ടറുകൾ മറികടക്കാൻ സ്ക്രേപ്പറുകൾ ഇങ്ങനെ ചെയ്യുന്നു. അതുകൊണ്ടാണ് യൂസർ ഏജന്റ് മാത്രം നോക്കുന്ന ഫയർവാളുകൾ രണ്ട് ദിശയിലും കബളിപ്പിക്കപ്പെടുന്നത്: അവ വ്യാജ ക്രോളറുകളെ അകത്ത് കടത്തുന്നു, അല്ലെങ്കിൽ ഒരു വ്യാജ ക്രോളറിനെതിരെ എഴുതിയ നിയമം യഥാർത്ഥ ക്രോളറിനെയും തടയുന്നു. IP വിലാസം ഓപ്പറേറ്ററുടെ പ്രസിദ്ധീകരിച്ച ലിസ്റ്റുമായി ഒത്തുനോക്കുന്നതാണ് അവയെ വേർതിരിക്കാനുള്ള വഴി.
ഞങ്ങൾ വായിക്കുന്ന റേഞ്ച് ഓപ്പറേറ്റർമാർ പ്രസിദ്ധീകരിക്കാത്ത ക്രോളറുകൾക്ക്, ഓപ്പറേറ്ററുടെ സ്വന്തം ഡോക്യുമെന്റേഷൻ ഉപയോഗിക്കുക. Google, Microsoft, Apple എന്നിവ ഒരു DNS പരിശോധനയും പിന്തുണയ്ക്കുന്നു: വിലാസത്തിന്റെ ഹോസ്റ്റ് നെയിം കണ്ടെത്തുക, അത് googlebot.com, google.com, search.msn.com അല്ലെങ്കിൽ applebot.apple.com പോലുള്ള ഓപ്പറേറ്ററുടെ ഡൊമെയ്നിൽ അവസാനിക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക, പിന്നെ ആ ഹോസ്റ്റ് നെയിം വീണ്ടും തിരഞ്ഞ് അത് അതേ വിലാസം നൽകുന്നുവെന്ന് സ്ഥിരീകരിക്കുക.
host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
സാധാരണ തെറ്റുകൾ
ഒരു വ്യാജ ക്രോളറിന്റെ ദുരുപയോഗം കണ്ടശേഷം ക്രോളറിനെ പേര് വച്ച് തടയുന്നത്. പകരം ദുരുപയോഗം ചെയ്യുന്ന വിലാസങ്ങൾ തടയുക, അല്ലെങ്കിൽ യഥാർത്ഥ ക്രോളറിനെയും നഷ്ടപ്പെടും.
യൂസർ ഏജന്റ് GPTBot എന്ന് പറയുന്ന ഏത് അഭ്യർത്ഥനയും അനുവദിക്കുന്നത്. നിങ്ങളുടെ ഫയർവാൾ നിയമത്തിൽ യൂസർ ഏജന്റിനെ പ്രസിദ്ധീകരിച്ച റേഞ്ചുകളുമായി സംയോജിപ്പിക്കുക.
ഒരു പ്രോക്സിയുടെ വിലാസം പരിശോധിക്കുന്നത്. ഒരു CDN-നോ ലോഡ് ബാലൻസറിനോ പിന്നിൽ, നിങ്ങളുടെ സെർവർ സന്ദർശകനെയല്ല, പ്രോക്സിയെ ലോഗ് ചെയ്തേക്കാം; ക്ലയന്റ് വിലാസം വഹിക്കുന്ന ഹെഡർ ഉപയോഗിക്കുക.
റേഞ്ചുകളുടെ പഴയ കോപ്പി സൂക്ഷിക്കുന്നത്. ഓപ്പറേറ്റർമാർ അവ മാറ്റുന്നു; മാസങ്ങൾ പഴക്കമുള്ള ലിസ്റ്റിൽ നിന്ന് നിർമ്മിച്ച നിയമങ്ങൾ യഥാർത്ഥ ക്രോളറുകളെ തടഞ്ഞേക്കാം.
ഒരു വിലാസത്തിൽ നിന്ന് മുഴുവൻ ലോഗിലേക്ക്
ഈ പരിശോധന ഒരു സമയം ഒരു വിലാസത്തിന് ഉത്തരം നൽകുന്നു. നിങ്ങളുടെ AISeeWhy അക്കൗണ്ടിൽ, പണമടച്ചുള്ള പ്ലാനുകളിലെ സെർവർ ലോഗ് പരിശോധന ഒരു ആക്സസ് ലോഗ് മുഴുവൻ വായിച്ച്, ഓരോ AI ക്രോളറിന്റെയും സന്ദർശനങ്ങൾ എണ്ണി, പ്രസിദ്ധീകരിച്ച ഈ റേഞ്ചുകൾ ഉപയോഗിച്ച് യഥാർത്ഥ ക്രോളറുകളെ വ്യാജന്മാരിൽ നിന്ന് വേർതിരിച്ച്, നിങ്ങളുടെ സെർവർ അവയ്ക്ക് എങ്ങനെ മറുപടി നൽകിയെന്ന് കാണിക്കുന്നു.
പതിവ് ചോദ്യങ്ങൾ
ഈ പരിശോധനയിൽ ClaudeBot ഉണ്ടോ?
ഇപ്പോൾ ഇല്ല: ഞങ്ങൾ വായിക്കുന്ന പ്രസിദ്ധീകരിച്ച റേഞ്ച് ഫയലുകളുള്ള ക്രോളറുകളെയാണ് പരിശോധന ഉൾക്കൊള്ളുന്നത്, അവ ഫലത്തിന് താഴെ ലിസ്റ്റ് ചെയ്തിരിക്കുന്നു. മറ്റ് ക്രോളറുകൾക്ക്, ഓപ്പറേറ്ററുടെ ഡോക്യുമെന്റേഷൻ പിന്തുടരുക.
ഒരു വിലാസം Googlebot-ന്റെ റേഞ്ചിലാണ്, പക്ഷേ യൂസർ ഏജന്റ് മറ്റൊന്ന് പറയുന്നു. അതിന്റെ അർത്ഥമെന്താണ്?
അഭ്യർത്ഥന Google-ന്റെ നെറ്റ്വർക്കിൽ നിന്നാണ് വന്നത്. Google പല ക്രോളറുകളും ഫെച്ചറുകളും പ്രവർത്തിപ്പിക്കുന്നു; ഏതാണെന്ന് യൂസർ ഏജന്റ് പറയുന്നു. ഇത് Google ആയി നടിക്കുന്ന ഒരു മൂന്നാം കക്ഷിയല്ല.
ഒരേസമയം പല വിലാസങ്ങൾ പരിശോധിക്കാമോ?
ഈ സൗജന്യ ടൂൾ ഉപയോഗിച്ച് പറ്റില്ല. അതിലെ ഓരോ സന്ദർശനവും പരിശോധിക്കാൻ ലോഗ് നിങ്ങളുടെ അക്കൗണ്ടിൽ അപ്ലോഡ് ചെയ്യുക.
ഞാൻ നൽകുന്ന വിലാസം സൂക്ഷിക്കുന്നുണ്ടോ?
പരിശോധനയ്ക്ക് ഉത്തരം നൽകാൻ അത് ഉപയോഗിക്കുന്നു, നിങ്ങളുടെ അഭ്യർത്ഥനയ്ക്കൊപ്പം സേവ് ചെയ്യുന്നില്ല.