ChatGPT-ക്ക് എന്റെ വെബ്സൈറ്റ് കാണാനാകുമോ? എങ്ങനെ പരിശോധിക്കാം

നിങ്ങളുടെ പേജ് പേസ്റ്റ് ചെയ്ത്, ChatGPT-യുടെ ക്രോളറുകൾക്ക് അതിൽ എത്താനും വായിക്കാനും ഉദ്ധരിക്കാനും കഴിയുമോ എന്നും, ഇല്ലെങ്കിൽ എന്ത് മാറ്റണം എന്നും ഏകദേശം 30 സെക്കൻഡിൽ അറിയുക.

സൗജന്യം · സൈൻ-അപ്പ് വേണ്ട · 30 സെക്കൻഡിൽ ഫലം

robots.txt, ക്രോളർ തിരിച്ച്

OAI-SearchBot, ChatGPT-User, GPTBot എന്നിവ RFC 9309 നിയമങ്ങൾ പ്രകാരം വെവ്വേറെ വായിക്കുന്നു, അതിനാൽ ഏതാണ് അനുവദനീയം എന്നും ഏത് വരിയാണ് തീരുമാനിക്കുന്നതെന്നും കാണാം.

ഫയർവാൾ, CDN തടയലുകൾ

നിങ്ങളുടെ പേജ് 14 ക്രോളറുകളായും ഒരു സാധാരണ ബ്രൗസറായും അഭ്യർത്ഥിക്കുന്നു. ക്രോളറുകൾക്ക് മാത്രം ലഭിക്കുന്ന 403, 429 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് അടയാളപ്പെടുത്തുന്നു, പിന്നിലെ ഫയർവാളിന്റെ പേരും കാണിക്കുന്നു.

ക്രോളറിന് യഥാർത്ഥത്തിൽ ലഭിക്കുന്നത്

ഓരോ ക്രോളറിനുമുള്ള സ്റ്റാറ്റസ്, വലുപ്പം, റീഡയറക്ടുകൾ എന്നിവ ബ്രൗസറിന് ലഭിക്കുന്നതുമായി താരതമ്യം ചെയ്യുന്നു, അതിനാൽ ആളുകൾക്ക് നൽകുന്നതിനേക്കാൾ കുറവ് ക്രോളറുകൾക്ക് നൽകുന്ന പേജ് വ്യക്തമായി കാണാം.

ഓരോ കണ്ടെത്തലിനും പരിഹാരം

ഓരോ കണ്ടെത്തലിനും ഒപ്പം വരുത്തേണ്ട മാറ്റവും ഉണ്ട്. സൗജന്യ പരിശോധന നിങ്ങളുടെ സ്കോറും ആദ്യ കണ്ടെത്തലും കാണിക്കുന്നു; പൂർണ റിപ്പോർട്ടിന് $29, ഒറ്റത്തവണ.

ചുരുക്കത്തിൽ

OpenAI-യുടെ സെർച്ച് ക്രോളറായ OAI-SearchBot-ന് പേജ് എടുക്കാൻ അനുമതിയുണ്ടെങ്കിലും ബ്രൗസറിന് ലഭിക്കുന്ന അതേ HTML അതിന് ലഭിക്കുന്നുണ്ടെങ്കിലും മാത്രമേ ChatGPT-ക്ക് നിങ്ങളുടെ പേജ് ഉദ്ധരിക്കാനാകൂ. മൂന്ന് കാര്യങ്ങൾ പരിശോധിക്കുക: നിങ്ങളുടെ robots.txt OAI-SearchBot-നെ വിലക്കുന്നില്ല, നിങ്ങളുടെ ഫയർവാളോ CDN-ഓ അതിന് 403-ഓ ചലഞ്ച് പേജോ നൽകുന്നില്ല, പ്രധാന ടെക്സ്റ്റ് പ്രാരംഭ HTML-ൽ ഉണ്ട്. വായിക്കാനാകുക എന്നത് ശുപാർശ ചെയ്യപ്പെടുക എന്നതിന് തുല്യമല്ല: ChatGPT നിങ്ങളുടെ സൈറ്റിന്റെ പേര് പറയുന്നുണ്ടോ എന്ന് കാണാൻ, നിങ്ങളുടെ ഉപഭോക്താക്കൾ ചോദിക്കുന്ന ചോദ്യങ്ങൾ അതിനോട് ചോദിച്ച് ഏതൊക്കെ സൈറ്റുകൾ ഉദ്ധരിക്കുന്നുവെന്ന് കുറിക്കുക.

3 ഘട്ടങ്ങളിലായി സ്വയം പരിശോധിക്കുക

  1. നിങ്ങളുടെ robots.txt വായിക്കുക

    https://your-site.com/robots.txt തുറക്കുക. OAI-SearchBot, ChatGPT-User എന്നിവയ്ക്കുള്ള ഒരു ഗ്രൂപ്പും User-agent: *-ഉം പേജ് വിലക്കരുത്. GPTBot ട്രെയിനിംഗിന് മാത്രമേ പ്രധാനമാകുന്നുള്ളൂ.

  2. ക്രോളറിന് ലഭിക്കുന്നത് പരീക്ഷിക്കുക

    പേജ് OAI-SearchBot ആയി അഭ്യർത്ഥിക്കുക, അല്ലെങ്കിൽ സൗജന്യ പരിശോധന നടത്തുക. ബ്രൗസറിന് ലഭിക്കുന്ന അതേ ടെക്സ്റ്റോടെ 200 ആയിരിക്കണം മറുപടി, 403 അല്ലെങ്കിൽ ചലഞ്ച് പേജ് ആകരുത്.

  3. ChatGPT-നോട് ചോദിക്കുക

    സെർച്ച് ഓൺ ആക്കി, നിങ്ങളുടെ URL സംഗ്രഹിക്കാനും നിങ്ങളുടെ വാങ്ങുന്നവർ ചോദിക്കുന്ന ഒരു ചോദ്യത്തിന് ഉത്തരം നൽകാനും ആവശ്യപ്പെടുക, തുടർന്ന് അത് പട്ടികപ്പെടുത്തുന്ന ഉറവിടങ്ങൾ നോക്കുക. ആക്സസ് ശരിയായിട്ടും നിങ്ങൾ ഇല്ലെങ്കിൽ, കാരണം ഉള്ളടക്കമാണ്.

പതിവ് ചോദ്യങ്ങൾ

ChatGPT-ക്ക് എന്റെ സൈറ്റ് കാണാനാകുമോ എന്ന് സൗജന്യമായി പരിശോധിക്കാമോ?

ഉവ്വ്. നിങ്ങളുടെ robots.txt വായിക്കുന്നതും OAI-SearchBot യൂസർ ഏജന്റ് ഉപയോഗിച്ചുള്ള ഒരു curl അഭ്യർത്ഥനയും ChatGPT-യിൽ ഒരു ചോദ്യവും സൗജന്യമാണ്. AISeeWhy-യുടെ സൗജന്യ പരിശോധന ദിവസം ഒരു പേജിന് അക്കൗണ്ടില്ലാതെ ക്രോളർ ടെസ്റ്റുകൾ നടത്തുന്നു.

ChatGPT എന്റെ സൈറ്റ് ശുപാർശ ചെയ്യുന്നുണ്ടോ എന്ന് എങ്ങനെ പരിശോധിക്കാം?

സെർച്ച് ഓണാക്കി, നിങ്ങളുടെ ഉപഭോക്താക്കൾ ചോദിക്കുന്ന ചോദ്യങ്ങൾ ChatGPT-യോട് ചോദിക്കുക, അത് നിങ്ങളുടെ സൈറ്റിന്റെ പേര് പറയുന്നുണ്ടോ ലിങ്ക് നൽകുന്നുണ്ടോ, പകരം ഏതൊക്കെ എതിരാളികളുടെ പേര് പറയുന്നു എന്ന് കുറിക്കുക. ഉത്തരങ്ങൾ ഓരോ തവണയും മാറുന്നതിനാൽ, ഓരോ ചോദ്യവും ആവർത്തിച്ച് കുറച്ച് ആഴ്ചകളിലായി വീണ്ടും പരിശോധിക്കുക. AISeeWhy-യുടെ “AI-യിലെ ദൃശ്യത” പരിശോധന നിങ്ങളുടെ സ്വന്തം API കീകൾ ഉപയോഗിച്ച് ChatGPT, Claude, Perplexity, Gemini എന്നിവയിലൂടെ നിങ്ങളുടെ ചോദ്യങ്ങൾ ചോദിക്കുകയും നാല് എതിരാളികൾ വരെ ഉൾപ്പെടെ പരാമർശങ്ങൾ ട്രാക്ക് ചെയ്യുകയും ചെയ്യുന്നു. API വഴിയുള്ള ഉത്തരങ്ങൾ ChatGPT ആപ്പ് കാണിക്കുന്നതിൽ നിന്ന് വ്യത്യസ്തമാകാം.

ChatGPT-ക്ക് എന്റെ സൈറ്റ് കണ്ടെത്താൻ കഴിയാത്തത് എന്തുകൊണ്ട്?

മിക്കപ്പോഴും robots.txt-ൽ OAI-SearchBot വിലക്കിയിരിക്കും, അല്ലെങ്കിൽ ഒരു ഫയർവാൾ അതിന് 403-ഓ ചലഞ്ച് പേജോ നൽകുന്നു, അല്ലെങ്കിൽ JavaScript പ്രവർത്തിച്ച ശേഷം മാത്രമാണ് ടെക്സ്റ്റ് വരുന്നത്. മൂന്നും ശരിയാണെങ്കിൽ, ChatGPT ഉദ്ധരിക്കുന്ന പേജുകളേക്കാൾ കുറച്ച് നേരിട്ടായിരിക്കാം നിങ്ങളുടെ പേജ് ചോദ്യത്തിന് ഉത്തരം നൽകുന്നത്.

GPTBot-നെ തടഞ്ഞാൽ എന്റെ സൈറ്റ് ChatGPT സെർച്ചിൽ നിന്ന് നീക്കം ചെയ്യപ്പെടുമോ?

ഇല്ല. OpenAI ഓരോ ക്രോളർ ക്രമീകരണവും സ്വതന്ത്രമായി കണക്കാക്കുന്നു. GPTBot പരിശീലനവുമായി ബന്ധപ്പെട്ടതാണ്, പേജുകൾ ChatGPT സെർച്ച് ഉത്തരങ്ങളിൽ കാണിക്കാമോ എന്ന് OAI-SearchBot തീരുമാനിക്കുന്നു. ഒന്നിനെ വിലക്കി മറ്റൊന്നിനെ അനുവദിക്കാം.

ChatGPT-User robots.txt പാലിക്കുന്നുണ്ടോ?

ഈ സന്ദർശനങ്ങൾ ഒരു ഉപയോക്താവ് ആരംഭിക്കുന്നതിനാൽ robots.txt നിയമങ്ങൾ ബാധകമാകണമെന്നില്ലെന്ന് OpenAI പറയുന്നു. ആ സന്ദർശനങ്ങൾ തടയണമെങ്കിൽ, robots.txt നിയമം വിശ്വസനീയമായ നിയന്ത്രണമല്ല.

robots.txt മാറ്റം ChatGPT-യിൽ എത്താൻ എത്ര സമയമെടുക്കും?

robots.txt അപ്ഡേറ്റ് മുതൽ സെർച്ചിനായി അതിന്റെ സിസ്റ്റങ്ങൾ ക്രമീകരിക്കാൻ ഏകദേശം 24 മണിക്കൂർ എടുത്തേക്കാമെന്ന് OpenAI പറയുന്നു.

എത്താനാകുന്നത് മാത്രം ഉദ്ധരിക്കപ്പെടാൻ മതിയോ?

ഇല്ല. ആക്‌സസ് ഉദ്ധരണി സാധ്യമാക്കുന്നു; അത് ഉറപ്പുനൽകുന്നില്ല. പേജ് എന്ത് പറയുന്നു, എത്ര വ്യക്തമായി പറയുന്നു എന്നതാണ് ഒരു ഉത്തരത്തിൽ അത് ഉപയോഗിക്കപ്പെടുമോ എന്ന് ഇപ്പോഴും തീരുമാനിക്കുന്നത്.

പൂർണ ഗൈഡ് വായിക്കുക

പല സൈറ്റ് ഉടമകളും സ്വന്തം ഉൽപ്പന്നത്തെക്കുറിച്ച് ChatGPT-യോട് ചോദിക്കുന്നു, പകരം ഒരു എതിരാളി ഉദ്ധരിക്കപ്പെടുന്നത് കാണുന്നു, ChatGPT-ക്ക് തങ്ങളുടെ സൈറ്റിൽ എത്താനാകുമോ എന്ന് സംശയിക്കുന്നു. ഈ ചോദ്യത്തിന് വ്യക്തവും പരിശോധിക്കാവുന്നതുമായ ഉത്തരമുണ്ട്. OpenAI അതിന്റെ ക്രോളറുകളുടെ പേരുകളും ഓരോന്നും എന്ത് ചെയ്യുന്നുവെന്നും പ്രസിദ്ധീകരിക്കുന്നു, അതിനാൽ ശൃംഖലയിലെ ഓരോ കണ്ണിയും പരിശോധിക്കാം: robots.txt നിയമങ്ങൾ, നിങ്ങളുടെ സെർവർ അയയ്ക്കുന്ന മറുപടി, ആ മറുപടിയിലെ ഉള്ളടക്കം.

5 മിനിറ്റ് പരിശോധന, ഘട്ടം ഘട്ടമായി

  1. https://your-site.com/robots.txt തുറന്ന്, OAI-SearchBot, ChatGPT-User അല്ലെങ്കിൽ User-agent: * എന്നിവയ്ക്കുള്ള ഒരു ഗ്രൂപ്പും പേജ് വിലക്കുന്നില്ലെന്ന് ഉറപ്പാക്കുക. GPTBot ട്രെയിനിംഗിന് മാത്രമേ പ്രധാനമാകൂ.
  2. AISeeWhy-ൽ പേജിന്റെ സൗജന്യ പരിശോധന നടത്തുക അല്ലെങ്കിൽ OAI-SearchBot യൂസർ ഏജന്റ് ഉപയോഗിച്ച് ഒരു അഭ്യർത്ഥന അയയ്ക്കുക: അതിന് സ്റ്റാറ്റസ് 200-ഉം ഒരു ബ്രൗസറിന് ലഭിക്കുന്ന അതേ വാചകവും ലഭിക്കണം, 403-ഓ ചലഞ്ച് പേജോ അല്ല.
  3. പേജിന്റെ സോഴ്സ് നോക്കി, പ്രധാന വാചകം HTML-ൽ തന്നെയുണ്ടെന്നും പിന്നീട് JavaScript വഴി ചേർത്തതല്ലെന്നും ഉറപ്പാക്കുക.
  4. സെർച്ച് ഓണാക്കി ChatGPT-യോട് നിങ്ങളുടെ URL സംഗ്രഹിക്കാനും നിങ്ങളുടെ ഉപഭോക്താക്കൾ ചോദിക്കുന്ന ഒരു ചോദ്യത്തിന് ഉത്തരം നൽകാനും ആവശ്യപ്പെടുക. അത് ലിസ്റ്റ് ചെയ്യുന്ന ഉറവിടങ്ങൾ നോക്കുക.

ഘട്ടം 1 അല്ലെങ്കിൽ 2 പരാജയപ്പെട്ടാൽ, ആദ്യം അത് ശരിയാക്കുക: താഴെയുള്ള വിഭാഗങ്ങൾ എങ്ങനെയെന്ന് കാണിക്കുന്നു. നാലും വിജയിച്ചിട്ടും ChatGPT നിങ്ങളെ ഉദ്ധരിക്കുന്നില്ലെങ്കിൽ, കാരണം ഉള്ളടക്കമാണ്, ആക്സസ് അല്ല.

ChatGPT ഉത്തരങ്ങൾക്ക് ഏത് OpenAI ക്രോളറുകളാണ് പ്രധാനം?

സൈറ്റ് ഉടമകൾ സാധാരണ കാണുന്ന മൂന്ന് ഏജന്റുകളെ OpenAI രേഖപ്പെടുത്തുന്നു. അവയ്ക്ക് വ്യത്യസ്ത ജോലികളാണ്, ഒന്നിനെ തടയുന്നത് മറ്റുള്ളവയെ തടയുന്നില്ല. ഓരോ robots.txt ക്രമീകരണവും സ്വതന്ത്രമാണെന്ന് OpenAI വ്യക്തമാക്കുന്നു.

  • OAI-SearchBot ChatGPT-യുടെ സെർച്ച് ഫീച്ചറുകൾക്കായി പേജുകൾ കണ്ടെത്തി ഇൻഡക്സ് ചെയ്യുന്നു. ഇതിൽ നിന്ന് ഒഴിവായ സൈറ്റുകൾ ChatGPT സെർച്ച് ഉത്തരങ്ങളിൽ കാണിക്കില്ലെന്ന് OpenAI പറയുന്നു. നിങ്ങൾ ഉദ്ധരിക്കപ്പെടുമോ എന്ന് തീരുമാനിക്കുന്നത് ഇതാണ്.
  • GPTBot OpenAI-യുടെ ഫൗണ്ടേഷൻ മോഡലുകളെ പരിശീലിപ്പിക്കാൻ ഉപയോഗിച്ചേക്കാവുന്ന ഉള്ളടക്കം ശേഖരിക്കുന്നു. ഇതിനെ വിലക്കുന്നത് നിങ്ങളുടെ ഉള്ളടക്കം പരിശീലനത്തിന് ഉപയോഗിക്കരുതെന്ന് പറയുന്നു. ഇത് നിങ്ങളെ സെർച്ച് ഉത്തരങ്ങളിൽ നിന്ന് നീക്കം ചെയ്യുന്നില്ല.
  • ഒരാൾ ChatGPT-യോട് ആവശ്യപ്പെടുമ്പോൾ, ഉദാഹരണത്തിന് ഒരു ലിങ്ക് ഒട്ടിക്കുമ്പോൾ, ChatGPT-User ഒരു പേജ് സന്ദർശിക്കുന്നു. ഉപയോക്താവ് ആരംഭിക്കുന്ന ഈ സന്ദർശനങ്ങൾക്ക് robots.txt നിയമങ്ങൾ ബാധകമാകണമെന്നില്ലെന്നും, ഉള്ളടക്കം സെർച്ചിൽ പ്രത്യക്ഷപ്പെടണോ എന്ന് തീരുമാനിക്കാൻ ഈ ഏജന്റ് ഉപയോഗിക്കുന്നില്ലെന്നും OpenAI പറയുന്നു.

ചുരുക്കത്തിൽ: OAI-SearchBot ഉദ്ധരണികൾ നിയന്ത്രിക്കുന്നു, GPTBot പരിശീലനം നിയന്ത്രിക്കുന്നു, ChatGPT-User ഉപയോക്താവിന്റെ അഭ്യർത്ഥനപ്രകാരമുള്ള തത്സമയ സന്ദർശനങ്ങൾ കൈകാര്യം ചെയ്യുന്നു.

ChatGPT-ക്കായി എന്റെ robots.txt എങ്ങനെ പരിശോധിക്കാം?

ഒരു ബ്രൗസറിൽ https://yourdomain.com/robots.txt തുറക്കുക. OAI-SearchBot എന്ന് പേരെടുത്ത് പറയുന്ന ഒരു ഗ്രൂപ്പ് തിരയുക. ഇല്ലെങ്കിൽ ക്രോളർ User-agent: * ഗ്രൂപ്പ് പിന്തുടരുന്നു. ബാധകമായ ഗ്രൂപ്പിലെ ഒരു Disallow: / സൈറ്റ് മുഴുവൻ തടയുന്നു.

ഫയൽ മറുപടി നൽകുന്നുണ്ടോ എന്നും പരിശോധിക്കുക. RFC 9309 അനുസരിച്ച്, robots.txt ഒരു സെർവർ പിശക് (5xx) നൽകുകയോ എത്താനാകാതിരിക്കുകയോ ചെയ്താൽ, സൈറ്റ് മുഴുവൻ വിലക്കപ്പെട്ടതായി ക്രോളർ കണക്കാക്കണം. 404 കുഴപ്പമില്ല: നിയമങ്ങളൊന്നുമില്ല എന്നാണ് അതിനർത്ഥം. സ്റ്റാറ്റസ് 200-ഓടെ HTML പേജ് നൽകുന്ന robots.txt വിലാസം ഒരു സാധാരണ തെറ്റാണ്, കാരണം ക്രോളറുകൾ അതിൽ സാധുവായ നിയമങ്ങളൊന്നും കണ്ടെത്തുന്നില്ല.

ChatGPT സെർച്ച് നിലനിർത്തുകയും പരിശീലനത്തിൽ നിന്ന് ഒഴിവാകുകയും ചെയ്യുന്ന സജ്ജീകരണം ഇങ്ങനെയാണ്:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

robots.txt അപ്ഡേറ്റ് ചെയ്ത ശേഷം സെർച്ചിനുള്ള മാറ്റങ്ങൾ പ്രാബല്യത്തിൽ വരാൻ ഏകദേശം 24 മണിക്കൂർ എടുത്തേക്കാമെന്ന് OpenAI പറയുന്നു.

robots.txt അനുവദിച്ചാലും ഫയർവാളിന് ChatGPT-യെ തടയാനാകുമോ?

അതെ, അതൊരു സാധാരണ കാരണമാണ്. robots.txt നല്ല രീതിയിൽ പെരുമാറുന്ന ക്രോളറുകളോടുള്ള ഒരു അഭ്യർത്ഥനയാണ്, ആക്‌സസ് നിയന്ത്രണമല്ല. യഥാർത്ഥത്തിൽ എന്ത് തിരിച്ചയയ്ക്കണമെന്ന് നിങ്ങളുടെ ഫയർവാൾ, CDN അല്ലെങ്കിൽ ബോട്ട് സംരക്ഷണം തീരുമാനിക്കുന്നു. അത് ഒരു AI ക്രോളറിനെ അനാവശ്യ ബോട്ടായി കണക്കാക്കിയാൽ, ക്രോളറിന് 403, 429 അല്ലെങ്കിൽ Cloudflare-ന്റെ “Just a moment...” സ്ക്രീൻ പോലുള്ള ചലഞ്ച് പേജ് ലഭിക്കുന്നു, അതേസമയം ബ്രൗസറിലുള്ള ആളുകൾ പേജ് സാധാരണപോലെ കാണുന്നു.

പുറത്തുനിന്ന് നോക്കുമ്പോൾ ഇത് എല്ലാവർക്കും തുറന്ന സൈറ്റായി തോന്നും. ക്രോളറായി സ്വയം പരിചയപ്പെടുത്തുന്ന ഒരു അഭ്യർത്ഥന മാത്രമേ വ്യത്യാസം കാണിക്കൂ. ആ സാഹചര്യത്തിൽ robots.txt അതെ എന്ന് പറയുന്നു, സെർവർ ഇല്ല എന്ന് പറയുന്നു, ജയിക്കുന്നത് സെർവറാണ്.

OAI-SearchBot-ന് എന്ത് ലഭിക്കുന്നുവെന്ന് എങ്ങനെ പരീക്ഷിക്കാം?

ഒരേ URL-ലേക്ക് രണ്ട് അഭ്യർത്ഥനകൾ അയയ്ക്കുക, ഒന്ന് ബ്രൗസർ യൂസർ ഏജന്റോടെയും മറ്റൊന്ന് ക്രോളറിന്റെ യൂസർ ഏജന്റോടെയും, സ്റ്റാറ്റസ് കോഡും വലിപ്പവും താരതമ്യം ചെയ്യുക. OpenAI ഓരോ ക്രോളറിനും ഒരു ഉദാഹരണ യൂസർ ഏജന്റ് പ്രസിദ്ധീകരിക്കുന്നു; അതിലെ പതിപ്പ് നമ്പർ മാറിയേക്കാം.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

ബ്രൗസറിന് വലിയ ബോഡിയോടെ 200-ഉം ക്രോളറിന് 403, 429, 503 അല്ലെങ്കിൽ വളരെ ചെറിയ ബോഡിയും ലഭിക്കുന്നുവെങ്കിൽ, നിങ്ങളുടെ ഫയർവാൾ ക്രോളറിനെ വ്യത്യസ്തമായി കൈകാര്യം ചെയ്യുന്നു. ഒരു പരിമിതിയുണ്ട്: നിങ്ങളുടെ പരിശോധന OpenAI-യുടേതല്ല, നിങ്ങളുടെ സ്വന്തം IP വിലാസത്തിൽ നിന്നാണ് വരുന്നത്. പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളുമായി ക്രോളറുകളെ സ്ഥിരീകരിക്കുന്ന ഫയർവാളുകൾ (OpenAI അവ openai.com/searchbot.json-ൽ നൽകുന്നു) നിങ്ങളുടെ പരിശോധന തടയുമ്പോഴും യഥാർത്ഥ ക്രോളറിനെ കടത്തിവിട്ടേക്കാം. എന്നിരുന്നാലും ഈ പരിശോധനയിലെ തടയൽ ഫയർവാൾ യൂസർ ഏജന്റിനെ എങ്ങനെ കൈകാര്യം ചെയ്യുന്നുവെന്ന് കാണിക്കുന്നു, അത് പരിഹരിക്കേണ്ടതാണ്.

പേജ് ലോഡ് ആകുന്നുണ്ടെങ്കിലും ChatGPT ഉപയോഗപ്രദമായി ഒന്നും പറയുന്നില്ലെങ്കിലോ?

ആക്‌സസ് ആദ്യപടി മാത്രമാണ്. എത്തുന്ന HTML പിന്നീട് JavaScript നിറയ്ക്കുന്ന ഒഴിഞ്ഞ ചട്ടക്കൂടാണെങ്കിൽ, ക്രോളറിന് മിക്കവാറും ടെക്സ്റ്റ് ഒന്നും ലഭിക്കില്ല. curl ഉപയോഗിച്ചോ ബ്രൗസറിന്റെ view-source ഉപയോഗിച്ചോ റോ HTML നോക്കുക: പ്രധാന ടെക്സ്റ്റ് അവിടെ ഇല്ലെങ്കിൽ, ക്രോളറും അത് കാണുന്നുണ്ടാകില്ല.

അതിന് ശേഷം ഉള്ളടക്ക സിഗ്നലുകൾ വരുന്നു: പേജിന്റെ മുകൾഭാഗത്തിനടുത്ത് വ്യക്തമായ ചെറിയ ഉത്തരം, ആളുകൾ ചോദിക്കുന്ന ചോദ്യങ്ങളുമായി യോജിക്കുന്ന തലക്കെട്ടുകൾ, പേരുള്ള പ്രസാധകനും രചയിതാവും, ദൃശ്യമായ തീയതികൾ. ഇവ ഉദ്ധരണി ഉറപ്പുനൽകുന്നില്ല, പക്ഷേ ഒരു പേജിനെ കൃത്യമായി ഉദ്ധരിക്കാൻ എളുപ്പമാക്കുന്നു.

AISeeWhy ഇത് എങ്ങനെ പരിശോധിക്കുന്നു?

AISeeWhy ഒരു സാധാരണ ബ്രൗസറിനൊപ്പം OAI-SearchBot, GPTBot, ChatGPT-User, മറ്റ് 11 ക്രോളറുകൾ എന്നിവയായി നിങ്ങളുടെ പേജ് എടുക്കുന്നു, RFC 9309 നിയമങ്ങൾ അനുസരിച്ച് നിങ്ങളുടെ robots.txt വായിക്കുന്നു, ഒരു ഫയർവാൾ തടയലോ ചലഞ്ചോ നൽകുമ്പോൾ അതിന്റെ പേര് പറയുന്നു. ഓരോ കണ്ടെത്തലിനും ഒട്ടിക്കാനുള്ള പരിഹാരമുണ്ട്, സൗജന്യ പരിശോധന നിങ്ങളുടെ സ്കോറും ആദ്യ കണ്ടെത്തലും കാണിക്കുന്നു.

ഈ പ്രശ്നത്തിനുള്ള പരിഹാരങ്ങൾ

സൗജന്യ ടൂളുകൾ

അടുത്ത ഘട്ടങ്ങൾ

ഈ ലേഖനത്തിലെ ക്രോളറുകൾ

ഉറവിടങ്ങൾ

കൂടുതൽ ലേഖനങ്ങൾ

പ്രസിദ്ധീകരിച്ചത് · അപ്ഡേറ്റ് ചെയ്തത്