robots.txt GPTBot-നെ അനുവദിക്കുന്നു, പക്ഷേ സെർവർ അതിനെ തടയുന്നു

ചെറിയ ഉത്തരം

നിങ്ങളുടെ robots.txt ഈ ക്രോളറിനെ പേജ് എടുക്കാൻ അനുവദിക്കുന്നു, പക്ഷേ അതിന്റെ യൂസർ ഏജന്റുള്ള അഭ്യർത്ഥന സെർവറോ CDN-ഓ ഫയർവാളോ തടഞ്ഞു. പ്രഖ്യാപിത നയവും യഥാർത്ഥ പെരുമാറ്റവും പൊരുത്തപ്പെടുന്നില്ല. robots.txt-ന് അനുസരിച്ച് ഫയർവാൾ നിയമം മാറ്റുക, അല്ലെങ്കിൽ ക്രോളറിനെ തടയാനാണ് ഉദ്ദേശിച്ചതെങ്കിൽ robots.txt-ൽ അതിനെ വിലക്കുക.

robots.access_conflict · മുൻഗണന: P1–P3, ക്രോളർ തരം അനുസരിച്ച്

ഇതിന്റെ അർത്ഥം

നിങ്ങളുടെ നിയമങ്ങൾ GPTBot-നെ അനുവദിക്കുന്നു, എന്നിട്ടും അതിന്റെ യൂസർ ഏജന്റുള്ള അഭ്യർത്ഥന തടയപ്പെട്ടു. ഫയർവാളോ CDN-ഓ നിങ്ങൾ പ്രഖ്യാപിച്ച നയത്തെ മറികടക്കുന്നു.

AI സെർച്ചിന് ഇത് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്

ക്രോളറുകൾ robots.txt-നെ നിങ്ങളുടെ നയമായി കണക്കാക്കുന്നു. അത് അതെ എന്നും സെർവർ 403 എന്നും പറയുമ്പോൾ, ക്രോളർ അഭ്യർത്ഥനകൾ പാഴാക്കുന്നു, പിന്നീട് വീണ്ടും ശ്രമിച്ചേക്കാം, എന്നിട്ടും പേജ് ഉത്തര എഞ്ചിന്റെ ഇൻഡക്സിൽ എത്തുന്നില്ല. robots.txt അങ്ങനെ പറയുന്നതിനാൽ തങ്ങൾ AI സെർച്ച് അനുവദിക്കുന്നുവെന്ന് ടീമുകൾ പലപ്പോഴും വിശ്വസിക്കുന്നു, അതേസമയം ഒരു ബോട്ട് നിയമം നിശ്ശബ്ദമായി അതിനെ തടയുന്നു.

പരിശോധന സ്ഥിരീകരിക്കാത്ത ഒരു IP വിലാസത്തിൽ നിന്നാണ് നടക്കുന്നത്. പ്രസിദ്ധീകരിച്ച IP ശ്രേണികളിൽ നിന്ന് മാത്രം ക്രോളറിനെ കടത്തിവിടുന്ന ഒരു നിയമം, അത് ന്യായമായ ക്രമീകരണമാണെങ്കിലും, യഥാർത്ഥ ക്രോളർ അകത്ത് കടക്കുന്നുണ്ടെങ്കിൽ പോലും ഇവിടെ കാണിച്ചേക്കാം. എന്തെങ്കിലും മാറ്റുന്നതിന് മുമ്പ് ഏത് നിയമമാണ് പ്രവർത്തിച്ചതെന്ന് പരിശോധിക്കുക.

ഇത് എങ്ങനെ പരിഹരിക്കാം

  1. കണ്ടെത്തലിലെ robots.txt ഗ്രൂപ്പും തടയപ്പെട്ട അഭ്യർത്ഥനയുടെ സ്റ്റാറ്റസും താരതമ്യം ചെയ്യുക. AISeeWhy റിപ്പോർട്ട് തെളിവും പകർത്തി ഒട്ടിക്കാവുന്ന പരിഹാരവും കാണിക്കുന്നു; ഫലം ഉറപ്പാക്കാൻ ശേഷം “വീണ്ടും പരിശോധിക്കുക” പ്രവർത്തിപ്പിക്കുക.
  2. അഭ്യർത്ഥന തടഞ്ഞ നിയമം കണ്ടെത്തുക: Cloudflare-ൽ Security → Events, AI Crawl Control, Bot Fight Mode ക്രമീകരണങ്ങൾ എന്നിവ പരിശോധിക്കുക; മറ്റ് CDN-കളിൽ ബോട്ട് മാനേജ്‌മെന്റ് ലോഗ് പരിശോധിക്കുക.
  3. ക്രോളറിനെ അകത്ത് വേണമെങ്കിൽ അതിന് ഒരു ഒഴിവ് ചേർക്കുക; പുറത്ത് വേണമെങ്കിൽ, നിങ്ങളുടെ നയം ഒരിടത്ത് രേഖപ്പെടുത്താൻ അതിന്റെ ടോക്കണിനായി ഒരു Disallow ഗ്രൂപ്പ് ചേർക്കുക.

പരിഹാരം എങ്ങനെ സ്ഥിരീകരിക്കാം

മാറ്റം വരുത്തിയശേഷം റിപ്പോർട്ടിൽ "വീണ്ടും പരിശോധിക്കുക" അമർത്തുക: എന്ത് പരിഹരിച്ചുവെന്നും സ്കോർ എങ്ങനെ മാറിയെന്നും അത് കാണിക്കും.

എന്റെ പേജ് പരിശോധിക്കുക →

ബന്ധപ്പെട്ട ഗൈഡുകൾ

എല്ലാ കണ്ടെത്തലുകളും സ്കോർ എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്നതും