robots.txt എടുക്കാനാകുന്നില്ല
/robots.txt എടുക്കുന്നത് പരാജയപ്പെട്ടു: സെർവർ 5xx സ്റ്റാറ്റസോ 429-ഓ നൽകി, അല്ലെങ്കിൽ മറുപടി നൽകിയില്ല. RFC 9309 പ്രകാരം ക്രോളറുകൾ അപ്പോൾ സൈറ്റ് മുഴുവൻ വിലക്കിയതായി കണക്കാക്കുന്നു. /robots.txt പ്ലെയിൻ ടെക്സ്റ്റോടെ സ്റ്റാറ്റസ് 200 നൽകുന്നുവെന്ന് ഉറപ്പാക്കുക, നിയമങ്ങളില്ലെങ്കിൽ 404 നൽകുക.
ഇതിന്റെ അർത്ഥം
robots.txt സ്റ്റാറ്റസ് 403 നൽകി, അല്ലെങ്കിൽ മറുപടി നൽകിയില്ല. RFC 9309 അനുസരിച്ച് ക്രോളറുകൾ അപ്പോൾ സൈറ്റ് മുഴുവൻ വിലക്കപ്പെട്ടതായി കണക്കാക്കുന്നു.
AI സെർച്ചിന് ഇത് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്
സെർവർ പിശക് കാരണം robots.txt-ൽ എത്താനാകാത്ത ക്രോളർ പൂർണ്ണ വിലക്ക് അനുമാനിക്കണമെന്ന് RFC 9309 പറയുന്നു. നിലവാരം പാലിക്കുന്ന Googlebot, Bingbot, AI ക്രോളറുകൾ robots.txt വീണ്ടും മറുപടി നൽകുന്നതുവരെ പേജുകൾ എടുക്കുന്നത് നിർത്തുന്നു, അതിനാൽ തകരാറുള്ള ഒരൊറ്റ ഫയലിന് സൈറ്റ് മുഴുവൻ മറയ്ക്കാനാകും.
ഫയൽ ഇല്ലാത്തത് വ്യത്യസ്തമാണ്: 404 അല്ലെങ്കിൽ മറ്റൊരു 4xx സ്റ്റാറ്റസ് എന്നാൽ നിയമങ്ങളില്ല, അതിനാൽ എല്ലാം അനുവദനീയമാണ്, AISeeWhy ഒന്നും റിപ്പോർട്ട് ചെയ്യുന്നില്ല. സെർവർ പിശകുകൾ, റേറ്റ് ലിമിറ്റുകൾ (429), സ്റ്റാറ്റസ് ലഭിക്കുന്നതിന് മുമ്പ് ടൈംഔട്ടാകുന്നതോ നിരസിക്കപ്പെടുന്നതോ ആയ അഭ്യർത്ഥനകൾ എന്നിവ മാത്രമാണ് പ്രശ്നം.
ഇത് എങ്ങനെ പരിഹരിക്കാം
- നിങ്ങളുടെ നെറ്റ്വർക്കിന് പുറത്ത് നിന്ന്
https://your-domain/robots.txtതുറന്ന് സ്റ്റാറ്റസ് ശ്രദ്ധിക്കുക. ഓഡിറ്റ് ഒരു ബ്രൗസർ യൂസർ ഏജന്റ് ഉപയോഗിച്ചാണ് അത് എടുക്കുന്നത്. - 5xx ആണെങ്കിൽ, ഒറിജിൻ റൂട്ട് പരിശോധിക്കുക: Next.js പോലുള്ള ഫ്രെയിംവർക്കുകൾ അത്
public/robots.txt-ൽ നിന്നോapp/robots.ts-ൽ നിന്നോ നൽകുന്നു, WordPress അത് ഡൈനാമിക്കായി ഉണ്ടാക്കുന്നു, അതിനാൽ ഒരു PHP പിശക് അതിനെ തകർക്കും. - 429 അല്ലെങ്കിൽ ടൈംഔട്ട് ആണെങ്കിൽ, നിങ്ങളുടെ CDN-ലോ WAF-ലോ
/robots.txt-നെ റേറ്റ് ലിമിറ്റിംഗിൽ നിന്നും ബോട്ട് ചലഞ്ചുകളിൽ നിന്നും ഒഴിവാക്കുക. - ഒറിജിൻ മന്ദഗതിയിലാകുമ്പോഴും മറുപടി നൽകാൻ robots.txt CDN-ൽ കാഷ് ചെയ്യുക. AISeeWhy റിപ്പോർട്ട് തെളിവും പകർത്തി ഒട്ടിക്കാവുന്ന പരിഹാരവും കാണിക്കുന്നു; ഫലം ഉറപ്പാക്കാൻ ശേഷം “വീണ്ടും പരിശോധിക്കുക” പ്രവർത്തിപ്പിക്കുക.
പരിഹാരം എങ്ങനെ സ്ഥിരീകരിക്കാം
മാറ്റം വരുത്തിയശേഷം റിപ്പോർട്ടിൽ "വീണ്ടും പരിശോധിക്കുക" അമർത്തുക: എന്ത് പരിഹരിച്ചുവെന്നും സ്കോർ എങ്ങനെ മാറിയെന്നും അത് കാണിക്കും.