2 പേജുകൾ ക്രോൾ നിരസിച്ചു
ഓഡിറ്റ് ബ്രൗസറായി എടുത്തപ്പോൾ ഈ പേജുകൾ 401, 403, 429 അല്ലെങ്കിൽ 503 നൽകി, അല്ലെങ്കിൽ ടൈംഔട്ടായി. ഇത് പലപ്പോഴും തകർന്ന പേജല്ല, ഫയർവാൾ, ബോട്ട് സംരക്ഷണം അല്ലെങ്കിൽ റേറ്റ് ലിമിറ്റ് ആണ്. സെർച്ച്, AI ക്രോളറുകൾക്കും ഇതേ മറുപടി ലഭിക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക.
ഇതിന്റെ അർത്ഥം
ഈ പേജുകൾ 401, 403, 429 അല്ലെങ്കിൽ 503 നൽകി, അല്ലെങ്കിൽ ടൈംഔട്ടായി. ഒരു ഫയർവാളോ റേറ്റ് ലിമിറ്റോ ക്രോളറുകളെയും തടയുന്നുണ്ടാകാം; സെർച്ച്, AI ക്രോളറുകൾക്ക് ഇതേ മറുപടി ലഭിക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക.
AI സെർച്ചിന് ഇത് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്
ഓഡിറ്റ് ഒരു സെർവറിൽ നിന്ന് ചുരുങ്ങിയ സമയത്തിനുള്ളിൽ നിരവധി പേജുകൾ എടുക്കുന്നു, അതിനാൽ ആളുകൾക്ക് പേജ് ലഭിക്കുമ്പോഴും ഒരു റേറ്റ് ലിമിറ്റ് 429 അല്ലെങ്കിൽ 503 നൽകിയേക്കാം. അതേ നിയമം സെർച്ച്, AI ക്രോളറുകൾക്കും ബാധകമാണെങ്കിൽ, ഈ പേജുകൾ അവയുടെ ഇൻഡക്സുകൾക്കായി എടുക്കപ്പെടില്ല, AI ഉത്തരങ്ങളിൽ ഉദ്ധരിക്കാനുമാകില്ല.
401 എന്നാൽ പേജിന് ലോഗിൻ വേണം, അക്കൗണ്ട് ഭാഗങ്ങൾക്ക് ഇത് പ്രതീക്ഷിതമാണ്, പക്ഷേ പൊതു ഉള്ളടക്കത്തിന് അല്ല. എല്ലാ പേജിലും 503 എന്നാൽ മെയിന്റനൻസ് മോഡ് ഓണാക്കി വിട്ടതാകാം. പരിഹാരം ആരെയാണ് നിരസിക്കുന്നത് എന്നതിനെ ആശ്രയിച്ചിരിക്കുന്നതിനാൽ ഈ പേജുകൾ തകർന്ന ലിങ്കുകളിൽ നിന്ന് വേറിട്ട് സൂക്ഷിക്കുന്നു.
ഇത് എങ്ങനെ പരിഹരിക്കാം
- നൽകിയ URL-കളിൽ ചിലത് ഒരു പ്രൈവറ്റ് ബ്രൗസർ വിൻഡോയിൽ തുറക്കുക. അവ ലോഡ് ആകുന്നുവെങ്കിൽ, തടയൽ ഓട്ടോമേറ്റഡ് അഭ്യർത്ഥനകളെ ലക്ഷ്യമിട്ടുള്ളതാണ്.
- നിങ്ങളുടെ ഫയർവാൾ, CDN അല്ലെങ്കിൽ ഹോസ്റ്റിംഗ് ലോഗുകളിൽ നിരസിക്കപ്പെട്ട അഭ്യർത്ഥനകൾ തിരയുക. Googlebot, Bingbot പോലുള്ള സ്ഥിരീകരിച്ച സെർച്ച് ക്രോളറുകളും നിങ്ങൾ ആഗ്രഹിക്കുന്ന AI സെർച്ച് ക്രോളറുകളും അനുവദിക്കപ്പെട്ടിട്ടുണ്ടെന്ന് ഉറപ്പാക്കുക; Cloudflare ഉൾപ്പെടെ പല CDN-കൾക്കും സ്ഥിരീകരിച്ച ബോട്ടുകൾക്കായി ഒരു ക്രമീകരണമുണ്ട്.
- റേറ്റ് ലിമിറ്റാണ് കാരണമെങ്കിൽ, സാധാരണ പേജ് അഭ്യർത്ഥനകൾക്കുള്ള പരിധി ഉയർത്തുക അല്ലെങ്കിൽ HTML പേജുകളെ അതിൽ നിന്ന് ഒഴിവാക്കുക.
- പേജുകൾ 401 നൽകുന്നുവെങ്കിൽ, പൊതു പേജുകളിൽ നിന്ന് ലോഗിൻ നീക്കം ചെയ്യുക, അല്ലെങ്കിൽ പൊതു പേജുകളിൽ നിന്ന് സ്വകാര്യ പേജുകളിലേക്ക് ലിങ്ക് ചെയ്യുന്നത് നിർത്തുക.
- ഫലം ഉറപ്പാക്കാൻ നിങ്ങളുടെ അക്കൗണ്ടിൽ നിന്ന് സൈറ്റ് ഓഡിറ്റ് വീണ്ടും പ്രവർത്തിപ്പിക്കുക.
പരിഹാരം എങ്ങനെ സ്ഥിരീകരിക്കാം
മാറ്റം വരുത്തിയശേഷം റിപ്പോർട്ടിൽ "വീണ്ടും പരിശോധിക്കുക" അമർത്തുക: എന്ത് പരിഹരിച്ചുവെന്നും സ്കോർ എങ്ങനെ മാറിയെന്നും അത് കാണിക്കും.