robots.txt ഒരു HTML പേജാണ്
/robots.txt വിലാസം ഒരു HTML ഡോക്യുമെന്റ് നൽകുന്നു, സാധാരണയായി സ്റ്റാറ്റസ് 200-ഓടെ നൽകുന്ന 404 പേജോ ഹോം പേജോ. HTML-ൽ നിന്ന് ക്രോളറുകൾക്ക് നിയമങ്ങളൊന്നും വായിക്കാനാവില്ല. ആ പാത്തിൽ ഒരു പ്ലെയിൻ-ടെക്സ്റ്റ് robots.txt നൽകുക, നിയമങ്ങളില്ലെങ്കിൽ യഥാർത്ഥ 404 സ്റ്റാറ്റസ് നൽകുക.
ഇതിന്റെ അർത്ഥം
robots.txt വിലാസം HTML നൽകുന്നു (പലപ്പോഴും സ്റ്റാറ്റസ് 200 സഹിതം നൽകുന്ന 404 പേജ്), അതിനാൽ ക്രോളറുകൾക്ക് ഒരു നിയമവും വായിക്കാനാകില്ല.
AI സെർച്ചിന് ഇത് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്
ക്രോളറുകൾ robots.txt വരിവരിയായി വായിക്കുകയും മനസ്സിലാകാത്തത് അവഗണിക്കുകയും ചെയ്യുന്നു, അതിനാൽ ഒരു HTML പേജ് അവയ്ക്ക് നിയമങ്ങളോ Sitemap വരികളോ നൽകുന്നില്ല. പരിശീലന ക്രോളറുകളെ തടയുക അല്ലെങ്കിൽ സെർച്ച് ക്രോളറുകളെ അനുവദിക്കുക പോലുള്ള നിങ്ങൾ ഉദ്ദേശിച്ച നയം നടപ്പാകുന്നില്ല, അവിടെ പ്രഖ്യാപിച്ച സൈറ്റ്മാപ്പുകൾ കണ്ടെത്തപ്പെടുന്നുമില്ല.
അറിയാത്ത ഓരോ പാത്തിനും ആപ്പ് ഷെല്ലും സ്റ്റാറ്റസ് 200-ഉം നൽകുന്ന സിംഗിൾ-പേജ് ആപ്പുകളിലും ക്യാച്ച്-ഓൾ റൂട്ടുകളിലുമാണ് ഇത് സാധാരണയായി സംഭവിക്കുന്നത്. ക്രോളറുകൾ ചെയ്യുന്നതുപോലെ AISeeWhy Content-Type ഹെഡറല്ല, ബോഡിയാണ് നോക്കുന്നത്: text/html ആയി നൽകുന്ന ടെക്സ്റ്റ് ഫയൽ വായിക്കപ്പെടും, HTML പേജ് വായിക്കപ്പെടില്ല.
ഇത് എങ്ങനെ പരിഹരിക്കാം
/robots.txtതുറന്ന് സോഴ്സ് കാണുക: അത്<!doctypeഅല്ലെങ്കിൽ<htmlഎന്ന് തുടങ്ങുന്നുവെങ്കിൽ, ഫയൽ ഇല്ല, ഒരു ഫോൾബാക്ക് റൂട്ടാണ് മറുപടി നൽകുന്നത്.- ഒരു യഥാർത്ഥ ഫയൽ ചേർക്കുക: Next.js, Vite, Create React App എന്നിവയിൽ
public/robots.txt, nginx-ലോ Apache-ലോ വെബ് റൂട്ട്, Shopify-ൽrobots.txt.liquidടെംപ്ലേറ്റ്. - nginx-ൽ, സ്റ്റാറ്റിക് ഫയൽ പരിശോധിക്കുന്നതിന് മുമ്പ് ഒരു
try_files ... /index.htmlഫോൾബാക്ക്/robots.txtപിടിച്ചെടുക്കുന്നില്ലെന്ന് ഉറപ്പാക്കുക; ആവശ്യമെങ്കിൽlocation = /robots.txtചേർക്കുക. - അറിയാത്ത പാത്തുകൾക്ക് സ്റ്റാറ്റസ് 404 അയയ്ക്കാൻ നിങ്ങളുടെ ക്യാച്ച്-ഓൾ റൂട്ട് ശരിയാക്കുക. AISeeWhy റിപ്പോർട്ട് തെളിവും പകർത്തി ഒട്ടിക്കാവുന്ന പരിഹാരവും കാണിക്കുന്നു; ഫലം ഉറപ്പാക്കാൻ ശേഷം “വീണ്ടും പരിശോധിക്കുക” പ്രവർത്തിപ്പിക്കുക.
ഉദാഹരണം
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml പരിഹാരം എങ്ങനെ സ്ഥിരീകരിക്കാം
മാറ്റം വരുത്തിയശേഷം റിപ്പോർട്ടിൽ "വീണ്ടും പരിശോധിക്കുക" അമർത്തുക: എന്ത് പരിഹരിച്ചുവെന്നും സ്കോർ എങ്ങനെ മാറിയെന്നും അത് കാണിക്കും.