robots.txt OAI-SearchBot-നെ വിലക്കുന്നു
ഈ ക്രോളറിന്റെ ടോക്കണിന് ഈ പേജുമായി പൊരുത്തപ്പെടുന്ന ഒരു Disallow നിയമം നിങ്ങളുടെ robots.txt-ൽ ഉണ്ട്. ഓഡിറ്റ് RFC 9309 പ്രയോഗിക്കുന്നു: ക്രോളറിന് സ്വന്തം ഗ്രൂപ്പുണ്ടെങ്കിൽ അത്, ഇല്ലെങ്കിൽ * ഗ്രൂപ്പ്, ഏറ്റവും നീളമുള്ള പൊരുത്തമുള്ള നിയമം ജയിക്കും. ക്രോളറിനെ അകത്ത് വേണമെങ്കിൽ അതിനായി ഒരു Allow ചേർക്കുക അല്ലെങ്കിൽ നിയമം നീക്കം ചെയ്യുക.
ഇതിന്റെ അർത്ഥം
നിങ്ങളുടെ robots.txt നിയമങ്ങൾ / എടുക്കുന്നതിൽ നിന്ന് OAI-SearchBot-നെ തടയുന്നു.
AI സെർച്ചിന് ഇത് പ്രധാനമാകുന്നത് എന്തുകൊണ്ട്
മര്യാദയുള്ള AI ക്രോളറുകൾ robots.txt പാലിക്കുന്നു. OAI-SearchBot, Claude-SearchBot അല്ലെങ്കിൽ PerplexityBot വിലക്കപ്പെട്ടാൽ, അവയുടെ സെർച്ച് ഇൻഡക്സുകൾക്കായി പേജ് എടുക്കില്ല, അതിനാൽ അവയുടെ ഉത്തരങ്ങളിൽ പേജ് ഉദ്ധരിക്കാനാവില്ല. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended പോലുള്ള പരിശീലന ടോക്കണുകളെ വിലക്കുന്നത് മോഡൽ പരിശീലനത്തിനുള്ള ഉപയോഗം മാത്രമേ നിർത്തൂ.
പല സൈറ്റുകളും അബദ്ധത്തിൽ AI ക്രോളറുകളെ തടയുന്നു: Googlebot ഒഴികെ എല്ലാത്തിനെയും വിലക്കുന്ന ഒരു ടെംപ്ലേറ്റ്, അല്ലെങ്കിൽ സ്റ്റേജിംഗിൽ നിന്ന് ബാക്കിയായ Disallow: / ഉള്ള User-agent: * ഗ്രൂപ്പ്. സ്വന്തം ഗ്രൂപ്പില്ലാത്തപ്പോൾ Applebot, Googlebot ഗ്രൂപ്പ് ഉപയോഗിക്കുന്നുവെന്നതും ശ്രദ്ധിക്കുക.
ഇത് എങ്ങനെ പരിഹരിക്കാം
- കണ്ടെത്തലിൽ നിയമം കണ്ടെത്തുക: അത് ക്രോളർ ടോക്കണും പാത്തും പറയുന്നു. AISeeWhy റിപ്പോർട്ട് തെളിവും പകർത്തി ഒട്ടിക്കാവുന്ന പരിഹാരവും കാണിക്കുന്നു; ഫലം ഉറപ്പാക്കാൻ ശേഷം “വീണ്ടും പരിശോധിക്കുക” പ്രവർത്തിപ്പിക്കുക.
- പേജ് വിലക്കുന്ന ഏത് ഗ്രൂപ്പിൽ നിന്നും ക്രോളറിന്റെ ടോക്കൺ നീക്കം ചെയ്യുക, തുടർന്ന്
Allow: /ഉള്ള അതിന്റെ സ്വന്തം ഗ്രൂപ്പ് ചേർക്കുക. ഒരു പ്രത്യേക ഗ്രൂപ്പ് ആ ക്രോളറിന്*ഗ്രൂപ്പിന് പകരമാകുന്നു, അതിനാൽ*-ന് കീഴിലുള്ള നിയമങ്ങൾ ഇനി അതിന് ബാധകമല്ല. - WordPress-ൽ, robots.txt വെബ് റൂട്ടിലെ യഥാർത്ഥ ഫയലാണോ അതോ Yoast, Rank Math പോലുള്ള ഒരു SEO പ്ലഗിൻ ഉണ്ടാക്കുന്നതാണോ എന്ന് പരിശോധിച്ച് അവിടെ എഡിറ്റ് ചെയ്യുക. Shopify-ൽ
robots.txt.liquidതീം ടെംപ്ലേറ്റ് എഡിറ്റ് ചെയ്യുക. - Cloudflare-ൽ, ഒരു മാനേജ്ഡ് robots.txt ക്രമീകരണം നിങ്ങളുടെ ഫയലിന് മുകളിൽ AI ക്രോളർ നിയമങ്ങൾ ചേർക്കുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക.
- അതാണ് നിങ്ങളുടെ നയമെങ്കിൽ പരിശീലന ടോക്കണുകൾ വിലക്കിയതുപോലെ നിലനിർത്തുക; പ്രത്യേക ടോക്കണുകൾ ഉപയോഗിക്കുന്ന സെർച്ച് ക്രോളറുകളെ അത് ബാധിക്കില്ല.
ഉദാഹരണം
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / പരിഹാരം എങ്ങനെ സ്ഥിരീകരിക്കാം
മാറ്റം വരുത്തിയശേഷം റിപ്പോർട്ടിൽ "വീണ്ടും പരിശോധിക്കുക" അമർത്തുക: എന്ത് പരിഹരിച്ചുവെന്നും സ്കോർ എങ്ങനെ മാറിയെന്നും അത് കാണിക്കും.