Googlebot
Google-ന്റെ സെർച്ച് ഇൻഡക്സുകൾ നിർമ്മിക്കാനുള്ള പ്രധാന ക്രോളറാണ് Googlebot. AI Overviews, AI Mode പോലുള്ള AI ഫീച്ചറുകൾ ഉൾപ്പെടെ, Search-നായി ഒരു സൈറ്റ് എങ്ങനെ ക്രോൾ ചെയ്യപ്പെടുന്നു എന്നതിനുള്ള നിയന്ത്രണം Googlebot-നുള്ള robots.txt നിയമങ്ങളാണെന്ന് Google പറയുന്നു. ഇതിനെ തടഞ്ഞാൽ നിങ്ങളുടെ പേജുകൾ Google Search-ൽ നിന്നും ആ AI ഉത്തരങ്ങളിൽ നിന്നും നീക്കം ചെയ്യപ്പെടും.
ഇതിനെ എങ്ങനെ അനുവദിക്കാം
User-agent: Googlebot
Allow: / ഇതിനെ എങ്ങനെ തടയാം
User-agent: Googlebot
Disallow: / ഇത് എന്തു ചെയ്യുന്നു
Google-ന്റെ സെർച്ച് ഇൻഡക്സുകൾ നിർമ്മിക്കാനുള്ള വിവരങ്ങൾ കണ്ടെത്താൻ Googlebot ഉപയോഗിക്കുന്നു. Googlebot ടോക്കണിനുള്ള ക്രോളിംഗ് മുൻഗണനകൾ Google Search-നെയും Google Images, Video, Google News, Discover പോലുള്ള ഉൽപ്പന്നങ്ങളെയും ബാധിക്കുന്നു. ഇത് സ്മാർട്ട്ഫോൺ ക്രോളറായും ഡെസ്ക്ടോപ്പ് ക്രോളറായും പ്രവർത്തിക്കുന്നു; രണ്ടും ഒരേ Googlebot നിയമങ്ങൾ പാലിക്കുന്നു, സ്വയമേവ ക്രോൾ ചെയ്യുമ്പോൾ തങ്ങളുടെ പൊതു ക്രോളറുകൾ എപ്പോഴും robots.txt പാലിക്കുമെന്ന് Google പറയുന്നു.
AI ഫീച്ചറുകളെക്കുറിച്ചുള്ള Google-ന്റെ ഡോക്യുമെന്റേഷൻ, AI Overviews, AI Mode എന്നിവ ഉൾപ്പെടെ Search-നുള്ള നിയന്ത്രണമായി Googlebot നിയമങ്ങളെ വിവരിക്കുന്നു; കാണിക്കുന്നത് പരിമിതപ്പെടുത്താൻ nosnippet, data-nosnippet, max-snippet, noindex എന്നിവ നിർദ്ദേശിക്കുന്നു. Gemini പരിശീലനത്തിനുള്ള ഉപയോഗം Google-Extended വഴി പ്രത്യേകമായി നിയന്ത്രിക്കുന്നു.
ഞങ്ങളുടെ 2026-11 പഠനത്തിൽ, robots.txt ഉള്ള ജനപ്രിയ സൈറ്റുകളിൽ 2.7% ഇതിനെ തടഞ്ഞിരുന്നു. →
robots.txt ടോക്കൺ
Googlebot
യൂസർ-ഏജന്റ് സ്ട്രിംഗ്
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 യഥാർത്ഥ സന്ദർശനങ്ങൾ എങ്ങനെ പരിശോധിച്ചുറപ്പിക്കാം
യൂസർ ഏജന്റ് സ്ട്രിംഗുകൾ വ്യാജമായി ഉണ്ടാക്കാമെന്ന് Google പറയുന്നു, രണ്ട് ഘട്ടങ്ങളുള്ള DNS പരിശോധന ശുപാർശ ചെയ്യുന്നു. അഭ്യർത്ഥന അയച്ച IP-യിൽ റിവേഴ്സ് DNS ലുക്കപ്പ് നടത്തുക: ഹോസ്റ്റ്നെയിം googlebot.com, google.com അല്ലെങ്കിൽ googleusercontent.com-ൽ അവസാനിക്കണം. തുടർന്ന് ആ ഹോസ്റ്റ്നെയിമിൽ ഫോർവേഡ് ലുക്കപ്പ് നടത്തി അതേ IP തിരികെ ലഭിക്കുന്നുവെന്ന് ഉറപ്പാക്കുക. Google അതിന്റെ പൊതു ക്രോളറുകളുടെ IP ശ്രേണികൾ JSON ആയും പ്രസിദ്ധീകരിക്കുന്നു, അതിനാൽ വിലാസങ്ങൾ സ്വയമേവ ഒത്തുനോക്കാം.
നിങ്ങളുടെ സൈറ്റ് ഇതിനെ അകത്തേക്ക് കടത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക →
AEO-യും SEO-യും: AI ഉത്തരങ്ങൾക്കായി എന്ത് അതേപടി, എന്ത് മാറുന്നു →