Google-CloudVertexBot
സൈറ്റ് ഉടമകളുടെ അഭ്യർത്ഥനപ്രകാരം Google Cloud-ൽ Vertex AI Agents നിർമ്മിക്കാൻ Google-CloudVertexBot സൈറ്റുകൾ ക്രോൾ ചെയ്യുന്നു. ഇതിനുള്ള robots.txt നിയമങ്ങൾ Google Search-നെയോ മറ്റ് ഉൽപ്പന്നങ്ങളെയോ ബാധിക്കില്ലെന്ന് Google പറയുന്നു. നിങ്ങളോ ഒരു Google Cloud ഉപഭോക്താവോ നിങ്ങളുടെ സൈറ്റ് ഒരു ഏജന്റിന്റെ ഡാറ്റാ ഉറവിടമായി ഉപയോഗിക്കുന്നുണ്ടെങ്കിൽ മാത്രമേ ഇതിനെ തടയുന്നത് പ്രസക്തമാകൂ.
ഇതിനെ എങ്ങനെ അനുവദിക്കാം
User-agent: Google-CloudVertexBot
Allow: / ഇതിനെ എങ്ങനെ തടയാം
User-agent: Google-CloudVertexBot
Disallow: / ഇത് എന്തു ചെയ്യുന്നു
Google-CloudVertexBot-നുള്ള ക്രോളിംഗ് മുൻഗണനകൾ Vertex AI Agents നിർമ്മിക്കാൻ സൈറ്റ് ഉടമകൾ ആവശ്യപ്പെടുന്ന ക്രോളുകളെ ബാധിക്കുന്നുവെന്ന് Google പറയുന്നു. ഇത് Google Search-നെയോ മറ്റ് Google ഉൽപ്പന്നങ്ങളെയോ ബാധിക്കില്ല. ഇതിന്റെ യൂസർ ഏജന്റിൽ Google-CloudVertexBot എന്ന ഉപസ്ട്രിംഗ് ഉണ്ട്.
robots.txt-ൽ ഇത് Google-CloudVertexBot ടോക്കണിനുള്ള നിയമങ്ങളും, അവ ഇല്ലെങ്കിൽ Googlebot-നുള്ള നിയമങ്ങളും പാലിക്കുന്നു. സ്വയമേവ ക്രോൾ ചെയ്യുമ്പോൾ എപ്പോഴും robots.txt പാലിക്കുന്ന പൊതു ക്രോളറുകളുടെ കൂട്ടത്തിൽ Google ഇതിനെ ഉൾപ്പെടുത്തുന്നു.
robots.txt ടോക്കൺ
Google-CloudVertexBot
യഥാർത്ഥ സന്ദർശനങ്ങൾ എങ്ങനെ പരിശോധിച്ചുറപ്പിക്കാം
യൂസർ ഏജന്റ് സ്ട്രിംഗുകൾ വ്യാജമായി ഉണ്ടാക്കാമെന്ന് Google പറയുന്നു, രണ്ട് ഘട്ടങ്ങളുള്ള DNS പരിശോധന ശുപാർശ ചെയ്യുന്നു. അഭ്യർത്ഥന അയച്ച IP-യിൽ റിവേഴ്സ് DNS ലുക്കപ്പ് നടത്തുക: ഹോസ്റ്റ്നെയിം googlebot.com, google.com അല്ലെങ്കിൽ googleusercontent.com-ൽ അവസാനിക്കണം. തുടർന്ന് ആ ഹോസ്റ്റ്നെയിമിൽ ഫോർവേഡ് ലുക്കപ്പ് നടത്തി അതേ IP തിരികെ ലഭിക്കുന്നുവെന്ന് ഉറപ്പാക്കുക. Google അതിന്റെ പൊതു ക്രോളറുകളുടെ IP ശ്രേണികൾ JSON ആയും പ്രസിദ്ധീകരിക്കുന്നു, അതിനാൽ വിലാസങ്ങൾ സ്വയമേവ ഒത്തുനോക്കാം.
നിങ്ങളുടെ സൈറ്റ് ഇതിനെ അകത്തേക്ക് കടത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക →