Google-CloudVertexBot

Google · Stažení na žádost uživatele

Google-CloudVertexBot prochází weby na žádost jejich vlastníků za účelem vytváření agentů Vertex AI v Google Cloud. Google uvádí, že jeho pravidla v robots.txt nemají vliv na Vyhledávání Google ani jiné produkty. Zablokování má smysl, jen pokud váš web jako zdroj dat agenta používáte vy nebo zákazník Google Cloud.

Co dělá

Google uvádí, že nastavení procházení určená Google-CloudVertexBot ovlivňují procházení vyžádané vlastníky webů pro vytváření agentů Vertex AI. Na Vyhledávání Google ani jiné produkty Googlu nemá vliv. Jeho user agent obsahuje podřetězec Google-CloudVertexBot.

V robots.txt se řídí pravidly pro token Google-CloudVertexBot a pokud žádná nejsou, pravidly pro Googlebot. Google ho řadí mezi své běžné crawlery, které při automatickém procházení vždy dodržují robots.txt.

Token pro robots.txt

Google-CloudVertexBot

Jak ho povolit

User-agent: Google-CloudVertexBot
Allow: /

Jak ho zablokovat

User-agent: Google-CloudVertexBot
Disallow: /

Jak ověřit skutečné návštěvy

Google upozorňuje, že řetězce user agentů lze padělat, a doporučuje dvoukrokovou kontrolu přes DNS. Proveďte zpětné vyhledání DNS pro IP odesílatele: název hostitele by měl končit na googlebot.com, google.com nebo googleusercontent.com. Poté proveďte přímé vyhledání tohoto názvu hostitele a ověřte, že vrátí stejnou IP. Google také zveřejňuje rozsahy IP svých běžných crawlerů jako JSON, takže adresy můžete porovnávat automaticky.

Zkontrolujte, zda ho váš web pouští →