Google-CloudVertexBot
Google-CloudVertexBot crawlt Websites im Auftrag ihrer Inhaber, um Vertex AI Agents in Google Cloud aufzubauen. Laut Google haben seine robots.txt-Regeln keine Auswirkung auf die Google-Suche oder andere Produkte. Eine Sperre ist nur relevant, wenn Sie oder ein Google-Cloud-Kunde Ihre Website als Datenquelle eines Agents nutzen.
Was er tut
Laut Google wirken sich Crawling-Einstellungen für Google-CloudVertexBot auf Crawls aus, die Websiteinhaber für den Aufbau von Vertex AI Agents anfordern. Sie haben keine Auswirkung auf die Google-Suche oder andere Google-Produkte. Sein User-Agent enthält die Zeichenfolge Google-CloudVertexBot.
In der robots.txt befolgt er die Regeln für das Token Google-CloudVertexBot und, falls es keine gibt, die Regeln für Googlebot. Google zählt ihn zu seinen gängigen Crawlern, die beim automatischen Crawlen stets die robots.txt beachten.
robots.txt-Token
Google-CloudVertexBot
So lassen Sie ihn zu
User-agent: Google-CloudVertexBot
Allow: /So blockieren Sie ihn
User-agent: Google-CloudVertexBot
Disallow: /So prüfen Sie echte Besuche
Google weist darauf hin, dass sich User-Agent-Strings fälschen lassen, und empfiehlt eine zweistufige DNS-Prüfung. Führen Sie eine Reverse-DNS-Abfrage für die anfragende IP durch: Der Hostname sollte auf googlebot.com, google.com oder googleusercontent.com enden. Führen Sie dann eine Forward-Abfrage für diesen Hostnamen durch und bestätigen Sie, dass sie dieselbe IP liefert. Google veröffentlicht außerdem die IP-Bereiche seiner gängigen Crawler als JSON, sodass Sie Adressen automatisch abgleichen können.