Google-CloudVertexBot
Google-CloudVertexBot genomsöker sajter på ägarnas begäran för att bygga Vertex AI Agents i Google Cloud. Google säger att robots.txt-regler för den inte påverkar Google Search eller andra produkter. Att blockera den spelar bara roll om du eller en Google Cloud-kund använder din sajt som datakälla för en agent.
Vad den gör
Google säger att genomsökningsinställningar riktade till Google-CloudVertexBot påverkar genomsökningar som sajtägare begär för att bygga Vertex AI Agents. Den påverkar inte Google Search eller andra Google-produkter. Dess user agent innehåller delsträngen Google-CloudVertexBot.
I robots.txt följer den reglerna för token Google-CloudVertexBot och, om sådana saknas, reglerna för Googlebot. Google räknar den till sina vanliga crawlers, som alltid följer robots.txt vid automatisk genomsökning.
robots.txt-token
Google-CloudVertexBot
Så tillåter du den
User-agent: Google-CloudVertexBot
Allow: /Så blockerar du den
User-agent: Google-CloudVertexBot
Disallow: /Så verifierar du riktiga besök
Google säger att user agent-strängar kan förfalskas och rekommenderar en DNS-kontroll i två steg. Gör en omvänd DNS-uppslagning på IP-adressen som gjorde förfrågan: värdnamnet ska sluta på googlebot.com, google.com eller googleusercontent.com. Gör sedan en vanlig uppslagning på det värdnamnet och bekräfta att den ger samma IP. Google publicerar också IP-intervallen för sina vanliga crawlers som JSON, så att du kan matcha adresser automatiskt.