Google-CloudVertexBot
Google-CloudVertexBot crawler nettsteder på forespørsel fra eierne for å bygge Vertex AI Agents på Google Cloud. Google sier at robots.txt-reglene for den ikke påvirker Google Søk eller andre produkter. Å blokkere den har bare betydning hvis du eller en Google Cloud-kunde bruker nettstedet ditt som datakilde for en agent.
Hva den gjør
Google sier at crawling-preferanser rettet mot Google-CloudVertexBot påvirker crawling som nettstedseiere har bedt om for å bygge Vertex AI Agents. Det har ingen effekt på Google Søk eller andre Google-produkter. User agent inneholder delstrengen Google-CloudVertexBot.
I robots.txt følger den reglene for Google-CloudVertexBot-tokenet og, hvis det ikke finnes noen, reglene for Googlebot. Google regner den blant de vanlige crawlerne sine, som alltid følger robots.txt ved automatisk crawling.
robots.txt-token
Google-CloudVertexBot
Slik tillater du den
User-agent: Google-CloudVertexBot
Allow: /Slik blokkerer du den
User-agent: Google-CloudVertexBot
Disallow: /Slik verifiserer du ekte besøk
Google sier at user agent-strenger kan forfalskes, og anbefaler en DNS-sjekk i to trinn. Gjør et omvendt DNS-oppslag på IP-en som sendte forespørselen: vertsnavnet skal ende på googlebot.com, google.com eller googleusercontent.com. Gjør deretter et vanlig oppslag på det vertsnavnet og bekreft at det gir samme IP. Google publiserer også IP-områdene til de vanlige crawlerne sine som JSON, så du kan matche adresser automatisk.