Google-CloudVertexBot
Google-CloudVertexBot gennemgår websites på ejernes anmodning for at opbygge Vertex AI-agenter i Google Cloud. Google siger, at dens robots.txt-regler ikke har nogen virkning på Google Søgning eller andre produkter. En blokering har kun betydning, hvis du eller en Google Cloud-kunde bruger dit website som datakilde for en agent.
Hvad den gør
Google siger, at præferencer for gennemgang, der er rettet til Google-CloudVertexBot, påvirker gennemgange, som webstedsejere har anmodet om for at opbygge Vertex AI-agenter. De har ingen virkning på Google Søgning eller andre Google-produkter. Dens user agent indeholder delstrengen Google-CloudVertexBot.
I robots.txt følger den reglerne for tokenet Google-CloudVertexBot og, hvis der ingen er, reglerne for Googlebot. Google anfører den blandt sine almindelige crawlere, som altid overholder robots.txt ved automatisk gennemgang.
robots.txt-token
Google-CloudVertexBot
Sådan tillader du den
User-agent: Google-CloudVertexBot
Allow: /Sådan blokerer du den
User-agent: Google-CloudVertexBot
Disallow: /Sådan verificerer du ægte besøg
Google siger, at user agent-strenge kan forfalskes, og anbefaler et DNS-tjek i to trin. Slå den forespørgende IP op med reverse DNS: værtsnavnet skal ende på googlebot.com, google.com eller googleusercontent.com. Slå derefter værtsnavnet op med forward DNS og bekræft, at det giver samme IP. Google offentliggør også IP-intervallerne for sine almindelige crawlere som JSON, så du kan matche adresser automatisk.