Google-CloudVertexBot

Google · Dohvaćanje na zahtjev korisnika

Google-CloudVertexBot pretražuje web-stranice na zahtjev njihovih vlasnika radi izrade Vertex AI Agents na Google Cloudu. Google navodi da njegova pravila u robots.txt ne utječu na Google pretraživanje ni druge proizvode. Njegovo blokiranje važno je samo ako vi ili korisnik Google Clouda koristite svoju web-stranicu kao izvor podataka za agenta.

Kako ga dopustiti

User-agent: Google-CloudVertexBot
Allow: /

Kako ga blokirati

User-agent: Google-CloudVertexBot
Disallow: /

Što radi

Google navodi da postavke pretraživanja upućene Google-CloudVertexBotu utječu na pretraživanja koja zatraže vlasnici web-stranica radi izrade Vertex AI Agents. Ne utječe na Google pretraživanje ni druge Googleove proizvode. Njegov user agent sadrži podniz Google-CloudVertexBot.

U robots.txt slijedi pravila za token Google-CloudVertexBot, a ako ih nema, pravila za Googlebot. Google ga navodi među svojim uobičajenim crawlerima, koji pri automatskom pretraživanju uvijek poštuju robots.txt.

Token za robots.txt

Google-CloudVertexBot

Kako provjeriti stvarne posjete

Google navodi da se nizovi user agenta mogu lažirati i preporučuje provjeru DNS-a u dva koraka. Pokrenite obrnuti DNS upit za IP adresu koja šalje zahtjev: naziv hosta treba završavati s googlebot.com, google.com ili googleusercontent.com. Zatim pokrenite izravni upit za taj naziv hosta i potvrdite da vraća istu IP adresu. Google objavljuje i IP raspone svojih uobičajenih crawlera kao JSON, pa adrese možete uspoređivati automatski.

Provjerite propušta li ga vaša web-stranica →