Google-CloudVertexBot
Google-CloudVertexBot pretražuje web-stranice na zahtjev njihovih vlasnika radi izrade Vertex AI Agents na Google Cloudu. Google navodi da njegova pravila u robots.txt ne utječu na Google pretraživanje ni druge proizvode. Njegovo blokiranje važno je samo ako vi ili korisnik Google Clouda koristite svoju web-stranicu kao izvor podataka za agenta.
Kako ga dopustiti
User-agent: Google-CloudVertexBot
Allow: / Kako ga blokirati
User-agent: Google-CloudVertexBot
Disallow: / Što radi
Google navodi da postavke pretraživanja upućene Google-CloudVertexBotu utječu na pretraživanja koja zatraže vlasnici web-stranica radi izrade Vertex AI Agents. Ne utječe na Google pretraživanje ni druge Googleove proizvode. Njegov user agent sadrži podniz Google-CloudVertexBot.
U robots.txt slijedi pravila za token Google-CloudVertexBot, a ako ih nema, pravila za Googlebot. Google ga navodi među svojim uobičajenim crawlerima, koji pri automatskom pretraživanju uvijek poštuju robots.txt.
Token za robots.txt
Google-CloudVertexBot
Kako provjeriti stvarne posjete
Google navodi da se nizovi user agenta mogu lažirati i preporučuje provjeru DNS-a u dva koraka. Pokrenite obrnuti DNS upit za IP adresu koja šalje zahtjev: naziv hosta treba završavati s googlebot.com, google.com ili googleusercontent.com. Zatim pokrenite izravni upit za taj naziv hosta i potvrdite da vraća istu IP adresu. Google objavljuje i IP raspone svojih uobičajenih crawlera kao JSON, pa adrese možete uspoređivati automatski.