Google-CloudVertexBot
Google-CloudVertexBot pregleduje spletna mesta na zahtevo njihovih lastnikov za gradnjo agentov Vertex AI v Google Cloud. Google navaja, da njegova pravila robots.txt ne vplivajo na Google Search ali druge izdelke. Njegovo blokiranje je pomembno le, če vi ali stranka Google Cloud vaše spletno mesto uporabljate kot vir podatkov za agenta.
Kako ga dovoliti
User-agent: Google-CloudVertexBot
Allow: / Kako ga blokirati
User-agent: Google-CloudVertexBot
Disallow: / Kaj počne
Google navaja, da nastavitve pregledovanja za Google-CloudVertexBot vplivajo na preglede, ki jih lastniki spletnih mest zahtevajo za gradnjo agentov Vertex AI. Ne vpliva na Google Search ali druge Googlove izdelke. Njegov user agent vsebuje podniz Google-CloudVertexBot.
V robots.txt upošteva pravila za oznako Google-CloudVertexBot, če teh ni, pa pravila za Googlebot. Google ga navaja med svojimi splošnimi pajki, ki pri samodejnem pregledovanju vedno upoštevajo robots.txt.
Oznaka v robots.txt
Google-CloudVertexBot
Kako preveriti prave obiske
Google navaja, da je nize user agent mogoče ponarediti, in priporoča preverjanje DNS v dveh korakih. Za IP, s katerega prihaja zahteva, izvedite obratno poizvedbo DNS: ime gostitelja se mora končati z googlebot.com, google.com ali googleusercontent.com. Nato za to ime gostitelja izvedite navadno poizvedbo in potrdite, da vrne isti IP. Google objavlja tudi obsege IP svojih splošnih pajkov kot JSON, zato lahko naslove primerjate samodejno.