Google-CloudVertexBot

Google · Преузимање на захтев корисника

Google-CloudVertexBot пописује сајтове на захтев њихових власника ради изградње Vertex AI агената на Google Cloud-у. Google каже да његова правила у robots.txt немају утицаја на Google претрагу ни друге производе. Његово блокирање је важно само ако ви или неки Google Cloud корисник користите ваш сајт као извор података за агента.

Како да га дозволите

User-agent: Google-CloudVertexBot
Allow: /

Како да га блокирате

User-agent: Google-CloudVertexBot
Disallow: /

Шта ради

Google каже да подешавања пописивања упућена Google-CloudVertexBot-у утичу на пописивања која власници сајтова захтевају ради изградње Vertex AI агената. Нема утицаја на Google претрагу ни друге Google производе. Његов user agent садржи подстринг Google-CloudVertexBot.

У robots.txt прати правила за токен Google-CloudVertexBot, а ако њих нема, правила за Googlebot. Google га наводи међу својим уобичајеним краулерима, који увек поштују robots.txt при аутоматском пописивању.

robots.txt токен

Google-CloudVertexBot

Како да проверите праве посете

Google каже да user agent стрингови могу да се лажирају и препоручује DNS проверу у два корака. Покрените обрнути DNS упит за IP који шаље захтев: име хоста треба да се завршава на googlebot.com, google.com или googleusercontent.com. Затим покрените директни упит за то име хоста и потврдите да враћа исти IP. Google објављује и IP опсеге својих уобичајених краулера као JSON, па адресе можете да поредите аутоматски.

Проверите да ли га ваш сајт пушта →