Google-CloudVertexBot
Google-CloudVertexBot обхожда сайтове по искане на собствениците им, за да изгражда Vertex AI Agents в Google Cloud. Google казва, че правилата му в robots.txt не влияят на Google Search или други продукти. Блокирането му има значение само ако вие или клиент на Google Cloud използвате сайта ви като източник на данни за агент.
Как да го допуснете
User-agent: Google-CloudVertexBot
Allow: / Как да го блокирате
User-agent: Google-CloudVertexBot
Disallow: / Какво прави
Google казва, че настройките за обхождане, насочени към Google-CloudVertexBot, засягат обхожданията, поискани от собствениците на сайтове за изграждане на Vertex AI Agents. Той не влияе на Google Search или други продукти на Google. Неговият user agent съдържа низа Google-CloudVertexBot.
В robots.txt той следва правилата за токена Google-CloudVertexBot, а ако няма такива, правилата за Googlebot. Google го включва сред общите си ботове, които винаги спазват robots.txt при автоматично обхождане.
Токен за robots.txt
Google-CloudVertexBot
Как да проверите истинските посещения
Google казва, че низовете на user agent могат да бъдат подправени, и препоръчва проверка на DNS в две стъпки. Направете обратно DNS търсене за IP адреса на заявката: името на хоста трябва да завършва на googlebot.com, google.com или googleusercontent.com. След това направете право търсене за това име на хост и потвърдете, че връща същия IP. Google публикува и IP диапазоните на общите си ботове като JSON, така че можете да сравнявате адресите автоматично.