Google-CloudVertexBot
Google-CloudVertexBot обходит сайты по запросу их владельцев, чтобы создавать Vertex AI Agents в Google Cloud. Google сообщает, что правила robots.txt для него не влияют на Google Search и другие продукты. Блокировать его имеет смысл, только если вы или клиент Google Cloud используете ваш сайт как источник данных для агента.
Что он делает
Google сообщает, что настройки обхода, адресованные Google-CloudVertexBot, влияют на обходы, которые владельцы сайтов запрашивают для создания Vertex AI Agents. На Google Search и другие продукты Google это не влияет. Его user agent содержит подстроку Google-CloudVertexBot.
В robots.txt он следует правилам для токена Google-CloudVertexBot, а если их нет, то правилам для Googlebot. Google относит его к своим основным краулерам, которые при автоматическом обходе всегда соблюдают robots.txt.
Токен robots.txt
Google-CloudVertexBot
Как его разрешить
User-agent: Google-CloudVertexBot
Allow: /Как его заблокировать
User-agent: Google-CloudVertexBot
Disallow: /Как проверить настоящие визиты
Google сообщает, что строки user agent можно подделать, и рекомендует двухэтапную проверку DNS. Выполните обратный DNS-запрос для IP отправителя: имя хоста должно оканчиваться на googlebot.com, google.com или googleusercontent.com. Затем выполните прямой запрос для этого имени хоста и убедитесь, что он возвращает тот же IP. Google также публикует диапазоны IP своих основных краулеров в виде JSON, так что адреса можно сверять автоматически.