Google-CloudVertexBot
Google-CloudVertexBot обходить сайти на прохання їхніх власників, щоб створювати Vertex AI Agents у Google Cloud. Google каже, що правила robots.txt для нього не впливають на Google Search чи інші продукти. Блокувати його має сенс лише тоді, коли ви або клієнт Google Cloud використовуєте ваш сайт як джерело даних для агента.
Що він робить
Google каже, що налаштування обходу для Google-CloudVertexBot впливають на обходи, які замовляють власники сайтів для створення Vertex AI Agents. Він не впливає на Google Search чи інші продукти Google. Його user agent містить підрядок Google-CloudVertexBot.
У robots.txt він дотримується правил для токена Google-CloudVertexBot, а якщо їх немає, то правил для Googlebot. Google зараховує його до своїх основних краулерів, які під час автоматичного обходу завжди дотримуються robots.txt.
Токен robots.txt
Google-CloudVertexBot
Як його дозволити
User-agent: Google-CloudVertexBot
Allow: /Як його заблокувати
User-agent: Google-CloudVertexBot
Disallow: /Як перевірити справжні візити
Google зазначає, що рядки user agent можна підробити, і радить двокроковий перегляд DNS. Виконайте зворотний DNS-запит для IP, з якого надійшов запит: ім'я хоста має закінчуватися на googlebot.com, google.com або googleusercontent.com. Потім виконайте прямий запит для цього імені й переконайтеся, що він повертає той самий IP. Google також публікує діапазони IP своїх основних краулерів у форматі JSON, тож адреси можна зіставляти автоматично.