Google-CloudVertexBot

Google · Pengambilan atas permintaan pengguna

Google-CloudVertexBot meng-crawl situs atas permintaan pemiliknya untuk membangun Vertex AI Agents di Google Cloud. Google menyatakan aturan robots.txt-nya tidak berpengaruh pada Google Search atau produk lain. Memblokirnya hanya penting jika Anda atau pelanggan Google Cloud memakai situs Anda sebagai sumber data agen.

Fungsinya

Google menyatakan preferensi crawling yang ditujukan ke Google-CloudVertexBot memengaruhi crawl yang diminta pemilik situs untuk membangun Vertex AI Agents. Bot ini tidak berpengaruh pada Google Search atau produk Google lainnya. User agent-nya mengandung substring Google-CloudVertexBot.

Di robots.txt, bot ini mengikuti aturan untuk token Google-CloudVertexBot dan, jika tidak ada, aturan untuk Googlebot. Google mencantumkannya di antara crawler umumnya, yang selalu mematuhi robots.txt saat meng-crawl secara otomatis.

Token robots.txt

Google-CloudVertexBot

Cara mengizinkannya

User-agent: Google-CloudVertexBot
Allow: /

Cara memblokirnya

User-agent: Google-CloudVertexBot
Disallow: /

Cara memverifikasi kunjungan asli

Google menyatakan string user agent dapat dipalsukan dan merekomendasikan pemeriksaan DNS dua langkah. Lakukan pencarian DNS terbalik pada IP yang meminta: nama host harus berakhiran googlebot.com, google.com, atau googleusercontent.com. Lalu lakukan pencarian maju pada nama host itu dan pastikan hasilnya IP yang sama. Google juga mempublikasikan rentang IP crawler umumnya sebagai JSON, sehingga Anda dapat mencocokkan alamat secara otomatis.

Periksa apakah situs Anda mengizinkannya →