Google-CloudVertexBot
Google-CloudVertexBot merangkak laman atas permintaan pemiliknya untuk membina Vertex AI Agents di Google Cloud. Google menyatakan peraturan robots.txt-nya tidak memberi kesan kepada Carian Google atau produk lain. Menyekatnya hanya penting jika anda atau pelanggan Google Cloud menggunakan laman anda sebagai sumber data ejen.
Fungsinya
Google menyatakan pilihan perangkakan yang ditujukan kepada Google-CloudVertexBot menjejaskan rangkakan yang diminta oleh pemilik laman untuk membina Vertex AI Agents. Ia tidak memberi kesan kepada Carian Google atau produk Google lain. User agent-nya mengandungi subrentetan Google-CloudVertexBot.
Dalam robots.txt ia mengikut peraturan untuk token Google-CloudVertexBot dan, jika tiada, peraturan untuk Googlebot. Google menyenaraikannya antara perangkak umumnya, yang sentiasa mematuhi robots.txt apabila merangkak secara automatik.
Token robots.txt
Google-CloudVertexBot
Cara membenarkannya
User-agent: Google-CloudVertexBot
Allow: /
Cara menyekatnya
User-agent: Google-CloudVertexBot
Disallow: /
Cara mengesahkan lawatan sebenar
Google menyatakan rentetan user agent boleh dipalsukan dan mengesyorkan semakan DNS dua langkah. Jalankan carian DNS songsang pada IP yang membuat permintaan: nama hos patut berakhir dengan googlebot.com, google.com atau googleusercontent.com. Kemudian jalankan carian ke hadapan pada nama hos itu dan sahkan ia mengembalikan IP yang sama. Google juga menerbitkan julat IP perangkak umumnya sebagai JSON, supaya anda boleh memadankan alamat secara automatik.