Google-CloudVertexBot
Google-CloudVertexBot, sahiplerinin isteğiyle siteleri tarayarak Google Cloud'da Vertex AI Agents oluşturur. Google, bunun robots.txt kurallarının Google Arama'yı veya diğer ürünleri etkilemediğini söylüyor. Engellemek yalnızca siz ya da bir Google Cloud müşterisi sitenizi bir aracının veri kaynağı olarak kullanıyorsa önem taşır.
Ne yapar
Google, Google-CloudVertexBot'a yönelik tarama tercihlerinin, site sahiplerinin Vertex AI Agents oluşturmak için istediği taramaları etkilediğini söylüyor. Google Arama'yı veya diğer Google ürünlerini etkilemez. User agent'ı Google-CloudVertexBot alt dizesini içerir.
robots.txt içinde Google-CloudVertexBot token'ının kurallarına, yoksa Googlebot kurallarına uyar. Google onu, otomatik tarama yaparken her zaman robots.txt'ye uyan ortak tarayıcıları arasında sayar.
robots.txt token'ı
Google-CloudVertexBot
Nasıl izin verilir
User-agent: Google-CloudVertexBot
Allow: /
Nasıl engellenir
User-agent: Google-CloudVertexBot
Disallow: /
Gerçek ziyaretler nasıl doğrulanır
Google, user agent dizelerinin taklit edilebileceğini söylüyor ve iki adımlı bir DNS denetimi öneriyor. İstek yapan IP için ters DNS sorgusu yapın: ana makine adı googlebot.com, google.com veya googleusercontent.com ile bitmelidir. Ardından bu ana makine adı için ileri sorgu yapın ve aynı IP'yi döndürdüğünü doğrulayın. Google ayrıca ortak tarayıcılarının IP aralıklarını JSON olarak yayımlar; böylece adresleri otomatik eşleştirebilirsiniz.