Googlebot

Google · Arama motoru

Googlebot, Google'ın arama dizinlerini oluşturan ana tarayıcısıdır. Google, Googlebot için robots.txt kurallarının bir sitenin Arama için nasıl taranacağını, AI Overviews ve AI Mode gibi yapay zekâ özellikleri dahil, denetlediğini söylüyor. Engellemek sayfalarınızı Google Arama'dan ve bu yapay zekâ yanıtlarından kaldırır.

Ne yapar

Googlebot, Google'ın arama dizinlerini oluşturmak için bilgi bulmakta kullanılır. Googlebot token'ına yönelik tarama tercihleri Google Arama'yı ve Google Görseller, Video, Google Haberler ve Discover gibi ürünleri etkiler. Akıllı telefon ve masaüstü tarayıcısı olarak çalışır; ikisi de aynı Googlebot kurallarına uyar ve Google, ortak tarayıcılarının otomatik tarama yaparken her zaman robots.txt'ye uyduğunu söylüyor.

Google'ın yapay zekâ özelliklerine ilişkin belgeleri, Googlebot kurallarını AI Overviews ve AI Mode dahil Arama için denetim olarak tanımlar ve gösterilenleri sınırlamak için nosnippet, data-nosnippet, max-snippet ve noindex'i işaret eder. Gemini eğitimi için kullanım ayrıca Google-Extended ile denetlenir.

2026-11 tarihli çalışmamızda, robots.txt dosyası olan popüler sitelerin 2.7% kadarı bunu engelliyordu. →

robots.txt token'ı

Googlebot

User agent dizesi

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36

Nasıl izin verilir

User-agent: Googlebot
Allow: /

Nasıl engellenir

User-agent: Googlebot
Disallow: /

Gerçek ziyaretler nasıl doğrulanır

Google, user agent dizelerinin taklit edilebileceğini söylüyor ve iki adımlı bir DNS denetimi öneriyor. İstek yapan IP için ters DNS sorgusu yapın: ana makine adı googlebot.com, google.com veya googleusercontent.com ile bitmelidir. Ardından bu ana makine adı için ileri sorgu yapın ve aynı IP'yi döndürdüğünü doğrulayın. Google ayrıca ortak tarayıcılarının IP aralıklarını JSON olarak yayımlar; böylece adresleri otomatik eşleştirebilirsiniz.

Sitenizin buna izin verip vermediğini denetleyin →

AEO ve SEO: neyin aynı olduğu ve AI yanıtları için neyin değiştiği →