Gemini web sitemi görebiliyor mu? Nasıl kontrol edilir
Gemini sayfanızı temellendirilmiş (grounded) bir yanıtta yalnızca sayfa Google'ın arama dizinindeyse ve robots.txt dosyanız Google-Extended token'ını engellemiyorsa kullanabilir. Google, Gemini uygulamasındaki grounding'in modele Google arama dizininden içerik verdiğini ve içeriğinizin bunun için kullanılıp kullanılamayacağını Google-Extended'ın denetlediğini söylüyor. Dolayısıyla Search Console'da dizine eklemeyi, robots.txt'de Googlebot ve Google-Extended'ı kontrol edin, ardından Gemini'ye alıcılarınızın sorularını sorup kaynaklarını açın.
Gemini'nin, diğer asistanlarda olduğu gibi günlüklerinizde izleyebileceğiniz bir crawler'ı yok. Google mevcut crawler'larıyla tarar ve Gemini'nin içerikle ne yapabileceğine bir robots.txt token'ı karar verir. Bu da kontrolü farklı kılar: işin çoğu Google Search Console'da ve robots.txt dosyanızda, son adım ise Gemini'nin kendisinde yapılır.
Bu sayfada
- Adım adım 5 dakikalık kontrol
- Gemini web sitelerinden bilgiyi nasıl alır?
- Google'ın sayfamı dizine ekleyip eklemediğini nasıl kontrol ederim?
- Google-Extended, Gemini'nin sitemi kullanmasını engelliyor mu?
- Bir güvenlik duvarı tarayıcılar geçerken Google'ı engelleyebilir mi?
- Gemini'nin sitemi kullanıp kullanmadığını ya da kaynak gösterip göstermediğini nasıl görürüm?
- AI Overviews, AI Mode ve snippet kuralları Gemini'yi etkiler mi?
- AISeeWhy bunu nasıl kontrol eder?
Adım adım 5 dakikalık kontrol
- Sayfanın Google dizininde olduğunu doğrulamak için Google'da
site:ile sayfa adresinizi aratın veya Search Console'da URL Denetimi'ni kullanın. - robots.txt dosyanızı açın ve devre dışı kalmayı kendiniz seçmediyseniz
Googlebot'un sayfayı getirebildiğinden veGoogle-Extended'ın yasaklanmadığından emin olun. - Sayfayı AISeeWhy'da ücretsiz kontrol edin veya
Googlebotuser agent'ıyla tek bir istek gönderin: istek 200 durumu ve bir tarayıcıyla aynı metni almalıdır. - Gemini'ye sayfanızın yanıtladığı bir soru sorun ve yanıtın altında gösterdiği kaynakları açın.
Sayfa dizinde değilse Gemini'nin grounding'i onu kullanamaz; bu yüzden 1. adımla başlayın. Aşağıdaki bölümler her adımı ve başarısız olduğunda ne yapılacağını açıklıyor.
Gemini web sitelerinden bilgiyi nasıl alır?
Google'ın Gemini Apps Privacy Hub sayfası, bazı Gemini yanıtlarının arama sonuçlarıyla temellendirildiğini söylüyor. Google'ın crawler belgeleri grounding'i, doğruluğu ve alakayı artırmak için istem anında modele Google arama dizininden içerik sağlamak olarak tanımlıyor. Aynı sayfa, Google'ın taradığı içeriğin Gemini modellerini eğitmek, Gemini Apps'te grounding ve Vertex AI'daki Grounding with Google Search için kullanılıp kullanılamayacağını Google-Extended'ın denetlediğini söylüyor.
Google-Extended'ın kendine ait bir user agent dizesi yok. Google taramanın mevcut user agent'larıyla yapıldığını ve token'ın yalnızca robots.txt'de bir denetim olarak işlediğini söylüyor. Pratikte bu, Gemini'nin sayfanızı kullanması için iki koşul demek: Google'ın sayfayı dizininde tutması ve robots.txt dosyanızın o sayfa için Google-Extended'ı engellememesi.
Google, Gemini'nin dizindeki sayfalardan hangilerini kullanacağını ya da kaynak göstereceğini nasıl seçtiğini belgelemiyor. İki koşulu da karşılamak sayfanızı kullanılabilir kılar; Gemini'nin onu seçeceğini garanti etmez.
Google'ın sayfamı dizine ekleyip eklemediğini nasıl kontrol ederim?
Google Search Console'daki URL Denetimi aracını kullanın. Dizindeki sürüm için şunları gösterir:
- Sayfanın dizinde olup olmadığı ya da "URL is unknown to Google" gibi bir neden.
- Son tarama tarihi ve Google'ın sayfayı masaüstü mü mobil ziyaretçi olarak mı taradığı.
- Sayfa çekiminin başarılı olup olmadığı ve robots.txt'nin taramaya izin verip vermediği.
- Bildirdiğiniz canonical ve Google'ın seçtiği canonical. Farklıysa Google kendi seçimini sayfanın yetkili sürümü olarak kabul eder.
Canlı URL'yi test et sayfayı gerçek zamanlı çeker, Test edilen sayfayı görüntüle ise bir ekran görüntüsünü ve Google'ın aldığı HTML'i gösterir. Ekran görüntüsü bir doğrulama sayfasıysa ya da HTML'de ana metniniz yoksa, Google ve onunla birlikte Gemini içeriğinizi görmez. Dizine ekleme iste, Google'dan URL'yi yeniden taramasını ister; Google bunun genellikle yaklaşık bir gün sürdüğünü ve dizine eklemenin garanti olmadığını söylüyor.
Google-Extended, Gemini'nin sitemi kullanmasını engelliyor mu?
robots.txt dosyanızı açın ve Google-Extended adını taşıyan bir grup arayın. Oradaki bir Disallow: /, Google'a sayfalarınızı Gemini eğitimi ya da Gemini Apps'te grounding için kullanmamasını söyler. Google, token'ın Google Arama'ya dahil edilmeyi etkilemediğini ve bir sıralama sinyali olmadığını söylüyor; bu yüzden bu engel kolayca gözden kaçar: arama trafiğiniz normal görünürken Gemini yanıtlarını sayfalarınıza dayandıramaz. AI Overviews ve Google-Extended hakkındaki ayrı yazımız, token'ın Arama'da neyi denetleyip neyi denetlemediğini anlatıyor.
Token isteklerde hiç görünmediği için onu curl ile test edemez ya da günlüklerde bulamazsınız. Tek kontrol dosyayı okumaktır:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" Eşleştirme büyük/küçük harfe duyarsızdır ve hiçbir grup Google-Extended'ı adlandırmıyorsa ona * grubu uygulanır. Birçok site bu engeli yapay zekâ eğitimi ilk tartışılmaya başladığında ekledi. En popüler 1.000 alan adı üzerine yaptığımız çalışmada, robots.txt dosyası olan 518 sitenin 114'ü Google-Extended'ı adlandırıyordu ve 94'ü (%18,1) ana sayfasını ona kapatmıştı. Grounding'i de kapsadığını göz önünde bulundurarak bunun hâlâ istediğiniz şey olup olmadığına karar verin.
Bir güvenlik duvarı tarayıcılar geçerken Google'ı engelleyebilir mi?
Evet. Bot koruması ya da bir hız sınırı Google'ın crawler'larına 403, 429 ya da doğrulama sayfasıyla yanıt verirse, Google sayfayı tarayamaz ve zamanla sayfa Arama'dan, onunla birlikte Gemini'nin grounding'inden düşebilir. Burada en iyi test URL Denetimi'dir, çünkü Google kendi adreslerinden çeker; bilgisayarınızdan yapılan bir curl testi yalnızca kurallarınızın user agent'a nasıl davrandığını gösterir.
Google'a güvenle izin vermek için ada güvenmek yerine ziyaretçiyi doğrulayın. Google, ters DNS sorgusunun ardından ileri sorgu yapılmasını belgeliyor ve yaygın crawler'larının IP aralıklarını common-crawlers.json içinde yayımlıyor:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com Örnek adresi günlüklerinizdeki bir adresle değiştirin. İki sorgu eşleşmiyorsa, istek yalnızca Google olduğunu iddia ediyordur.
Gemini'nin sitemi kullanıp kullanmadığını ya da kaynak gösterip göstermediğini nasıl görürüm?
Sitenizin adını vermeden Gemini'ye alıcılarınızın sorduğu soruları sorun ve kaynakları açın. Google'ın yardım merkezi, Kaynaklar düğmesinin bir yanıtın altında ya da satır içinde göründüğünü ve herkese açık web sitelerini içerebilen ilgili bağlantılar panelini açtığını söylüyor. Kaynaklar düğmesi yoksa Gemini o yanıt için bağlantı vermemiştir; Google tüm yanıtların bağlantı içermediğini belirtiyor. Hangi alan adlarının çıktığını kaydedin ve aynı soruları birkaç hafta boyunca tekrarlayın.
Geliştiriciler aynı testi Gemini API üzerinden Grounding with Google Search ile yapabilir. Google bunun modeli gerçek zamanlı web içeriğine bağladığını söylüyor; temellendirilmiş yanıtlar her kaynağın URL'si ve başlığıyla birlikte kaynak bilgisi taşır, böylece alan adınızın çıkıp çıkmadığını kontrol edebilirsiniz. API yanıtları Gemini uygulamasının gösterdiğinden farklı olabilir.
Gemini ile ilgili bazı çekimler sunucunuza gerçekten ulaşır. Google, kullanıcıların bir Gemini Notebook projesine kaynak olarak eklediği URL'leri isteyen Google-GeminiNotebook ve Google altyapısında kullanıcının isteği üzerine hareket eden ajanların kullandığı Google-Agent gibi kullanıcı tetiklemeli fetcher'ları listeliyor. Google, çekimi bir kullanıcı istediği için bu fetcher'ların genellikle robots.txt'yi yok saydığını söylüyor. Ziyaretleri, insanların sayfalarınızı bu ürünler üzerinden açtığını gösterir; yukarıda anlatılan grounding yolu değildirler.
AI Overviews, AI Mode ve snippet kuralları Gemini'yi etkiler mi?
AI Overviews ve AI Mode, kendi denetimleri olan Google Arama özellikleridir. Google, sayfalarınızdan gösterilenleri sınırlamanın yolları olarak nosnippet, data-nosnippet, max-snippet ve noindex'i listeliyor. Robots meta etiketi belgeleri, nosnippet'in içeriğin AI Overviews ve AI Mode için doğrudan girdi olarak kullanılmasını da engellediğini, max-snippet'in ise ne kadarının kullanılabileceğini sınırladığını söylüyor. Search Console'da ayrıca bir siteyi AI Overviews, AI Mode ve Discover'daki üretken yapay zekâ özelliklerinden hariç tutabilen site genelinde bir Search generative AI ayarı var.
Bu sayfaların hiçbiri Gemini uygulamasından söz etmiyor. Bir snippet kuralının ya da Search Console ayarının Gemini'nin grounding'ini değiştirdiğini veya Google-Extended'ın AI Overviews'u değiştirdiğini varsaymayın. İstisna noindex'tir: Google'ın grounding tanımına göre arama dizini dışındaki bir sayfa bunun için kullanılamaz. Unutmuş olabileceğiniz snippet kurallarını bulmak için HTML'i ve başlıkları kontrol edin:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" AISeeWhy bunu nasıl kontrol eder?
Ücretsiz AISeeWhy denetimi sayfanızı gerçek bir tarayıcının yanında Googlebot ve diğer AI ve arama crawler'ları olarak çeker, Google-Extended token'ı dahil her birine robots.txt dosyanızı uygular, doğrulama sayfalarını tanır ve JavaScript olmadan ne kadar metin geldiğini gösterir. Deneme ve ücretli planlardaki Yapay zekâ görünürlüğü denetimi, sorularınızı kendi anahtarınızla Google Search grounding açık olarak Gemini API üzerinden sorar ve markanızın ya da alan adınızın anılıp anılmadığını veya kaynak gösterilip gösterilmediğini gösterir. AI Overviews ya da AI Mode'u sorgulamaz.
Sonraki adımlar
- Yapay zekâ tarayıcıları için robots.txt test aracı ve denetleyici
- Yapay zekâ tarayıcısı IP denetimi
- Tam rapor örneğini görün
- Yapay zekâ tarayıcısı izleme
- Planlar ve fiyatlar
Bu makaledeki tarayıcılar
Sık sorulan sorular
Gemini'nin sitemi görüp göremediğini ücretsiz kontrol edebilir miyim?
Evet. Search Console, bir site: araması, robots.txt dosyanız ve Gemini'ye bir soru hiçbir ücret gerektirmez. AISeeWhy'ın ücretsiz kontrolü günde bir sayfa için Googlebot'u, Google-Extended kuralını ve 14 başka crawler'ı test eder.
Gemini'nin kendi crawler'ı var mı?
Grounding için yok. Google, Google-Extended'ın bir user agent dizesi olmadığını ve taramanın mevcut crawler'larıyla yapıldığını söylüyor. Google-GeminiNotebook ve Google-Agent gibi ayrı, kullanıcı tetiklemeli fetcher'lar bir kullanıcı istediğinde sayfaları ziyaret eder ve Google bunların genellikle robots.txt'yi yok saydığını söylüyor.
Google-Extended'ı engellersem Gemini markamı yine de anabilir mi?
Google, içeriğinizi Gemini Apps'te grounding için kullanmayacağını söylüyor. Bu kural sizin sayfalarınızı kapsar. Google sizin hakkınızda yazan diğer sitelerdeki içerik hakkında bir şey söylemiyor; bu yüzden Gemini markanızı o kaynaklardan yine de adlandırabilir.
Bir robots.txt değişikliğinin Gemini'ye ulaşması ne kadar sürer?
Google, Gemini için bir süre vermiyor. robots.txt belgeleri Google'ın dosyayı genellikle 24 saate kadar önbellekte tuttuğunu söylüyor; bu yüzden yeniden test etmeden önce en az bir gün, Google'ın seyrek taradığı sayfalar için daha uzun bekleyin.
AI Overviews ve Gemini aynı kaynakları mı kullanır?
Google ikisinin ilişkisini belgelemiyor. İkisi de Google'ın dizinine dayanıyor ama denetimleri farklı: AI Overviews ve AI Mode için snippet kuralları ve Search Console ayarı, Gemini grounding için Google-Extended. Bunları ayrı ayrı kontrol edin.
Gemini yanıtlarını zaman içinde nasıl takip ederim?
Sabit bir alıcı soruları listesi tutun, bunları düzenli olarak Gemini'ye sorun ve kaynaklarda hangi alan adlarının çıktığını kaydedin. AISeeWhy'ın Yapay zekâ görünürlüğü denetimi sorularınızı her hafta Google Search grounding ile Gemini API üzerinden çalıştırır ve anılmaları en fazla dört rakiple yan yana gösterir. API sonuçları Gemini uygulamasından farklı olabilir.
Kaynaklar
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: AI Crawler Access Report, 2026-11