AI eğitimini engelleyip AI arama yanıtlarında nasıl kalırsınız

Q: GPTBot'u engellemek sitemi ChatGPT yanıtlarından çıkarır mı?

Hayır. OpenAI, GPTBot'un eğitim için olduğunu ve her robots.txt ayarının bağımsız olduğunu söylüyor. ChatGPT araması OAI-SearchBot kullanır; ona izin verildiği ve güvenlik duvarınız engellemediği sürece sayfalarınız uygun kalır.

Q: Google-Extended'ı engellemek beni AI Overviews'tan çıkarır mı?

Google'ın belgelerine göre hayır. Google, Google-Extended'ın Google Arama'ya dahil edilmeyi etkilemediğini söylüyor ve AI Overviews, Arama dizininden yararlanır. Google, bir siteyi AI Overviews ve AI Mode'un dışında tutmak için ayrı bir Search Console denetimi sunuyor.

Q: Tüm AI eğitimini engelleyen tek bir satır var mı?

Böyle standart bir satır yok. Content-Signal: ai-train=no tercihi tüm crawler'lar için belirtir, ancak bir crawler'ın buna uyup uymadığı işletmeciye bağlıdır. Belgelenmiş yol, her eğitim token'ı için adı belli gruplardır.

Yayınlanma 2026-11-12

Kısa cevap

Çoğu AI sağlayıcısı model eğitimi ve arama için robots.txt'de ayrı token'lar kullanır. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ve CCBot gibi eğitim token'larını engelleyin; OAI-SearchBot, Claude-SearchBot ve PerplexityBot gibi arama ve kullanıcı token'larına izin verin. Aynı tercihi sözle belirtmek için bir Content-Signal satırı ekleyin.

Birçok site sahibi iki şeyi birden ister: içeriklerinin AI modellerini eğitmek için kullanılmasını istemezler, ama AI asistanlarının sayfalarını bulmasını, alıntılamasını ve bağlantı vermesini isterler. Büyük sağlayıcılar bu işleri artık farklı crawler'lara ya da token'lara böldüğü için robots.txt her iki tercihi de ifade edebilir. Tuzak şu: adlar sağlayıcıdan sağlayıcıya değişir, birkaç sağlayıcı bu kalıba uymaz ve yanlış tek bir satır sizi eğitim verisinden değil, AI yanıtlarından çıkarabilir.

Bu sayfada

Eğitim crawler'ı ile arama crawler'ı arasındaki fark nedir?
Hangi token eğitimi, hangisi aramayı denetler?
robots.txt nasıl görünür?
Kaç site bunu zaten yapıyor?
Content-Signal ne ekler?
Ayrım nerede tam olarak işlemez?
Ayrımın çalıştığını nasıl kontrol ederim?

Eğitim crawler'ı ile arama crawler'ı arasındaki fark nedir?

Eğitim crawler'ı, AI modellerini oluşturmak ya da geliştirmek için kullanılabilecek sayfaları toplar. Eğitimin kendisi alıntı ya da bağlantı üretmez. Arama crawler'ı, bir AI asistanının yanıt için kaynak bulmakta kullandığı bir dizin oluşturur ve alıntılayabileceği kaynaklar bunlardır. Kullanıcı isteğiyle çalışan bir çekici ise biri sayfayı sorduğu için onu canlı açar.

Sağlayıcılar bu rolleri ayrı belgeliyor ve ayarların birbirinden bağımsız olduğunu söylüyor. Örneğin OpenAI, crawler'ları için her robots.txt ayarının diğerlerinden bağımsız olduğunu belirtiyor. Dolayısıyla doğru yapılmış bir eğitim opt-out'u arama görünürlüğünüze dokunmaz.

Hangi token eğitimi, hangisi aramayı denetler?

Sağlayıcıların belgelediği token'lar, neyi denetlediklerine göre gruplanmış olarak şöyle:

OpenAI: GPTBot, temel modellerini eğitmek için kullanılabilecek içeriği tarar. OAI-SearchBot ChatGPT araması içindir, ChatGPT-User ise kullanıcı eylemlerini yürütür; OpenAI robots.txt'nin buna uygulanmayabileceğini söylüyor.
Anthropic: ClaudeBot, eğitime katkıda bulunabilecek içeriği toplar. Claude-SearchBot Claude'un arama sonuçlarını iyileştirir, Claude-User ise kullanıcılar için sayfa çeker. Anthropic botlarının robots.txt'ye uyduğunu söylüyor.
Google: Google-Extended, kendine ait bir crawler'ı olmayan bir robots.txt token'ıdır. Gelecekteki Gemini modellerinin eğitiminde ve Gemini Apps ile Vertex AI'daki grounding'de kullanımı denetler. Google bunun Google Arama'daki yer almayı ya da sıralamayı etkilemediğini söylüyor; o, Googlebot üzerinden denetlenir.
Apple: Applebot-Extended tarama yapmaz; Applebot'un taradığı içeriğin Apple'ın temel modellerini eğitmek için kullanılıp kullanılmayacağını denetler. Apple, onu engelleyen sayfaların arama sonuçlarında yine de görünebileceğini söylüyor.
Meta: meta-externalagent, temel modelleri eğitmek gibi kullanımlar için tarama yapar; meta-webindexer ise Meta AI arama sonuçlarını iyileştirir.
Common Crawl: CCBot, Common Crawl'ın herkese açık web arşivini oluşturur. Cloudflare'in yönetilen robots.txt dosyası onu engellediği AI eğitim crawler'ları arasında sayıyor.
Perplexity: PerplexityBot ve Perplexity-User arama ve kullanıcı isteklerine hizmet eder. Perplexity ikisinin de eğitim verisi toplamakta kullanılmadığını söylüyor; yani engellenecek bir Perplexity eğitim token'ı yoktur.

robots.txt nasıl görünür?

RFC 9309'a göre arka arkaya gelen birkaç User-agent satırı tek bir grup oluşturur; kurallar her birine uygulanır. Bu dosya yukarıdaki eğitim token'larından çıkar, arama ve kullanıcı ajanlarına izin verir ve herkes için tek bir özel yolu kapalı tutar:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

İki ayrıntı önemli. Birincisi, adı geçen bir grup * grubundan kural devralmaz; bu yüzden özel yolları arama grubunda da yinelemeniz gerekir. İkincisi, Googlebot ya da Applebot'u eğitim grubuna eklemeyin: bunlar arama crawler'larıdır ve engellemek sizi Google Arama'dan ve Apple'ın arama özelliklerinden çıkarır. Değişiklikler anında yansımaz: OpenAI arama için yaklaşık 24 saat, Perplexity ise 24 saate kadar diyor.

Kaç site bunu zaten yapıyor?

Beklediğinizden az. Tranco listesindeki en popüler 1.000 alan adının robots.txt dosyalarını 2026-11-12 tarihinde okuduk. robots.txt sunan 518 siteden 155'i (%29,9) ana sayfayı en az bir AI eğitim crawler'ı için engelliyor. Yalnızca 57'si (%11,0) seçici yolu izliyor: eğitim crawler'larını engelliyor, test ettiğimiz tüm AI arama ve kullanıcı crawler'larına izin veriyor. Toplamda 101 site (%19,5) en az bir AI arama ya da kullanıcı crawler'ını engelliyor.

Crawler bazında rakamlar da aynı ayrımı gösteriyor. GPTBot 111 sitede (%21,4), OAI-SearchBot 58 sitede (%11,2) engelli. ClaudeBot 110 sitede (%21,2), Claude-SearchBot 67 sitede (%12,9) engelli. Google-Extended 94 sitede (%18,1), Googlebot 14 sitede (%2,7) engelli. Content-Signal kullanan yalnızca 18 site (%3,5) var.

Çalışma yalnızca ana sayfaya yönelik robots.txt kurallarına bakıyor. Güvenlik duvarı engellerini ölçmüyor ve her sitenin neyi amaçladığını göstermiyor.

Content-Signal ne ekler?

Content Signals, Cloudflare'in contentsignals.org adresinde yayımladığı bir robots.txt uzantısıdır. Bir Content-Signal satırı, içeriğin nasıl kullanılabileceğini üç sinyalle belirtir: search (arama dizini oluşturma ile bağlantı ve kısa alıntı gösterme), ai-input (içeriği gerçek zamanlı olarak AI modellerine verme; örneğin üretken yanıtlar için grounding ya da retrieval) ve ai-train (modelleri eğitme ya da ince ayar yapma).

search tanımının AI tarafından üretilen arama özetlerini kapsamadığına dikkat edin. AI yanıtlarında görünmek istiyorsanız yukarıdaki örnekteki gibi ai-input=yes de ayarlayın. Cloudflare'in yönetilen robots.txt dosyası varsayılan olarak search=yes, ai-train=no ekler; atladığınız bir sinyal o kullanımı ne verir ne kısıtlar.

Bunlar beyan edilmiş tercihlerdir. Content Signals sitesi, bunların teknik düzeyde taramayı engellemediğini söylüyor; Cloudflare da robots.txt'ye uymanın gönüllü olduğunu belirtiyor. Baktığımız OpenAI, Anthropic, Google ya da Perplexity crawler sayfalarının hiçbiri Content-Signal'i okuyup okumadıklarını söylemiyor; bu yüzden onu crawler başına gruplara bir ek olarak görün, onların yerine değil.

Ayrım nerede tam olarak işlemez?

Birkaç durum dikkat ister:

Google AI Overviews ve AI Mode, Googlebot'un oluşturduğu Arama dizininden yararlanır; bu yüzden Google-Extended sizi bunların dışına çıkarmaz. Google'ın Search Console yardımı, Google-Extended'ın Arama'nın üretken AI özelliklerinin arkasındaki modellerin eğitimini sınırladığını ekliyor; crawler belgeleri bu kapsamı anmıyor. Google artık bir siteyi AI Overviews ve AI Mode'un dışında tutmak için ayrı bir Search Console ayarı sunuyor.
OpenAI, bir site hem GPTBot'a hem OAI-SearchBot'a izin veriyorsa tek bir taramanın sonuçlarını her iki amaçla da kullanabileceğini söylüyor. İçeriğin eğitimde kullanılmaması gerektiğini bildiren şey GPTBot'u engellemektir.
Opt-out'lar ileriye dönüktür. Anthropic, örneğin ClaudeBot'u engellemeyi sitenizin gelecekteki içeriğini eğitim veri kümelerinin dışında tutmak olarak tanımlıyor.
Kullanıcı isteğiyle çalışan çekiciler arada kalır. OpenAI ve Perplexity, robots.txt'nin ChatGPT-User için geçerli olmayabileceğini, Perplexity-User için ise genellikle geçerli olmadığını söylüyor.
Güvenlik duvarları robots.txt'yi okumaz. Geniş kapsamlı bir bot engelleme kuralı, izin verdiğiniz arama crawler'larını da durdurabilir. Eğitim engelini güvenlik duvarında uyguluyorsanız eğitim ajanlarını adıyla eşleştirin ve yayımlanan IP aralıklarıyla doğrulayın.

Ayrımın çalıştığını nasıl kontrol ederim?

robots.txt'nizi her crawler'ın okuyacağı gibi okuyun: onu adıyla anan grubu bulun, yoksa * grubuna dönün ve en uzun eşleşen kuralı uygulayın. Ardından her arama crawler'ının user agent'ıyla bir sayfa isteyin ve 403 ya da doğrulama sayfası değil, tam içerikle 200 aldığını doğrulayın.

AISeeWhy bunların ikisini de 14 crawler için yapar, onları eğitim, arama ve kullanıcı ajanları olarak gruplar ve en yaygın hatayı işaretler: eğitimi engellemek isterken PerplexityBot ya da Claude-SearchBot gibi bir arama token'ını engellemek.

Sık sorulan sorular

GPTBot'u engellemek sitemi ChatGPT yanıtlarından çıkarır mı?

Hayır. OpenAI, GPTBot'un eğitim için olduğunu ve her robots.txt ayarının bağımsız olduğunu söylüyor. ChatGPT araması OAI-SearchBot kullanır; ona izin verildiği ve güvenlik duvarınız engellemediği sürece sayfalarınız uygun kalır.

Google-Extended'ı engellemek beni AI Overviews'tan çıkarır mı?

Google'ın belgelerine göre hayır. Google, Google-Extended'ın Google Arama'ya dahil edilmeyi etkilemediğini söylüyor ve AI Overviews, Arama dizininden yararlanır. Google, bir siteyi AI Overviews ve AI Mode'un dışında tutmak için ayrı bir Search Console denetimi sunuyor.

Tüm AI eğitimini engelleyen tek bir satır var mı?

Böyle standart bir satır yok. Content-Signal: ai-train=no tercihi tüm crawler'lar için belirtir, ancak bir crawler'ın buna uyup uymadığı işletmeciye bağlıdır. Belgelenmiş yol, her eğitim token'ı için adı belli gruplardır.

AI eğitimini durdurmak için Perplexity'yi engellemeli miyim?

Perplexity, ajanlarının eğitim verisi toplamakta kullanılmadığını söylüyor. PerplexityBot'u engellemek, bir eğitim opt-out'u sağlamadan Perplexity'nin arama sonuçlarındaki görünürlüğünüzü azaltır.