AI crawler'ları için robots.txt: neye izin verilir, neyi engellemeli

Yayınlanma 2026-11-12

robots.txt 1994'e uzanan düz metin bir dosyadır ve 2022'de RFC 9309 olarak resmî standart oldu. Çoğu AI sağlayıcısı crawler'larının onu izlediğini söylüyor ve birkaçı arama ile eğitim için ayrı token'lar yayımlıyor. Bu da robots.txt'yi bir AI politikası belirtmenin en basit yeri yapıyor; yeter ki kurallar sandığınız anlama gelsin.

AI crawler'ları hangi robots.txt token'larını kullanır?

Bunlar sağlayıcıların belgelediği token'lardır. RFC 9309'a göre eşleştirmede büyük/küçük harf ayrımı yapılmaz.

• OpenAI: OAI-SearchBot (ChatGPT araması), GPTBot (eğitim), ChatGPT-User (kullanıcının istediği ziyaretler; OpenAI robots.txt'nin geçerli olmayabileceğini söylüyor).
• Anthropic: Claude-SearchBot (arama), ClaudeBot (eğitim), Claude-User (kullanıcının istediği ziyaretler).
• Perplexity: PerplexityBot (arama), Perplexity-User (kullanıcının istediği ziyaretler; Perplexity genellikle robots.txt'yi yok saydığını söylüyor).
• Google: Googlebot (Search, AI özellikleri dahil) ve kendi crawler'ı olmayan, Gemini eğitiminde ve grounding'de kullanımı denetleyen Google-Extended token'ı.
• Apple: Applebot (Spotlight, Siri, Safari araması) ve tarama yapmayan ama Apple'ın temel modellerinin eğitiminde kullanımı denetleyen Applebot-Extended.
• Meta: meta-externalagent (eğitim ve ürün dizinleme) ve meta-webindexer (Meta AI araması).
• Common Crawl: Common Crawl'ın ücretsiz, herkese açık web verisi arşivini oluşturan CCBot.

İyi bir AI robots.txt'si nasıl görünür?

Bu örnek AI aramasını ve kullanıcı çekmelerini içeri alır, başlıca eğitim token'larından çıkar ve tek bir özel alanı herkese kapalı tutar:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Art arda gelen birkaç User-agent satırı tek bir grup oluşturur; dolayısıyla altındaki kurallar bu crawler'ların her biri için geçerlidir. İçeriğinizin eğitimde kullanılmasını istiyorsanız ikinci grubu çıkarmanız yeterli. Google-Extended'ı engellemek Google Aramasını etkilemez: Google bunun Aramaya dahil edilmeyi etkilemediğini ve bir sıralama sinyali olmadığını söylüyor. Aynı şekilde Apple, Applebot-Extended'ı engelleyen sayfaların arama sonuçlarında yine görünebileceğini söylüyor.

Crawler'lar hangi kuralların kendileri için geçerli olduğunu nasıl seçer?

RFC 9309 bunu kesin olarak tanımlar ve ayrıntılar şaşırtıcı durumların çoğunu açıklar:

• Crawler, User-agent değeri ürün token'ıyla eşleşen grubu arar; büyük/küçük harf ayrımı yapılmaz. Birden çok grup eşleşirse kuralları tek bir grupta birleştirilir.
• Yalnızca hiçbir grup eşleşmezse crawler User-agent: * grubunu izler. Adı geçen bir grup *'dan hiçbir şey devralmaz.
• Grup içinde en uzun eşleşen yola sahip kural kazanır. /blog/post için Allow: /blog/, Disallow: / kuralını geçer.
• Bir Allow ve bir Disallow kuralı aynı uzunlukta eşleşirse Allow kullanılmalıdır.
• Bir yoldaki * her karakterle eşleşir, $ ise sonu sabitler; bu yüzden Disallow: /*.pdf$ tüm PDF'leri kapsar.

En sık yapılan robots.txt hataları nelerdir?

• Adı geçen bir grubun *'dan devralmasını beklemek. Yalnızca Allow: / içeren bir OAI-SearchBot grubu, * altında yasakladığınız yollar dahil her yolu açar.
• HTML sayfası döndüren bir robots.txt adresi; çoğu kez 200 durumuyla sunulan bir 404 sayfası. Crawler'lar içinde geçerli kural bulamaz.
• Sunucu hatası döndüren bir robots.txt. RFC 9309'a göre crawler bu durumda tüm sitenin yasak olduğunu varsaymak zorundadır. 404 farklıdır: kısıtlama olmadığı anlamına gelir.
• Eğitimi engellemek isterken bir arama token'ını engellemek; örneğin model eğitiminden kaçınmak için PerplexityBot ya da Claude-SearchBot'u yasaklamak.
• Kullanıcı isteğiyle yapılan çekmeleri durdurmak için robots.txt'ye güvenmek. OpenAI ve Perplexity, user agent'larının onu izlemeyebileceğini söylüyor.
• Alt alan adlarını unutmak. Her host'un kendi robots.txt'si vardır; Anthropic'in belgeleri site sahiplerine her alt alan adı için kural eklemelerini hatırlatır.

İzin ve engelin ötesinde bir AI kullanım politikası belirtebilir miyim?

Cloudflare, robots.txt için üç sinyalli bir Content-Signal satırı önerdi: search (arama dizini oluşturma ile bağlantı ve kısa alıntı gösterme), ai-input (içeriği AI yanıtları için gerçek zamanlı kullanma) ve ai-train (modelleri eğitme ya da ince ayar yapma). Cloudflare'in yönetilen robots.txt'si bunu sizin için ekleyebilir.

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt'deki her şey gibi bunlar da teknik denetim değil, tercihtir. Cloudflare'in kendisi de robots.txt'ye uymanın gönüllü olduğunu not ediyor. Satır isteğe bağlıdır ve zarar vermez, ama yukarıdaki crawler başına grupların yerini tutmaz.

Değişiklikler ne kadar sürer ve nasıl kontrol ederim?

RFC 9309, crawler'ların önbelleğe alınmış bir robots.txt'yi 24 saatten uzun kullanmaması gerektiğini söyler; OpenAI ve Perplexity de değişikliklerin uygulanmasının yaklaşık bir gün sürebileceğini söylüyor. robots.txt'nin erişim denetimi olmadığını da unutmayın: kurallarınızın izin verdiği bir crawler'ı bir güvenlik duvarı yine de engelleyebilir.

AISeeWhy test ettiği her crawler için robots.txt dosyanızı RFC 9309'a göre ayrıştırır, erişilemeyen ya da HTML olarak sunulan dosyaları işaretler, kurallarınızla sunucunuzun nerede çeliştiğini gösterir ve değişiklik için hazır bir diff verir.

Sık sorulan sorular

GPTBot veya ClaudeBot'u engellemek AI yanıtlarındaki görünürlüğüme zarar verir mi?

Doğrudan vermez. Her iki sağlayıcı da arama için ayrı arama crawler'ları kullanır: OAI-SearchBot ve Claude-SearchBot. Eğitim crawler'ını engellemek bir politika tercihidir.

Google-Extended AI Overviews'u durdurur mu?

Hayır. Google, Aramadaki AI özelliklerinin Googlebot'u ve nosnippet, noindex gibi olağan Arama denetimlerini kullandığını söylüyor. Google-Extended, Gemini eğitimini ve diğer Google ürünlerindeki grounding'i kapsar; Aramayı etkilemez.

AI crawler'ları Crawl-delay'i destekler mi?

RFC 9309'un parçası değildir. Anthropic Crawl-delay'i standart dışı bir uzantı olarak desteklediğini söylüyor; diğer sağlayıcılar için belgelerine bakın.

robots.txt nerede bulunmalı?

Her host'un kökünde, örneğin https://example.com/robots.txt. Alt klasördeki dosya yok sayılır ve her alt alan adının kendi dosyası olmalıdır.

Kaynaklar

• RFC 9309: Robots Exclusion Protocol
• OpenAI: Overview of OpenAI crawlers
• Google: Common crawlers, including Google-Extended
• Apple: About Applebot
• Cloudflare: Managed robots.txt and Content Signals

Diğer makaleler

• llms.txt nedir ve eklemeye değer mi?
• AEO ve SEO: neyin aynı olduğu ve AI yanıtları için neyin değiştiği
• Anthropic'in crawler'ları: ClaudeBot, Claude-SearchBot ve Claude-User