Cloudflare AI Crawl Control raporu nasıl okunur, hangi AI crawler'ları içeri giriyor?

Yayınlanma

Kısa cevap

Cloudflare panelinizde AI Crawl Control'ü açın: crawler listesi, Cloudflare'in alan adınızda gördüğü her AI crawler'ını, isteklerini, robots.txt ihlallerini ve eyleminin Allow mu Block mu olduğunu gösterir. AI aramasında kalıp eğitimi reddetmek için arama ve ajan crawler'larına izin verin, eğitim crawler'larını ise orada ya da AI Crawler and Agent access policies altında engelleyin veya disallow edin. Ardından sonucu dışarıdan curl ile doğrulayın, çünkü diğer Cloudflare özellikleri izin verdiğiniz bir crawler'ı yine de engelleyebilir.

Cloudflare'de artık AI crawler'larının ne alacağına karar veren iki yer var: eskiden AI Audit adını taşıyan, crawler bazında rapor ve kontrol paneli işlevi gören AI Crawl Control ile Security ayarları altındaki, tüm bölgeye uygulanan AI Crawler and Agent access policies. İkisi de Free planda var, ikisi de 2026'da değişti ve hiçbiri bir crawler'a yine de 403 ile yanıt verebilecek diğer özellikler hakkında bilgi vermiyor. Bu rehber raporu sütun sütun anlatıyor, izin verme ve engellemenin nerede ayarlandığını gösteriyor ve kendi bilgisayarınızdan çalıştırabileceğiniz bir testle bitiyor.

Bu sayfada
  1. Cloudflare'de AI crawler raporu nerede?
  2. AI Crawl Control raporundaki her sütun ve metrik ne anlama geliyor?
  3. Cloudflare'de AI arama crawler'larına nasıl izin verir, eğitim crawler'larını nasıl engellerim?
  4. Cloudflare'in AI crawler varsayılanlarında ne değişti?
  5. İzin verdiğim hâlde Cloudflare AI crawler'larını neden hâlâ engelliyor?
  6. Cloudflare'in hangi AI crawler'larını içeri aldığını dışarıdan nasıl doğrularım?
  7. AISeeWhy, Cloudflare'in AI crawler'larına ne gönderdiğini nasıl kontrol eder?

Cloudflare'de AI crawler raporu nerede?

Panelde hesabınızı ve alan adınızı seçin, ardından AI Crawl Control'ü açın. Cloudflare bunun yapılandırma gerektirmeden çalıştığını ve alan adınızın trafiği Cloudflare üzerinden proxy'lendiği sürece tüm planlarda kullanılabildiğini söylüyor. Dört bölümü var:

Sayıları okurken iki plan sınırı önemli. Free planda AI Crawl Control crawler'ları yalnızca user agent dizesine göre tanır; yani yalnızca kendini tanıtan crawler'ları görür, başkasını görmez, Metrics sekmesi de son 24 saati kapsar. Ücretli planlar Bot Management tespit kimliğiyle tespit ekler, Bot Management'lı Enterprise ise ayarlanabilir zaman aralıkları alır.

AI Crawl Control raporundaki her sütun ve metrik ne anlama geliyor?

Cloudflare alanları aşağıdaki gibi belgeliyor. Tanımlar önemli, çünkü bazı sayılar beklediğinizden fazlasını sayıyor.

Raporu seçtiğiniz eylemden yola çıkarak okuyun. Allow olarak ayarlanmış bir crawler çoğunlukla izin verilen istekler ve 2xx kodları göstermelidir. Çok sayıda başarısız istek gösteriyorsa durum kodu dağılımını o crawler'a göre filtreleyerek açın ve yanıt veren kuralı bulmak için Security Analytics'e bakın.

Cloudflare'de AI arama crawler'larına nasıl izin verir, eğitim crawler'larını nasıl engellerim?

Bunu crawler bazında ya da davranışa göre yapabilirsiniz. Crawler bazında: AI Crawl Control'ü açın ve her satır için Action'ı ayarlayın. Cloudflare, orada engellemenin bölgenizde bir WAF özel kuralı oluşturduğunu ya da güncellediğini söylüyor; bu kuralı yol istisnaları için WAF'ta genişletebilirsiniz. Ücretli planlarda engellenen crawler'ların 403 mü 402 mi alacağını seçebilir ve düz metin bir yanıt gövdesi belirleyebilirsiniz.

Davranışa göre: Security'ye, ardından Settings'e gidin, Bot traffic'e göre filtreleyin ve AI Crawler and Agent access policies'i açın. Cloudflare AI trafiğini üç davranışa ayırır; her politika o davranışa sahip doğrulanmış botlara ve eşleşen doğrulanmamış botlara uygulanır:

Her davranış Block, Block on pages with ads ya da Allow (do not block) olarak ayarlanabilir. Training'de ayrıca yalnızca robots.txt üzerinden crawler'lardan rica eden Disallow seçeneği var. Bot Preference Sync açıkken Cloudflare robots.txt'nizin başına Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ve meta-externalagent'ı engelleyen yönetilen kurallar ekler, bir Content Signals satırı ekler ve hem arama hem eğitim için kullanılanlar dışındaki AI eğitim crawler'larını uçta da engeller.

AI'da kaynak gösterilmek isteyen çoğu site için güvenli birleşim şudur: Search ve Agent Allow, Training Disallow; ardından uçta durdurmak istediğiniz yalnızca eğitim amaçlı crawler'lar için AI Crawl Control'de tek tek Block eylemleri.

Cloudflare'in AI crawler varsayılanlarında ne değişti?

1 Temmuz 2025'te Cloudflare, içerik üreticilerine ödeme yapmadıkça AI crawler'larını varsayılan olarak engellemeye geçtiğini duyurdu. 1 Temmuz 2026'da ise tek Block AI bots anahtarını, Free dahil tüm planlarda, yukarıda anlatılan ayrı Search, Agent ve Training politikalarıyla değiştirdi. Aynı duyuru, 15 Eylül 2026'dan itibaren eklenen yeni alan adlarında reklam gösteren sayfalarda Training ve Agent'ın engelli, Search'ün ise izinli olacağını söylüyordu.

Cloudflare'in en son 2 Kasım 2026'da güncellenen mevcut politika belgeleri, yeni alan adlarının üç davranış için de varsayılan olarak Allow (do not block) aldığını söylüyor. Cloudflare'in kendi sayfaları farklı zamanlarda farklı varsayılanlar anlattığı için bölgeniz konusunda hiçbirine güvenmeyin: politika sayfasını açın ve neyin ayarlı olduğunu okuyun.

İzin verdiğim hâlde Cloudflare AI crawler'larını neden hâlâ engelliyor?

AI Crawl Control'deki Allow eylemi yalnızca AI Crawl Control'ün engellemesini durdurur. Diğer özellikler isteğe yine müdahale eder. Sık nedenler:

Cloudflare'in hangi AI crawler'larını içeri aldığını dışarıdan nasıl doğrularım?

Aynı sayfayı bir tarayıcı user agent'ıyla ve her crawler'ın user agent'ıyla isteyin, ardından durumu ve boyutu karşılaştırın. Aşağıdaki OpenAI, Perplexity ve Google dizeleri bu şirketlerin yayımladıklarıdır.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403, 429 ya da 503 dönen ya da boyutu tarayıcı satırından çok daha küçük olan bir crawler satırı, sunucunuzun önündeki bir şeyin farklı yanıt verdiği anlamına gelir. Free planda AI Crawl Control crawler'ları user agent'a göre tespit ettiği için bu test onun engellerini makul ölçüde kontrol eder. Doğrulanmış bot durumuna ya da bot puanlarına dayalı kurallar isteğinizi gerçek crawler'dan farklı ele alabilir, çünkü istek işletmecinin yayımladığı aralıklardan değil sizin IP adresinizden gelir. Testten sonra hangi kuralın eşleştiğini görmek için Security Analytics'te kendi isteklerinizi bulun.

AISeeWhy, Cloudflare'in AI crawler'larına ne gönderdiğini nasıl kontrol eder?

Ücretsiz AISeeWhy denetimi sayfanızı gerçek bir tarayıcının yanı sıra 16 AI ve arama crawler'ı olarak ister, robots.txt'nizi crawler bazında uygular ve güvenlik duvarı doğrulama sayfalarını tanır; böylece Cloudflare panelindeki sonucun crawler'ların gerçekte aldığıyla örtüşüp örtüşmediğini görebilirsiniz.

Bu sorunun düzeltmeleri

Ücretsiz araçlar

Sonraki adımlar

Bu makaledeki tarayıcılar

Sık sorulan sorular

Cloudflare AI Crawl Control ücretsiz mi?

Evet. Cloudflare, AI Crawl Control'ü tüm planlarda kullanılabilir olarak listeliyor. Free plan crawler'ları yalnızca user agent'a göre tespit eder ve Metrics'te son 24 saati gösterir; yönlendirme verileri ve özel engelleme yanıtları ücretli plan gerektirir.

Cloudflare AI Audit'e ne oldu?

Adı değişti. Cloudflare'in belgeleri AI Crawl Control'ü eski adıyla AI Audit olarak tanımlıyor; amaç aynı: hangi AI crawler'larının ziyaret ettiğini görmek ve her biri için bir eylem belirlemek.

AI Crawl Control'de bir crawler'ı engellemek robots.txt'mi değiştirir mi?

Hayır. Block eylemi bir WAF özel kuralı oluşturur ya da günceller. robots.txt yalnızca Training için Disallow seçeneğini Bot Preference Sync ile kullanırsanız değişir; bu durumda Cloudflare'in yönetilen kuralları dosyanızın başına eklenir.

Cloudflare'de robots.txt ihlali ne sayılır?

Bir AI crawler'ının robots.txt dosyanızın engellediği bir yola yaptığı istek. Cloudflare geçmiş istekleri mevcut kurallarınızla karşılaştırır; bu yüzden yeni bir kural, o sırada izinli olan eski istekleri işaretleyebilir.

Pay per crawl nedir?

AI crawler'larından istek başına ödeme isteyen, aksi hâlde HTTP 402 ve bir fiyatla yanıt veren bir Charge eylemi. Cloudflare bunu kapalı beta olarak tanımlıyor; WAF ya da Bot Management engelleri ondan önce gelir.

Kaynaklar

Diğer makaleler