Cloudflare AI Crawl Control raporu nasıl okunur, hangi AI crawler'ları içeri giriyor?
Cloudflare panelinizde AI Crawl Control'ü açın: crawler listesi, Cloudflare'in alan adınızda gördüğü her AI crawler'ını, isteklerini, robots.txt ihlallerini ve eyleminin Allow mu Block mu olduğunu gösterir. AI aramasında kalıp eğitimi reddetmek için arama ve ajan crawler'larına izin verin, eğitim crawler'larını ise orada ya da AI Crawler and Agent access policies altında engelleyin veya disallow edin. Ardından sonucu dışarıdan curl ile doğrulayın, çünkü diğer Cloudflare özellikleri izin verdiğiniz bir crawler'ı yine de engelleyebilir.
Cloudflare'de artık AI crawler'larının ne alacağına karar veren iki yer var: eskiden AI Audit adını taşıyan, crawler bazında rapor ve kontrol paneli işlevi gören AI Crawl Control ile Security ayarları altındaki, tüm bölgeye uygulanan AI Crawler and Agent access policies. İkisi de Free planda var, ikisi de 2026'da değişti ve hiçbiri bir crawler'a yine de 403 ile yanıt verebilecek diğer özellikler hakkında bilgi vermiyor. Bu rehber raporu sütun sütun anlatıyor, izin verme ve engellemenin nerede ayarlandığını gösteriyor ve kendi bilgisayarınızdan çalıştırabileceğiniz bir testle bitiyor.
Bu sayfada
- Cloudflare'de AI crawler raporu nerede?
- AI Crawl Control raporundaki her sütun ve metrik ne anlama geliyor?
- Cloudflare'de AI arama crawler'larına nasıl izin verir, eğitim crawler'larını nasıl engellerim?
- Cloudflare'in AI crawler varsayılanlarında ne değişti?
- İzin verdiğim hâlde Cloudflare AI crawler'larını neden hâlâ engelliyor?
- Cloudflare'in hangi AI crawler'larını içeri aldığını dışarıdan nasıl doğrularım?
- AISeeWhy, Cloudflare'in AI crawler'larına ne gönderdiğini nasıl kontrol eder?
Cloudflare'de AI crawler raporu nerede?
Panelde hesabınızı ve alan adınızı seçin, ardından AI Crawl Control'ü açın. Cloudflare bunun yapılandırma gerektirmeden çalıştığını ve alan adınızın trafiği Cloudflare üzerinden proxy'lendiği sürece tüm planlarda kullanılabildiğini söylüyor. Dört bölümü var:
- Overview: toplam istekler, hacimdeki değişim, en sık durum kodu, en popüler yol ve yüksek hacimli crawler'lar içeren bir yönetici özeti; ayrıca Cloudflare'in yönetilen robots.txt'sinin açık olup olmadığı ve OpenAI, Microsoft, Google, ByteDance, Anthropic ve Meta gibi işletmecilere göre gruplanmış crawler'lar.
- Crawler listesi: her AI crawler'ı için bir satır ve Allow ya da Block seçtiğiniz bir Action sütunu. Cloudflare'in belgeleri bu sekmeye bir sayfada Crawlers, başka bir sayfada Security diyor; bu yüzden Action sütunu olan tabloyu arayın.
- Metrics: zaman içindeki istekler, durum kodu dağılımı, içerik biçimi, en popüler yollar ve ücretli planlarda yönlendirmeler. Filtreler tarih aralığı, crawler, işletmeci, ana makine adı ve yolu kapsar; CSV olarak dışa aktarabilirsiniz.
- Directives: robots.txt dosyanızın durumu ve robots.txt ihlallerinin listesi.
Sayıları okurken iki plan sınırı önemli. Free planda AI Crawl Control crawler'ları yalnızca user agent dizesine göre tanır; yani yalnızca kendini tanıtan crawler'ları görür, başkasını görmez, Metrics sekmesi de son 24 saati kapsar. Ücretli planlar Bot Management tespit kimliğiyle tespit ekler, Bot Management'lı Enterprise ise ayarlanabilir zaman aralıkları alır.
AI Crawl Control raporundaki her sütun ve metrik ne anlama geliyor?
Cloudflare alanları aşağıdaki gibi belgeliyor. Tanımlar önemli, çünkü bazı sayılar beklediğinizden fazlasını sayıyor.
- Crawler ve Category: crawler'ın adı, işletmecisi ve AI crawler, AI assistant ya da archiver gibi kategorisi.
- Requests: izin verilen ve başarısız istekler toplamı, bir eğilim grafiğiyle. Başarısız istekler yalnızca bir AI Crawl Control engelinden değil, herhangi bir kuraldan ya da yanıt hatasından gelebilir; bu yüzden izin verdiğiniz bir crawler için yüksek bir sayı başka bir kurala ya da sunucunuzdaki hatalara işaret eder.
- Allowed requests: 200 ile 299 arasında durum alan istekler. Veri aktarımı, Cloudflare'in izin verilen istekler için gönderdiği baytlardan ölçülür.
- Robots.txt violations: crawler'ın robots.txt dosyanızın engellediği bir yolu kaç kez istediği. Cloudflare geçmiş istekleri mevcut kurallarınızla karşılaştırır; bu yüzden bugün eklediğiniz bir kural, yapıldıkları sırada izinli olan istekleri işaretleyebilir.
- Action: Allow, Block ya da pay per crawl betasındaki hesaplar için Charge.
- Durum kodu dağılımı: 2xx, 3xx, 4xx ve 5xx. 4xx grubu engellerden gelen 403'leri ve pay per crawl'dan gelen 402'leri içerir.
- Referrals ve en çok yönlendirenler, yalnızca ücretli planlarda: örneğin chatgpt.com gibi AI hizmetlerinden gelen ziyaretler ve indikleri sayfalar.
Raporu seçtiğiniz eylemden yola çıkarak okuyun. Allow olarak ayarlanmış bir crawler çoğunlukla izin verilen istekler ve 2xx kodları göstermelidir. Çok sayıda başarısız istek gösteriyorsa durum kodu dağılımını o crawler'a göre filtreleyerek açın ve yanıt veren kuralı bulmak için Security Analytics'e bakın.
Cloudflare'de AI arama crawler'larına nasıl izin verir, eğitim crawler'larını nasıl engellerim?
Bunu crawler bazında ya da davranışa göre yapabilirsiniz. Crawler bazında: AI Crawl Control'ü açın ve her satır için Action'ı ayarlayın. Cloudflare, orada engellemenin bölgenizde bir WAF özel kuralı oluşturduğunu ya da güncellediğini söylüyor; bu kuralı yol istisnaları için WAF'ta genişletebilirsiniz. Ücretli planlarda engellenen crawler'ların 403 mü 402 mi alacağını seçebilir ve düz metin bir yanıt gövdesi belirleyebilirsiniz.
Davranışa göre: Security'ye, ardından Settings'e gidin, Bot traffic'e göre filtreleyin ve AI Crawler and Agent access policies'i açın. Cloudflare AI trafiğini üç davranışa ayırır; her politika o davranışa sahip doğrulanmış botlara ve eşleşen doğrulanmamış botlara uygulanır:
- Search: içeriği daha sonra soruları yanıtlayabilmek için toplamak ya da dizinlemek.
- Agent: sohbet içi çekmeler ve tarayıcı ajanları gibi, bir kişi adına gerçek zamanlı hareket etmek.
- Training: hem eğitim hem arama için kullanılan crawler'lar dahil, modelleri eğitmek ya da ince ayar yapmak için içerik toplamak.
Her davranış Block, Block on pages with ads ya da Allow (do not block) olarak ayarlanabilir. Training'de ayrıca yalnızca robots.txt üzerinden crawler'lardan rica eden Disallow seçeneği var. Bot Preference Sync açıkken Cloudflare robots.txt'nizin başına Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ve meta-externalagent'ı engelleyen yönetilen kurallar ekler, bir Content Signals satırı ekler ve hem arama hem eğitim için kullanılanlar dışındaki AI eğitim crawler'larını uçta da engeller.
AI'da kaynak gösterilmek isteyen çoğu site için güvenli birleşim şudur: Search ve Agent Allow, Training Disallow; ardından uçta durdurmak istediğiniz yalnızca eğitim amaçlı crawler'lar için AI Crawl Control'de tek tek Block eylemleri.
Cloudflare'in AI crawler varsayılanlarında ne değişti?
1 Temmuz 2025'te Cloudflare, içerik üreticilerine ödeme yapmadıkça AI crawler'larını varsayılan olarak engellemeye geçtiğini duyurdu. 1 Temmuz 2026'da ise tek Block AI bots anahtarını, Free dahil tüm planlarda, yukarıda anlatılan ayrı Search, Agent ve Training politikalarıyla değiştirdi. Aynı duyuru, 15 Eylül 2026'dan itibaren eklenen yeni alan adlarında reklam gösteren sayfalarda Training ve Agent'ın engelli, Search'ün ise izinli olacağını söylüyordu.
Cloudflare'in en son 2 Kasım 2026'da güncellenen mevcut politika belgeleri, yeni alan adlarının üç davranış için de varsayılan olarak Allow (do not block) aldığını söylüyor. Cloudflare'in kendi sayfaları farklı zamanlarda farklı varsayılanlar anlattığı için bölgeniz konusunda hiçbirine güvenmeyin: politika sayfasını açın ve neyin ayarlı olduğunu okuyun.
İzin verdiğim hâlde Cloudflare AI crawler'larını neden hâlâ engelliyor?
AI Crawl Control'deki Allow eylemi yalnızca AI Crawl Control'ün engellemesini durdurur. Diğer özellikler isteğe yine müdahale eder. Sık nedenler:
- Training'i engellemek, ikisini birden yapan arama crawler'larını da engeller. Cloudflare'in belgeleri Training eylemlerinin karma amaçlı crawler'lara uygulandığını söylüyor; Temmuz 2026 duyurusu da Training'i engelleyen müşterilerin 15 Eylül 2026'dan itibaren engelleyeceği crawler'lar olarak Googlebot, Applebot ve bingbot'u sayıyor. Disallow daha dar bir seçimdir, çünkü uçtaki engeli karma amaçlı crawler'ları atlar.
- Bot Fight Mode açık. Cloudflare, Bot Fight Mode'u WAF özel kurallarıyla ya da Page Rules ile atlayamayacağınızı belirtiyor. Bir crawler'a doğrulama sayfası gösteriyorsa kapatın ya da planınızda varsa atlama kurallarını destekleyen Super Bot Fight Mode'u kullanın.
- Eski bir WAF özel kuralı
botiçeren user agent'ları engelliyordur ya da bir hız sınırlama kuralı ani istek patlamalarına 429 ile yanıt veriyordur. Bunlar AI Crawl Control'deki Action'dan bağımsız çalışır. - Engelleme kuralı elle düzenlenmiş. AI Crawl Control'ün arkasındaki WAF kuralı başka bir yanıt koduna çevrildiyse panel seçiminizi artık uygulayamaz.
- robots.txt crawler'ı hâlâ engelliyor. Cloudflare'in Allow'u robots.txt'nizi değiştirmez; bu yüzden kurallara uyan bir crawler yine uzak durur. En popüler 1.000 alan adı üzerine yaptığımız çalışmada robots.txt'de bir AI eğitim crawler'ını engelleyen 155 sitenin 98'i en az bir AI arama ya da kullanıcı crawler'ını da engelliyordu.
Cloudflare'in hangi AI crawler'larını içeri aldığını dışarıdan nasıl doğrularım?
Aynı sayfayı bir tarayıcı user agent'ıyla ve her crawler'ın user agent'ıyla isteyin, ardından durumu ve boyutu karşılaştırın. Aşağıdaki OpenAI, Perplexity ve Google dizeleri bu şirketlerin yayımladıklarıdır.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403, 429 ya da 503 dönen ya da boyutu tarayıcı satırından çok daha küçük olan bir crawler satırı, sunucunuzun önündeki bir şeyin farklı yanıt verdiği anlamına gelir. Free planda AI Crawl Control crawler'ları user agent'a göre tespit ettiği için bu test onun engellerini makul ölçüde kontrol eder. Doğrulanmış bot durumuna ya da bot puanlarına dayalı kurallar isteğinizi gerçek crawler'dan farklı ele alabilir, çünkü istek işletmecinin yayımladığı aralıklardan değil sizin IP adresinizden gelir. Testten sonra hangi kuralın eşleştiğini görmek için Security Analytics'te kendi isteklerinizi bulun.
AISeeWhy, Cloudflare'in AI crawler'larına ne gönderdiğini nasıl kontrol eder?
Ücretsiz AISeeWhy denetimi sayfanızı gerçek bir tarayıcının yanı sıra 16 AI ve arama crawler'ı olarak ister, robots.txt'nizi crawler bazında uygular ve güvenlik duvarı doğrulama sayfalarını tanır; böylece Cloudflare panelindeki sonucun crawler'ların gerçekte aldığıyla örtüşüp örtüşmediğini görebilirsiniz.
Bu sorunun düzeltmeleri
Sonraki adımlar
- Yapay zekâ tarayıcıları için robots.txt test aracı ve denetleyici
- Yapay zekâ tarayıcısı IP denetimi
- Tam rapor örneğini görün
- Yapay zekâ tarayıcısı izleme
- Planlar ve fiyatlar
Bu makaledeki tarayıcılar
Sık sorulan sorular
Cloudflare AI Crawl Control ücretsiz mi?
Evet. Cloudflare, AI Crawl Control'ü tüm planlarda kullanılabilir olarak listeliyor. Free plan crawler'ları yalnızca user agent'a göre tespit eder ve Metrics'te son 24 saati gösterir; yönlendirme verileri ve özel engelleme yanıtları ücretli plan gerektirir.
Cloudflare AI Audit'e ne oldu?
Adı değişti. Cloudflare'in belgeleri AI Crawl Control'ü eski adıyla AI Audit olarak tanımlıyor; amaç aynı: hangi AI crawler'larının ziyaret ettiğini görmek ve her biri için bir eylem belirlemek.
AI Crawl Control'de bir crawler'ı engellemek robots.txt'mi değiştirir mi?
Hayır. Block eylemi bir WAF özel kuralı oluşturur ya da günceller. robots.txt yalnızca Training için Disallow seçeneğini Bot Preference Sync ile kullanırsanız değişir; bu durumda Cloudflare'in yönetilen kuralları dosyanızın başına eklenir.
Cloudflare'de robots.txt ihlali ne sayılır?
Bir AI crawler'ının robots.txt dosyanızın engellediği bir yola yaptığı istek. Cloudflare geçmiş istekleri mevcut kurallarınızla karşılaştırır; bu yüzden yeni bir kural, o sırada izinli olan eski istekleri işaretleyebilir.
Pay per crawl nedir?
AI crawler'larından istek başına ödeme isteyen, aksi hâlde HTTP 402 ve bir fiyatla yanıt veren bir Charge eylemi. Cloudflare bunu kapalı beta olarak tanımlıyor; WAF ya da Bot Management engelleri ondan önce gelir.
Kaynaklar
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI Crawler Access Report, 2026-11