CCBot
CCBot, web tarama verilerinden oluşan ücretsiz ve açık bir depo tutan kâr amacı gütmeyen kuruluş Common Crawl'ın tarayıcısıdır. Arşivi araştırmacılar ve yapay zekâ geliştiricileri yaygın biçimde kullanır; bu yüzden CCBot'u engellemek esas olarak bir eğitim kararıdır. Hiçbir arama motorunu veya yapay zekâ arama ürününü doğrudan etkilemez.
Ne yapar
Common Crawl, herkesin ücretsiz erişebildiği, web tarama verilerinden oluşan açık bir depo üreten ve sürdüren kâr amacı gütmeyen bir kuruluştur. Bu verileri CCBot toplar. Common Crawl, bir sayfayı getirmeden önce robots.txt'yi kontrol ettiğini, Crawl-delay'e uyduğunu ve JavaScript çalıştırmadığını söylüyor.
Engellemek için Common Crawl, CCBot token'ı için Disallow: / içeren bir robots.txt grubunu belgeler. Bunun yerine yavaşlatmak için aynı gruba bir Crawl-delay satırı ekleyin.
2026-11 tarihli çalışmamızda, robots.txt dosyası olan popüler sitelerin 24.1% kadarı bunu engelliyordu. →
robots.txt token'ı
CCBot
User agent dizesi
CCBot/2.0 (https://commoncrawl.org/faq/)Nasıl izin verilir
User-agent: CCBot
Allow: /Nasıl engellenir
User-agent: CCBot
Disallow: /Gerçek ziyaretler nasıl doğrulanır
Common Crawl, CCBot'u ters DNS'li ayrılmış IP aralıklarında çalıştırır; böylece günlüğe kaydedilen bir isteğin gerçek CCBot'tan gelip gelmediğini kontrol edebilirsiniz. IPv4 ve IPv6 aralıklarını JSON olarak yayımlar ve başka tarayıcıların kendilerini yanlışlıkla CCBot olarak tanıttığı konusunda uyarır.
Sitenizin buna izin verip vermediğini denetleyin →
AI crawler'ları için robots.txt: neye izin verilir, neyi engellemeli →