AISeeWhy
TR
Ücretsiz denemeyi başlat

Cloudflare AI crawler'larını engelliyor mu? Nasıl öğrenilir ve düzeltilir

Yayınlanma

Kısa cevap

Cloudflare ve diğer güvenlik duvarları, robots.txt crawler'a izin verse bile, crawler'lara 403, 429 ya da «Just a moment...» doğrulama sayfasıyla yanıt verirken tarayıcılara gerçek sayfayı gösterebilir. Sayfayı crawler'ın user agent'ıyla isteyerek kontrol edin, ardından AI arama crawler'larına AI Crawl Control'de ya da bir WAF atlama kuralıyla izin verin.

Bot koruması scraper'ları ve kötüye kullanımı durdurmak için vardır ve bunda iyidir. Sorun, AI arama crawler'larının da bot olmasıdır. Yıllar önce açılmış bir güvenlik ayarı, bir hız sınırı ya da bilinmeyen user agent'lara karşı geniş bir kural, sizi alıntılayan crawler'ları sessizce dışarıda tutabilir; sizin kendi ziyaretleriniz ise kusursuz görünür.

Bu sayfada
  1. Bir güvenlik duvarı AI crawler'larını neden engeller?
  2. Güvenlik duvarı engelini robots.txt engelinden nasıl ayırt ederim?
  3. Cloudflare'de AI arama crawler'larına nasıl izin veririm?
  4. Bot Fight Mode ne olacak?
  5. Hangi crawler'ları geçirmeliyim?
  6. AISeeWhy güvenlik duvarı engellerini nasıl tespit eder?

Bir güvenlik duvarı AI crawler'larını neden engeller?

Güvenlik duvarları her isteği değerlendirir. Bir crawler JavaScript doğrulamalarını çalıştırmaz, bir tarayıcı gibi çerez tutmaz ve çoğu kez art arda çok sayfa ister; bu yüzden bot korumasının durdurmak için tasarlandığı trafiğe tıpatıp benzeyebilir. Yaygın nedenler şunlar:

Güvenlik duvarı engelini robots.txt engelinden nasıl ayırt ederim?

robots.txt engeli nazik bir istektir: crawler kurallarınızı okur ve sayfayı çekmez. Güvenlik duvarı engeli ise bir yanıttır: crawler sayfayı ister ve başka bir şey alır. İkincisini doğrudan görebilirsiniz. Sayfayı iki kez isteyin, biri tarayıcı user agent'ıyla, biri crawler'ınkiyle ve karşılaştırın.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Güvenlik duvarı engelinin işaretleri: yalnızca crawler için 403, 429 veya 503 durumu; başlığı Just a moment... ya da Attention Required! | Cloudflare olan bir sayfa; /cdn-cgi/challenge-platform içeren bir gövde; ya da tarayıcınınkinden çok daha kısa bir 200 yanıtı. Testinizin crawler'ın doğrulanmış IP aralığından değil kendi IP'nizden geldiğini unutmayın; yani güvenlik duvarının user agent'a nasıl davrandığını gösterir, gerçek crawler'a nasıl davrandığının her ayrıntısını değil.

Cloudflare'de AI arama crawler'larına nasıl izin veririm?

Tüm planlarda bulunan Cloudflare AI Crawl Control, alan adınızı ziyaret eden AI crawler'larını listeler ve her biri için bir eylem belirlemenize izin verir. Panelde AI Crawl Control'ü açın, Crawlers listesine gidin ve her crawler için Action sütununda Allow ya da Block seçin. Cloudflare, orada engellemenin bölgenizde özel bir WAF kuralı oluşturduğunu ya da güncellediğini söylüyor.

Crawler'ı engelleyen şey özel bir WAF kuralı, Super Bot Fight Mode veya hız sınırlamaysa, doğrulanmış botlar ve crawler'ın token'ı için bu özellikleri atlayan özel bir kural ekleyin:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

Kuralı en başa koyun. User agent ile eşleştirmenin, o user agent'ı taklit eden herkesi de geçireceğini unutmayın. Mümkün olduğunda doğrulanmış bot alanını (cf.client.bot) ya da sağlayıcının yayımladığı IP aralıklarını tercih edin.

Bot Fight Mode ne olacak?

Cloudflare'in belgeleri, Bot Fight Mode'un WAF özel kuralları veya Page Rules ile aşılamayacağını ya da atlanamayacağını açıkça belirtiyor. Crawler'lara doğrulama uygulayan özellik buysa atlama kuralı işe yaramaz. Seçenekler: Bot Fight Mode'u kapatmak ya da onu içeren bir planda, Ruleset Engine üzerinde çalışan ve atlama kurallarını destekleyen Super Bot Fight Mode'u kullanmak.

Hangi crawler'ları geçirmeliyim?

Crawler'ları yaptıkları işe göre ayırın. Arama ve kullanıcı çekme crawler'ları, AI yanıtlarının sizi bulup alıntılayıp alıntılayamayacağını belirler. Eğitim crawler'ları modeller için veri toplar ve onları engellemek sizi AI aramasından çıkarmayan meşru bir tercihtir.

Cloudflare'in kendi politika ayarları da Search, Agent ve Training şeklinde aynı ayrımı kullanır; böylece ilk ikisine izin verip üçüncüsü hakkında ayrıca karar verebilirsiniz. Başka bir güvenlik duvarı ya da CDN kullanıyorsanız ilke aynıdır: crawler'ın token'ını izin listesine alın, sağlayıcının yayımladığı IP aralıkları veya sunulan yerlerde reverse DNS ile doğrulayın; böylece crawler bir tarayıcıyla aynı yanıtı alır.

AISeeWhy güvenlik duvarı engellerini nasıl tespit eder?

AISeeWhy sayfanızı 14 crawler ve sıradan bir tarayıcı olarak ister, durumu, boyutu ve yönlendirmeleri karşılaştırır, doğrulama sayfalarını tanır ve yanıt veren güvenlik duvarının ya da CDN'in adını verir. robots.txt bir crawler'a izin verdiği halde sunucu onu engellediğinde rapor çelişkiyi gösterir ve düzelten Cloudflare kuralını ya da izin listesi adımını verir.

Sık sorulan sorular

Cloudflare AI crawler'larını varsayılan olarak engelliyor mu?

Hesabınıza, planınıza ve bölgenizdeki ayarlara bağlıdır; Cloudflare de bu seçenekleri zaman içinde değiştirdi. AI Crawl Control'ü ve bot ayarlarınızı kontrol edin; varsaymak yerine crawler'ın user agent'ıyla test edin.

Sitem tarayıcıda çalışıyor ama crawler'lar için çalışmıyor, neden?

Güvenlik duvarları her isteği değerlendirir. Bir tarayıcı JavaScript doğrulamalarını geçer ve çerez tutar; bir crawler geçemez, bu yüzden sizin hiç görmediğiniz bir doğrulama sayfası ya da 403 alabilir.

AI crawler'larını WAF'tan geçirmek güvenli mi?

Adı belli bir crawler'a izin vermek, onu sağlayıcının IP aralıkları ya da Cloudflare'in doğrulanmış bot sinyaliyle doğruluyorsanız düşük risklidir. Yalnızca user agent'a güvenen kurallar onu kopyalayan herkesi de içeri alır.

Cloudflare'in e-posta gizleme özelliği AI crawler'larını etkiler mi?

E-posta adreslerini yalnızca bir betiğin çözebildiği bir bağlantıyla değiştirir; bu yüzden crawler'lar adres yerine bir yer tutucu görür. İletişim e-postanızın okunabilir olmasını istiyorsanız Scrape Shield altında Email Address Obfuscation özelliğini kapatın ve adresi düz metin olarak gösterin.

Kaynaklar

Diğer makaleler