GPTBot engelleniyor

Kısa yanıt

Bu tarayıcının user agent'ıyla gönderilen istek reddedildi: 4xx veya 5xx durumu, Cloudflare cf-mitigated üst bilgisi ya da doğrulama sayfası aldı; normal bir web tarayıcısı isteği ise sayfayı aldı. User agent'a uyan güvenlik duvarı, CDN veya bot kuralını bulun ve tarayıcıyı içeri alın.

access.blocked · Öncelik: P1–P3, tarayıcı türüne göre

Ne anlama gelir

GPTBot kullanıcı aracısıyla yapılan istek 403 durumu veya bir doğrulama sayfası aldı; tarayıcı ise sayfayı alabildi. Test doğrulanmamış bir IP'den yapıldı: bu, güvenlik duvarınızın bu kullanıcı aracısına nasıl davrandığını gösterir; gerçek tarayıcı robot kendi doğrulanmış IP'lerinden geldiğinde farklı işlem görebilir.

Yapay zekâ araması için neden önemli

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ve Perplexity-User gibi arama ve kullanıcı tarayıcıları, yanıtları ve altındaki bağlantıları oluşturmak için sayfaları çeker. 403 veya doğrulama sayfası alırlarsa sayfa ne kadar iyi olursa olsun alıntılanamaz ve bağlantı verilemez. AISeeWhy bu tarayıcıların engellenmesini bu yüzden P1 olarak derecelendirir.

Eğitim tarayıcıları (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3'tür: onları engellemek bir hata değil, politika tercihidir. Sınama doğrulanmamış bir IP'den çalışır; bu yüzden kurallarınızın user agent'a nasıl davrandığını gösterir. Yayımlanmış IP aralıklarından gelen gerçek tarayıcıya farklı davranılıyor olabilir.

Nasıl düzeltilir

Hangi tarayıcının engellendiğini, aldığı durumu ve denetimin tespit ettiği WAF'ı görmek için bulguyu açın. AISeeWhy raporu kanıtı ve yapıştırmaya hazır çözümü gösterir; sonucu doğrulamak için ardından "Yeniden denetle"yi çalıştırın.
Cloudflare'de engellenen istek için Security → Events bölümüne bakın, ardından tarayıcıyla eşleşen (doğrulanmış botlar veya user agent belirteci) bir WAF özel kuralı ekleyin; eylem olarak kalan özel kurallar, Super Bot Fight Mode ve hız sınırlaması için Skip seçin. AI Crawl Control'de tarayıcıyı Allow olarak ayarlayın.
Vercel, Akamai, Imperva, Sucuri veya AWS WAF'ta devreye giren bot yönetimi ya da yönetilen kuralı bulun ve tarayıcı için bir istisna ekleyin; mümkünse yalnızca user agent'a değil, sağlayıcının yayımladığı IP aralıklarına veya ters DNS'e göre doğrulayın.
nginx veya Apache'de yapılandırmada tarayıcının adını geçen deny, return 403 ya da RewriteCond %{HTTP_USER_AGENT} satırlarını arayın; WordPress'te "kötü botları" engelleyen güvenlik eklentilerine bakın.
Her tarayıcı için ayrı karar verin: sayfaların alıntılanmasını sağlayan şey arama ve kullanıcı tarayıcılarına izin vermektir; eğitim tarayıcıları politikanız buysa engelli kalabilir.

Örnek

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Çözüm nasıl doğrulanır

Değişiklikten sonra raporda "Yeniden denetle" düğmesine basın: neyin düzeltildiğini ve puanın nasıl değiştiğini listeler.

Sayfamı denetle →

İlgili rehberler

Tüm bulgular ve puanın nasıl hesaplandığı