AISeeWhy
MS
Mulakan percubaan percuma

GPTBot disekat

Jawapan ringkas

Permintaan yang dihantar dengan user agent perangkak ini ditolak: ia mendapat status 4xx atau 5xx, pengepala Cloudflare cf-mitigated atau halaman cabaran, sedangkan permintaan pelayar biasa mendapat halaman. Cari peraturan firewall, CDN atau bot yang sepadan dengan user agent itu dan benarkan perangkak masuk.

access.blocked · Keutamaan: P1–P3, mengikut jenis perangkak

Maksudnya

Permintaan dengan user agent GPTBot menerima status 403 atau halaman cabaran, manakala pelayar mendapat halaman tersebut. Diuji dari IP yang tidak disahkan: ini menunjukkan cara firewall anda melayan user agent ini; perangkak sebenar dari IP yang disahkan mungkin dilayan secara berbeza.

Mengapa ini penting untuk carian AI

Perangkak carian dan pengguna seperti OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot dan Perplexity-User mengambil halaman untuk membina jawapan dan pautan di bawahnya. Jika mereka mendapat 403 atau halaman cabaran, halaman tidak boleh dipetik atau dipautkan, sebaik mana pun kandungannya. Sebab itu AISeeWhy menilai sekatan terhadap perangkak ini sebagai P1.

Perangkak latihan (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) dinilai P3: menyekatnya ialah pilihan dasar, bukan ralat. Ujian dijalankan dari IP yang tidak disahkan, jadi ia menunjukkan cara peraturan anda melayan user agent itu; perangkak sebenar yang datang dari julat IP yang diterbitkannya mungkin dilayan secara berbeza.

Cara membetulkannya

  1. Buka penemuan untuk melihat perangkak mana yang disekat, status yang diterimanya dan WAF yang dikesan oleh audit. Laporan AISeeWhy menunjukkan bukti dan pembetulan yang sedia untuk ditampal; jalankan "Semak semula" selepas itu untuk mengesahkan hasilnya.
  2. Pada Cloudflare, semak Security → Events untuk permintaan yang disekat, kemudian tambah peraturan tersuai WAF yang sepadan dengan perangkak (verified bots atau token user agent-nya) dengan tindakan Skip untuk peraturan tersuai yang selebihnya, Super Bot Fight Mode dan had kadar. Dalam AI Crawl Control, tetapkan perangkak itu kepada Allow.
  3. Pada Vercel, Akamai, Imperva, Sucuri atau AWS WAF, cari pengurusan bot atau peraturan terurus yang diaktifkan dan tambah pengecualian untuk perangkak, sebaik-baiknya disahkan melalui julat IP yang diterbitkan vendor atau DNS songsang, bukan berdasarkan user agent sahaja.
  4. Pada nginx atau Apache, cari dalam konfigurasi baris deny, return 403 atau RewriteCond %{HTTP_USER_AGENT} yang menamakan perangkak itu, dan dalam WordPress semak pemalam keselamatan yang menyekat "bot jahat".
  5. Tentukan bagi setiap perangkak: membenarkan perangkak carian dan pengguna membolehkan halaman dipetik, manakala perangkak latihan boleh kekal disekat jika itu dasar anda.

Contoh

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

Cara mengesahkan pembetulan

Selepas perubahan, tekan "Semak semula" pada laporan: ia menyenaraikan apa yang dibetulkan dan bagaimana skor berubah.

Semak halaman saya →

Panduan berkaitan

Semua penemuan dan cara skor dikira