GPTBot 被封鎖
簡短回答
以此爬蟲的 user agent 送出的請求被拒絕：收到 4xx 或 5xx 狀態、Cloudflare 的 cf-mitigated 標頭或驗證頁面，而一般瀏覽器的請求卻取得了頁面。請找出符合該 user agent 的防火牆、CDN 或機器人規則，讓爬蟲通過。
代表什麼
使用 GPTBot user agent 的請求收到了狀態 403 或驗證頁面,而瀏覽器可以正常取得頁面。測試來自未經驗證的 IP:這反映的是防火牆對此 user agent 的處理方式;使用已驗證 IP 的真正爬蟲可能會被區別對待。
為什麼這對 AI 搜尋很重要
OAI-SearchBot、ChatGPT-User、Claude-SearchBot、Claude-User、PerplexityBot 與 Perplexity-User 等搜尋及使用者爬蟲會擷取頁面，用來產生回答與其下方的連結。如果它們收到 403 或驗證頁面，不論頁面品質多好，都無法被引用或連結。這就是 AISeeWhy 將封鎖這些爬蟲列為 P1 的原因。
訓練用爬蟲（GPTBot、ClaudeBot、CCBot、Bytespider、Meta-ExternalAgent）列為 P3：封鎖它們屬於政策選擇，而不是錯誤。探測請求來自未經驗證的 IP，因此顯示的是你的規則如何對待該 user agent；真正的爬蟲來自其公布的 IP 範圍，可能受到不同的對待。
如何修正
- 開啟該項發現，查看被封鎖的爬蟲、它收到的狀態，以及稽核偵測到的 WAF。AISeeWhy 報告會顯示證據與可直接貼上的修正；完成後請按「再次檢查」確認結果。
- 在 Cloudflare 上，到 Security → Events 查看被封鎖的請求，然後新增一條 WAF 自訂規則，比對該爬蟲（已驗證的機器人或其 user agent 識別碼），動作選擇略過其餘自訂規則、Super Bot Fight Mode 與速率限制。在 AI Crawl Control 中，將該爬蟲設為 Allow。
- 在 Vercel、Akamai、Imperva、Sucuri 或 AWS WAF 上，找出觸發的機器人管理或託管規則，為該爬蟲加入例外，最好以廠商公布的 IP 範圍或反向 DNS 驗證，而不是只靠 user agent。
- 在 nginx 或 Apache 上，搜尋設定檔中指名該爬蟲的
deny、return 403或RewriteCond %{HTTP_USER_AGENT}行；在 WordPress 中，檢查會封鎖「惡意機器人」的安全外掛。 - 逐一決定各爬蟲的處理方式：允許搜尋及使用者爬蟲才能讓頁面被引用，訓練用爬蟲若符合你的政策，可以繼續封鎖。
範例
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting如何確認修正
修改後，在報告上按下「再次檢查」：它會列出已修正的項目以及分數的變化。