robots.txt 允許 GPTBot,但伺服器將其封鎖
簡短回答
你的 robots.txt 允許此爬蟲擷取頁面，但以它的 user agent 送出的請求卻被伺服器、CDN 或防火牆封鎖。你聲明的政策與實際行為不一致。請修改防火牆規則使其與 robots.txt 相符，或者如果你本意是封鎖，就在 robots.txt 中禁止該爬蟲。
代表什麼
你的規則允許 GPTBot 存取,但使用其 user agent 的請求仍被封鎖。防火牆或 CDN 覆蓋了你宣告的政策。
為什麼這對 AI 搜尋很重要
爬蟲把 robots.txt 視為你的政策。當它說可以而伺服器卻回應 403，爬蟲會浪費請求、可能稍後重試，而頁面仍然進不了 AI 回答引擎的索引。團隊常以為 robots.txt 這樣寫就等於允許 AI 搜尋，實際上卻有機器人規則在悄悄封鎖它。
探測請求來自未經驗證的 IP 位址。因此，只讓爬蟲從其公布的 IP 範圍通過的規則（這是合理的設定），即使真正的爬蟲能進入，也可能在這裡出現。更動任何設定之前，請先確認是哪條規則被觸發。
如何修正
- 比較發現中的 robots.txt 群組與被封鎖請求的狀態。AISeeWhy 報告會顯示證據與可直接貼上的修正；完成後請按「再次檢查」確認結果。
- 找出封鎖請求的規則：在 Cloudflare 上查看 Security → Events 以及 AI Crawl Control 和 Bot Fight Mode 設定；在其他 CDN 上查看機器人管理記錄。
- 如果要讓該爬蟲進入，請為它加入例外；如果要擋住它，請為它的識別碼新增 Disallow 群組，讓你的政策集中寫在同一處。
如何確認修正
修改後，在報告上按下「再次檢查」：它會列出已修正的項目以及分數的變化。