robots.txt 禁止了 GPTBot
簡短回答
你的 robots.txt 有一條 Disallow 規則，對此爬蟲的識別碼比對到這個頁面。稽核採用 RFC 9309：優先使用爬蟲自己的群組，沒有則使用 * 群組，並以最長的相符規則為準。若要讓它進入，請為該爬蟲加上 Allow 或移除該規則。
代表什麼
你的 robots.txt 規則不允許 GPTBot 擷取 /。
為什麼這對 AI 搜尋很重要
守規矩的 AI 爬蟲會遵守 robots.txt。如果 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 被禁止，頁面就不會被擷取進它們的搜尋索引，因此無法在回答中被引用。禁止 GPTBot、ClaudeBot、Google-Extended 或 Applebot-Extended 等訓練識別碼，只會阻止內容用於模型訓練。
許多網站是意外封鎖了 AI 爬蟲：範本除了 Googlebot 之外全部禁止，或是測試環境遺留下來的 User-agent: * 群組搭配 Disallow: /。請注意，Applebot 在沒有自己的群組時會採用 Googlebot 的群組。
如何修正
- 在發現中找到該規則：它會指出爬蟲識別碼與路徑。AISeeWhy 報告會顯示證據與可直接貼上的修正；完成後請按「再次檢查」確認結果。
- 從任何禁止該頁面的群組中移除該爬蟲的識別碼，然後為它新增自己的群組並加上
Allow: /。特定群組會取代該爬蟲的*群組，因此*下的規則不再適用於它。 - 在 WordPress 中，檢查 robots.txt 是網站根目錄中的實際檔案，還是由 Yoast 或 Rank Math 等 SEO 外掛產生，並在相應位置編輯。在 Shopify 中，編輯佈景主題的
robots.txt.liquid範本。 - 在 Cloudflare 上，檢查是否有託管的 robots.txt 設定在你自己的檔案之外額外加入 AI 爬蟲規則。
- 若符合你的政策，可以繼續禁止訓練識別碼；這不會影響使用獨立識別碼的搜尋爬蟲。
範例
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /如何確認修正
修改後，在報告上按下「再次檢查」：它會列出已修正的項目以及分數的變化。