AI 爬蟲 robots.txt 產生器

選擇哪些 AI 爬蟲可以讀取你的網站，並複製產生的 robots.txt。常見的做法是封鎖 GPTBot 與 ClaudeBot 等 AI 訓練爬蟲，但允許 OAI-SearchBot 與 PerplexityBot 等 AI 搜尋爬蟲，讓你的頁面仍能出現在 AI 回答中並被引用。

封鎖使用者觸發的擷取程式效果有限：部分廠商表示，由於是使用者要求取得頁面，這些代理程式可能不會遵守 robots.txt。發布之前，請用 robots.txt 檢查器測試結果。適用於 AI 爬蟲的 robots.txt 檢查器 →

如何使用

將檔案放在網域的根目錄（https://example.com/robots.txt）。如果你已經為其他爬蟲設定了規則，請保留它們，只加入 AI 群組。變更會在各爬蟲下次讀取該檔案時生效，通常在一天內。