適用於 AI 爬蟲的 robots.txt 檢查器

輸入頁面網址：我們會讀取該網站的 robots.txt，並針對每個 AI 與搜尋爬蟲顯示它是否可以擷取該頁面。你也可以貼上 robots.txt，在發布前先測試。

robots.txt 只是一種請求。即使 robots.txt 允許某個爬蟲，防火牆或機器人防護仍可能將其封鎖；完整檢查會測試這一點。 執行完整檢查 →

AI 爬蟲如何讀取 robots.txt

每個爬蟲會遵循指名其標記（例如 GPTBot 或 PerplexityBot）的群組；只有在沒有這類群組時，才會遵循 User-agent: *。在同一群組內，比對最長的規則優先，長度相同時 Allow 優先。封鎖 GPTBot、ClaudeBot 或 Google-Extended 等訓練用爬蟲，可讓你的內容不被用於模型訓練；封鎖 OAI-SearchBot、ChatGPT-User 或 PerplexityBot 等搜尋與使用者爬蟲，則會讓你的頁面不出現在 AI 回答中。