如何檢查網站是否封鎖 AI 爬蟲
貼上任何網址,就能看出它是否封鎖 GPTBot、ClaudeBot、PerplexityBot 與其他 AI 爬蟲:是在 robots.txt、防火牆,還是兩者都有。
免費 · 免註冊 · 30 秒出結果
哪些爬蟲被封鎖
訓練、搜尋與使用者爬蟲會分開顯示,因為封鎖 GPTBot 並不會封鎖 OAI-SearchBot,封鎖 ClaudeBot 也不會封鎖 Claude-SearchBot。
決定結果的那一行
針對每個爬蟲,依 RFC 9309 規則讀取 robots.txt:先看點名該爬蟲的群組,找不到就用 User-agent: *,再看哪條規則勝出。
防火牆的拒絕
系統會分別以 14 個爬蟲和一般瀏覽器的身分請求頁面。封鎖與驗證挑戰頁都會被標示,並指出回應的防火牆。
每個發現都有修正方式
每個發現都附上該做的調整。免費檢查會顯示你的分數和第一個發現;完整報告為 $29,一次付費。
網站可以在兩個地方封鎖 AI 爬蟲:robots.txt 請爬蟲不要造訪,而伺服器或防火牆會真正拒絕它們。先在 robots.txt 中找每個爬蟲的標記,找不到時就看 User-agent: *,再以該爬蟲的身分擷取頁面,和瀏覽器的結果比較。用瀏覽器擴充功能,一鍵就能完成 16 個 AI 爬蟲的 robots.txt 檢查。
手動檢查的 3 個步驟
- 選擇爬蟲
每家 AI 公司都有不同的爬蟲。訓練:
GPTBot、ClaudeBot。搜尋:OAI-SearchBot、Claude-SearchBot、PerplexityBot。依使用者要求:ChatGPT-User、Claude-User、Perplexity-User。 - 讀取該爬蟲適用的 robots.txt
開啟
https://example.com/robots.txt,找到點名該爬蟲的群組。若沒有,就適用User-agent: *群組;兩者都沒有的話,一切都允許。 - 以該爬蟲的身分擷取頁面
用該爬蟲的 user agent 請求頁面,並將狀態碼和大小與瀏覽器的結果比較。出現 403、驗證挑戰頁,或明顯較小的 200,就代表防火牆拒絕了它。
常見問題
沒有 robots.txt 的網站對 AI 爬蟲開放嗎?
就 robots.txt 而言,是的。robots.txt 回傳 404 表示沒有規則,所以任何爬蟲都可以擷取任何頁面。不過防火牆仍可能封鎖爬蟲。
擴充功能會顯示防火牆封鎖嗎?
不會。它在你的瀏覽器中讀取 robots.txt,顯示網站要求爬蟲怎麼做。防火牆與機器人防護的封鎖,需要以爬蟲身分送出請求才能看出,aiseewhy.com 上的完整檢查會做這件事。
可以檢查不屬於我的網站嗎?
可以。robots.txt 是公開的,擴充功能只讀取網站公開的 robots.txt 與 llms.txt 檔案,也就是每個爬蟲都會讀的那些檔案。
閱讀完整指南
不論是在變更後檢查自己的網站,還是在依賴別人的網站前先看一看,「這個網站有封鎖 AI 爬蟲嗎?」這個問題都有明確的答案。答案取決於你指的是哪一個爬蟲,因為 AI 公司分別為訓練、搜尋和即時造訪執行不同的爬蟲,而網站可以對每一個採取不同處理。本指南介紹三種檢查方式,從最快的到最完整的。
網站可以在哪裡封鎖 AI 爬蟲?
共有三層,爬蟲必須全部通過,才能使用一個頁面。
- robots.txt:一份公開的規則檔,守規矩的爬蟲在擷取任何內容前都會先讀它。它是請求,不是鎖。
- 伺服器、CDN 或防火牆:決定實際回傳什麼。即使 robots.txt 允許,機器人防護規則仍可能以 403、429 或驗證挑戰頁回應爬蟲。
- 頁面本身:如果主要文字要等 JavaScript 執行後才出現,讀取初始 HTML 的爬蟲拿到的幾乎是空白頁面,雖然並沒有任何東西封鎖它。
大多數快速檢查只看第一層。只要記得另外兩層,這仍是不錯的起點。
如何針對單一 AI 爬蟲閱讀 robots.txt?
在瀏覽器中開啟 https://example.com/robots.txt,找出適用於該爬蟲的群組。群組以一行或多行 User-agent 開頭。爬蟲會使用點名其標記的群組,例如 GPTBot;比對不分大小寫。若沒有群組點名它,就使用 User-agent: * 群組。兩者都沒有時,一律允許。
在群組內,路徑比對最長的規則優先;當 Allow 與 Disallow 一樣長時,Allow 優先。因此,下面的檔案會禁止 GPTBot 存取整個網站,但允許其他所有爬蟲進入:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / 也要看檔案如何回應。依照 RFC 9309,404 表示沒有規則,因此一律允許。伺服器錯誤(5xx)或完全沒有回應,代表爬蟲必須把整個網站視為禁止存取。robots.txt 網址回傳 HTML 頁面是常見錯誤:爬蟲在其中找不到有效的規則。
如何一次檢查所有 AI 爬蟲?
一旦在意的爬蟲不只一個,手動讀檔就會變慢。每家 AI 公司都執行好幾個爬蟲,各有不同用途:
- 訓練爬蟲為模型訓練收集內容:
GPTBot、ClaudeBot、CCBot、Bytespider、meta-externalagent,以及只出現在 robots.txt 中的Google-Extended與Applebot-Extended標記。 - 搜尋爬蟲為頁面建立索引,讓 AI 答案可以引用:
OAI-SearchBot、Claude-SearchBot、PerplexityBot。 - 使用者爬蟲在有人請助理開啟頁面時擷取頁面:
ChatGPT-User、Claude-User、Perplexity-User。
免費的 Chrome 擴充功能「AI 爬蟲檢查」一鍵就能完成這些工作。開啟任一頁面,點一下圖示,它就會讀取該網站的 robots.txt,並針對 16 個爬蟲逐一顯示頁面是否被允許,以及由哪一行決定。它也會顯示 Content-Signal 偏好、網站是否有 llms.txt,以及 robots.txt 中列出的 Sitemap。它在你的瀏覽器中執行,不需要帳號,而且只讀取你點擊時所在的網站。
不使用 Chrome 的話,把網址貼到 aiseewhy.com 上的免費 robots.txt 檢查工具,也能得到相同的答案。
如何檢查防火牆是否放行它們?
robots.txt 顯示的是網站提出的要求。要看爬蟲實際拿到什麼,就把頁面請求兩次,一次以瀏覽器身分,一次使用爬蟲的 user agent,然後比較狀態碼與回應大小:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page 如果瀏覽器得到 200,而爬蟲得到 403、429、503 或小很多的頁面,就表示防火牆或機器人防護對爬蟲另眼相待。所有外部測試都有一個限制:請求來自你的網路,而不是 AI 公司的網路。依公布的 IP 位址信任爬蟲的防火牆,可能會以不同方式對待真正的爬蟲,所以最終要以伺服器記錄為準。
aiseewhy.com 上的完整檢查會以全部 16 個爬蟲的身分擷取頁面,並與真實瀏覽器並排比較,指出封鎖爬蟲的防火牆或規則,並比對每個爬蟲收到的文字。
應該以什麼結果為目標?
這取決於你想要什麼。如果希望在 ChatGPT 搜尋、Claude 和 Perplexity 中被引用,搜尋爬蟲與使用者爬蟲必須在 robots.txt 中獲得允許,並且能從伺服器拿到真正的頁面。如果不希望內容被用於訓練,只封鎖訓練標記即可。這是兩個獨立的選擇:封鎖 GPTBot 不會封鎖 OAI-SearchBot,封鎖 ClaudeBot 也不會封鎖 Claude-SearchBot。
許多網站把兩者混為一談。在我們 2026 年 11 月針對 1,000 個最熱門網域的報告中,封鎖訓練爬蟲的網站有 63% 也封鎖了至少一個 AI 搜尋爬蟲或使用者爬蟲,讓自己的頁面無法出現在這些 AI 答案中。
下一步
本文提到的爬蟲
資料來源
- RFC 9309:Robots Exclusion Protocol
- OpenAI:OpenAI 爬蟲總覽
- Anthropic:Anthropic 是否從網路擷取資料?網站擁有者如何封鎖該爬蟲?
- Perplexity:Perplexity 爬蟲
- Google:常見爬蟲(包括 Google-Extended)
- AISeeWhy:AI 爬蟲存取報告,2026-11