Claude 看得到我的網站嗎?檢查方法

發布於 · 更新於

簡短回答

只有在你的 robots.txt 允許 Anthropic 的代理程式,且伺服器傳給它們的 HTML 與瀏覽器拿到的相同時,Claude 才能讀取你的頁面。請確認 robots.txt 沒有禁止 Claude-SearchBot 或 Claude-User,防火牆沒有以 403 或驗證挑戰頁回應它們,而且主要文字已包含在初始 HTML 中。接著直接測試 Claude:在對話中貼上你的網址,並在開啟網頁搜尋的情況下提出買家會問的問題。

如果你向 Claude 詢問自家產品,它引用的卻是其他網站,第一個問題就是它到底連不連得上你的網站。這個問題有可以測試的答案。Anthropic 公開了其代理程式的 robots.txt 識別名稱(token)與它們使用的 IP 位址,而 Claude 會顯示它用到的來源。因此你可以依序檢查每一步:robots.txt 怎麼寫、伺服器回傳什麼、日誌記錄了什麼,以及你把頁面交給 Claude 時它會怎麼處理。

本頁內容
  1. 5 分鐘檢查,逐步說明
  2. Claude 如何讀取網站?
  3. 如何透過 robots.txt 檢查 Claude 能否存取我的網站?
  4. 如何測試 Claude 的代理程式從我的伺服器拿到什麼?
  5. 如何知道 Claude 是否真的造訪過我的網站?
  6. 如何用 Claude 本身測試我的頁面?
  7. 如果 Claude 讀得到我的頁面,卻仍然不引用,怎麼辦?
  8. AISeeWhy 如何檢查這些項目?

5 分鐘檢查,逐步說明

  1. 開啟你的 robots.txt,確認針對 Claude-SearchBot、Claude-User 或 User-agent: * 的群組都沒有禁止該頁面。ClaudeBot 只與訓練有關。
  2. 在 AISeeWhy 上免費檢查該頁面,或以 Claude-User 的 user agent 送出一個請求:它必須得到狀態碼 200 以及和瀏覽器相同的文字。
  3. 在你的存取記錄中搜尋 Claude-SearchBot 與 Claude-User,查看它們收到的狀態碼。
  4. 在開啟網路搜尋的 Claude 中貼上你的 URL,請它摘要該頁面,接著問一個買家會問的問題,並檢查引用。

如果第 1 或第 2 步沒有通過,請先修正存取問題;下面的段落會說明做法。如果 Claude 讀得到頁面卻不引用它,就從內容著手。

Claude 如何讀取網站?

Claude 透過兩種方式存取網路。使用網頁搜尋時,如果問題需要最新資訊,它會進行搜尋、檢視多個來源,並在回答中附上引用。Anthropic 說明中心表示,每個使用網頁搜尋的回答都會附上引用。當有人給 Claude 一個特定連結時,它可以直接開啟該頁面。

Anthropic 為此列出三種代理程式,各有自己的 robots.txt 識別名稱。Claude-SearchBot 會進行檢索以改善 Claude 的搜尋結果,Claude-User 會在使用者的問題需要時擷取頁面,ClaudeBot 則收集可能用於訓練的內容。我們另有一篇介紹 Anthropic 三種爬蟲的指南,詳細說明了每一種的用途。想被讀取與引用,要檢查的是前兩個。

有一點必須坦白:Anthropic 並未說明 Claude 的網頁搜尋使用哪個搜尋索引,也沒有說明它如何挑選來源。Anthropic 表示,封鎖 Claude-SearchBot 可能降低你在搜尋結果中的能見度,封鎖 Claude-User 則會讓它無法為使用者的問題擷取頁面。兩者都允許,才有被引用的可能,但並不保證一定會被引用。

如何透過 robots.txt 檢查 Claude 能否存取我的網站?

開啟 https://yourdomain.com/robots.txt,找找看有沒有點名 Claude-SearchBot 或 Claude-User 的群組。如果兩者都沒被點名,它們都會遵循 User-agent: * 群組。依據 RFC 9309,識別名稱的比對不分大小寫,而適用群組中的 Disallow: / 會對該代理程式關閉整個網站。

也要檢查回應本身。robots.txt 若回傳伺服器錯誤,爬蟲會假設所有內容都被禁止。404 則代表沒有任何規則。下面兩個指令會顯示狀態碼與檔案中的每個群組:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

Anthropic 表示,規則必須放在每個子網域最上層的 robots.txt 中,所以 blog.example.com 需要自己的檔案。這類封鎖並不少見。在我們針對最熱門的 1,000 個網域所做的研究中,提供 robots.txt 的 518 個網站裡,有 67 個(12.9%)對 Claude-SearchBot 禁止了首頁,68 個(13.1%)對 Claude-User 禁止了首頁,而對訓練爬蟲 ClaudeBot 這麼做的有 110 個(21.2%)。

如何測試 Claude 的代理程式從我的伺服器拿到什麼?

robots.txt 只是一種請求,不是存取控制。防火牆、CDN 或機器人防護可能會以 403、429 或驗證挑戰頁回應 Anthropic 的代理程式,而你自己的瀏覽器看到的頁面卻完全正常。Anthropic 表示其機器人不會嘗試繞過 CAPTCHA,因此一個驗證挑戰頁就會讓這次造訪結束。

分別用瀏覽器的 user agent 與 Anthropic 的每個識別名稱請求同一個網址,再比較狀態碼與大小:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropic 的說明頁面列出了這些識別名稱,但沒有公布完整的 user agent 字串,所以這裡用的是測試字串,不是 Anthropic 的真實字串。它們能顯示依名稱比對的規則如何處理請求。如果只有 Claude 那幾行得到 403、429 或 503,或得到 200 但內容比瀏覽器的小很多,問題就出在防火牆。

你的測試來自你自己的 IP 位址。Anthropic 表示,來自 claude.com/crawling/bots.json 清單中位址的請求就是 Anthropic 的請求。如果你的防火牆會依 IP 放行經過驗證的爬蟲,真正的代理程式可能順利通過,而你的測試卻被擋下,反過來也有可能。請用這份清單來放行 Anthropic,而不是封鎖它:Anthropic 不建議依 IP 封鎖,因為這也會讓它的機器人讀不到你的 robots.txt。

如何知道 Claude 是否真的造訪過我的網站?

存取日誌可以直接回答這個問題。在日誌中搜尋這三個識別名稱,再確認來源位址是否落在 Anthropic 公布的 IP 範圍內,因為任何人都能冒用 user agent 名稱:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

第一個指令假設使用常見的 combined 日誌格式,其中第 1 個欄位是用戶端位址,第 9 個欄位是狀態碼。如果 Anthropic 的代理程式旁邊出現大量 403 或 429,就證實是防火牆的問題。完全沒有來自 Claude-SearchBot 的造訪,只代表它還沒檢索這些頁面,或有其他東西更早就擋住了它。

如何用 Claude 本身測試我的頁面?

開啟一個對話,貼上你某個頁面的網址,並附上「摘要這個頁面」之類的要求。Anthropic 說明中心表示,開啟網頁搜尋後,Claude 可以開啟你提供的連結。如果網頁搜尋是關閉的,請從 + 選單開啟;在 Anthropic 較新的 Claude 體驗中沒有開關,Claude 會在有幫助時自行搜尋。在 Team 與 Enterprise 方案中,必須先由擁有者為組織啟用網頁搜尋。如果瀏覽器開得了你的頁面而 Claude 開不了,請回到防火牆測試。

接著提出買家會問的問題,不要提到你的網站名稱,並開啟被引用的來源。Anthropic 表示,Claude 可能會依據從你的 IP 位址推測出的位置提供在地化結果,因此答案可能因地點與每次執行而不同。

開發人員可以透過 Claude API 重複這項測試。網頁搜尋工具接受 allowed_domains 清單,所以限定在你網域內的請求,可以顯示 Claude 的搜尋是否會針對某個問題傳回你的任何頁面:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

搜尋結果為空,代表 Claude 的搜尋針對這個問題在該網域上找不到任何內容。Anthropic 對 API 網頁搜尋在 token 費用之外另行收費。API 的網頁擷取(web fetch)工具也會回報頁面無法讀取的原因:url_not_allowed 涵蓋 robots.txt 等封鎖,url_not_accessible 則代表 HTTP 錯誤。API 的答案可能與 Claude App 顯示的不同。

如果 Claude 讀得到我的頁面,卻仍然不引用,怎麼辦?

首先確認它需要的文字就在伺服器傳送的 HTML 中。Anthropic 的 API 文件表示,其網頁擷取工具不支援以 JavaScript 渲染的網站,而 Anthropic 也沒有說它的爬蟲會執行指令碼。用 curl 擷取你的頁面,在輸出中搜尋主要內容裡的一句話。如果找不到,伺服器端渲染或預先渲染可以為 Claude 以及大多數其他 AI 爬蟲解決這個問題。

之後就看頁面本身了。在最前面幾句回答頁面的主要問題,使用與人們提問方式相符的標題,寫明發布者並顯示日期。然後把你的頁面與 Claude 針對同一問題引用的頁面相比較:被引用的頁面往往更直接地回答了那個問題。

AISeeWhy 如何檢查這些項目?

AISeeWhy 免費檢查會以 Claude-SearchBot、Claude-User、ClaudeBot 以及其他 AI 與搜尋爬蟲的身分擷取你的頁面,並與真實瀏覽器對照,對每個爬蟲套用你的 robots.txt,辨識驗證挑戰頁,並顯示在不執行 JavaScript 時能拿到多少文字。試用與付費方案中的 AI 能見度檢查,會使用你自己的 API 金鑰,透過開啟網頁搜尋的 Claude 提出你的問題,並顯示你的品牌或網域是否被提及或引用。

免費工具

下一步

本文提到的爬蟲

常見問題

可以免費檢查 Claude 是否看得到我的網站嗎?

可以。你的 robots.txt、curl 請求、伺服器記錄以及在 Claude 中提問,都不用花錢。AISeeWhy 的免費檢查每天可為一個頁面測試 Anthropic 的代理程式以及另外 13 種爬蟲,不需要帳號。

為什麼我貼上連結後,Claude 開不了我的網站?

常見原因是防火牆或機器人防護以 403 或驗證挑戰頁回應 Anthropic 的代理程式、robots.txt 規則禁止了 Claude-User,或頁面文字要等 JavaScript 執行後才會出現。用 curl 分別以瀏覽器與 Claude 的識別名稱測試該網址,並在日誌中尋找被擋下的請求。

Anthropic 有公布可以用來測試的 user agent 字串嗎?

Anthropic 的爬蟲說明頁面列出了 ClaudeBot、Claude-SearchBot 與 Claude-User 這些識別名稱,但沒有完整的 user agent 字串。要分辨真正的 Anthropic 流量與冒充者,請將來源 IP 與 claude.com/crawling/bots.json 中的清單比對。

robots.txt 的變更要多久才會傳到 Claude?

Anthropic 沒有提供時間。RFC 9309 規定爬蟲使用快取的 robots.txt 不應超過 24 小時,所以至少等一天,再從日誌或 Claude 的答案判斷結果。

Claude API 與 Claude App 的答案一樣嗎?

不一定。App 可能會使用你的大概位置與它自己的設定,而 API 請求使用的是你送出的工具與參數。請把 API 結果當作可重複的測試,而不是每位使用者所見內容的複本。

如何知道 Claude 有沒有提到我的品牌?

在開啟網頁搜尋的情況下,向 Claude 提出買家會問的問題,記下它是否點名或引用你的網站,以及改為出現了哪些競爭對手。由於答案會變動,請在幾週內重複每個問題。AISeeWhy 的 AI 能見度檢查會使用你的金鑰,每週透過 Claude API 完成這項工作,並與最多四個競爭對手並列顯示。

資料來源

更多文章