2 個頁面拒絕了爬取

簡短回答

稽核以瀏覽器方式擷取這些頁面時,它們回應了 401、403、429 或 503,或逾時。這通常是防火牆、機器人防護或速率限制造成的,而不是頁面壞了。請確認搜尋和 AI 爬蟲是否也收到同樣的回應。

crawl.unreachable · 優先順序: P1–P3,依爬蟲類型而定

代表什麼

這些頁面回傳了 401、403、429 或 503,或者逾時。防火牆或速率限制可能也在阻擋爬蟲。請檢查搜尋引擎爬蟲和 AI 爬蟲是否收到相同的回應。

為什麼這對 AI 搜尋很重要

稽核會從一台伺服器在短時間內擷取許多頁面,所以即使一般人能正常開啟,速率限制也可能回應 429 或 503。如果同樣的規則也套用在搜尋和 AI 爬蟲上,這些頁面就不會被擷取進它們的索引,也無法在 AI 回答中被引用。

401 表示頁面需要登入,對帳戶區域來說是正常的,但公開內容不該如此。每個頁面都回應 503 可能表示維護模式沒有關閉。這些頁面與失效連結分開列出,因為修正方式取決於被拒絕的是誰。

如何修正

  1. 在瀏覽器的無痕視窗中開啟幾個列出的 URL。如果能載入,表示封鎖針對的是自動化請求。
  2. 在防火牆、CDN 或主機記錄中找出被拒絕的請求。確認 Googlebot 和 Bingbot 等經過驗證的搜尋爬蟲,以及你想要的 AI 搜尋爬蟲都被允許;許多 CDN(包括 Cloudflare)都有針對經驗證機器人的設定。
  3. 如果是速率限制造成的,請提高一般頁面請求的上限,或把 HTML 頁面排除在外。
  4. 如果頁面回應 401,請移除公開頁面的登入要求,或停止從公開頁面連結到私人頁面。
  5. 從你的帳戶再次執行網站稽核,確認結果。

如何確認修正

修改後,在報告上按下「再次檢查」:它會列出已修正的項目以及分數的變化。

檢查我的頁面 →

所有發現與分數計算方式