2 個頁面拒絕了爬取
簡短回答
稽核以瀏覽器方式擷取這些頁面時,它們回應了 401、403、429 或 503,或逾時。這通常是防火牆、機器人防護或速率限制造成的,而不是頁面壞了。請確認搜尋和 AI 爬蟲是否也收到同樣的回應。
代表什麼
這些頁面回傳了 401、403、429 或 503,或者逾時。防火牆或速率限制可能也在阻擋爬蟲。請檢查搜尋引擎爬蟲和 AI 爬蟲是否收到相同的回應。
為什麼這對 AI 搜尋很重要
稽核會從一台伺服器在短時間內擷取許多頁面,所以即使一般人能正常開啟,速率限制也可能回應 429 或 503。如果同樣的規則也套用在搜尋和 AI 爬蟲上,這些頁面就不會被擷取進它們的索引,也無法在 AI 回答中被引用。
401 表示頁面需要登入,對帳戶區域來說是正常的,但公開內容不該如此。每個頁面都回應 503 可能表示維護模式沒有關閉。這些頁面與失效連結分開列出,因為修正方式取決於被拒絕的是誰。
如何修正
- 在瀏覽器的無痕視窗中開啟幾個列出的 URL。如果能載入,表示封鎖針對的是自動化請求。
- 在防火牆、CDN 或主機記錄中找出被拒絕的請求。確認 Googlebot 和 Bingbot 等經過驗證的搜尋爬蟲,以及你想要的 AI 搜尋爬蟲都被允許;許多 CDN(包括 Cloudflare)都有針對經驗證機器人的設定。
- 如果是速率限制造成的,請提高一般頁面請求的上限,或把 HTML 頁面排除在外。
- 如果頁面回應 401,請移除公開頁面的登入要求,或停止從公開頁面連結到私人頁面。
- 從你的帳戶再次執行網站稽核,確認結果。
如何確認修正
修改後,在報告上按下「再次檢查」:它會列出已修正的項目以及分數的變化。