無法取得 sitemap(狀態 403)
簡短回答
網站地圖已被宣告或預期存在,但擷取時失敗,出現錯誤、401、403、429 或 5xx 狀態,因此爬蟲可能也無法讀取。稽核以瀏覽器身分擷取它。請讓網站地圖 URL 公開,並使其不受機器人驗證與速率限制影響。
代表什麼
找到了 sitemap,但它回傳了狀態 403 或沒有回應,因此爬蟲可能也無法使用它。請檢查防火牆是否允許爬蟲取得它。
為什麼這對 AI 搜尋很重要
回傳 403 或伺服器錯誤的網站地圖形同不存在:爬蟲無法從中得知新增或變動的頁面。機器人防護是常見原因,因為對網站地圖的請求幾乎全來自爬蟲,而這些規則正是為了阻擋爬蟲。
每次請求都即時產生的大型網站地圖也可能逾時或觸及伺服器限制,表現為 5xx 狀態。由於稽核是以瀏覽器身分擷取檔案,這裡失敗通常代表爬蟲也被拒絕。
如何修正
- 開啟報告中的網站地圖 URL,並記下狀態。AISeeWhy 報告會顯示證據與可直接貼上的修正;完成後請按「再次檢查」確認結果。
- 在你的 CDN 或 WAF 中,讓網站地圖路徑(例如
/sitemap*.xml)不受驗證、Bot Fight Mode 與速率限制影響。 - 如果它位於測試環境風格的驗證之後,請在正式主機上將它設為公開。
- 對於 5xx 錯誤,請快取產生出的網站地圖或預先建置成靜態檔案,並用網站地圖索引拆分過大的檔案。
如何確認修正
修改後,在報告上按下「再次檢查」:它會列出已修正的項目以及分數的變化。