無法取得 robots.txt
簡短回答
擷取 /robots.txt 失敗：伺服器回應 5xx 狀態或 429，或完全沒有回應。依 RFC 9309，爬蟲此時會視整個網站為禁止存取。請讓 /robots.txt 回傳狀態 200 的純文字；若沒有任何規則，則回傳 404。
代表什麼
robots.txt 回傳了狀態 403 或沒有回應。依據 RFC 9309,爬蟲此時會將整個網站視為禁止擷取。
為什麼這對 AI 搜尋很重要
RFC 9309 規定，因伺服器錯誤而無法取得 robots.txt 的爬蟲，必須假設為完全禁止。Googlebot、Bingbot 與遵循標準的 AI 爬蟲，會在 robots.txt 恢復回應前停止擷取頁面，因此一個損壞的檔案就可能讓整個網站消失。
檔案不存在則不同：404 或其他 4xx 狀態代表沒有任何規則，所以一切都被允許，AISeeWhy 也不會回報。問題只出在伺服器錯誤、速率限制（429），以及在回傳任何狀態之前就逾時或被拒絕的請求。
如何修正
- 從你的網路之外開啟
https://your-domain/robots.txt，並記下狀態。稽核是以瀏覽器 user agent 擷取它。 - 如果是 5xx，請檢查來源端的路由：Next.js 等框架從
public/robots.txt或app/robots.ts提供它，WordPress 則動態產生它，因此 PHP 錯誤會讓它失效。 - 如果是 429 或逾時，請在 CDN 或 WAF 中，讓
/robots.txt不受速率限制與機器人驗證影響。 - 在 CDN 快取 robots.txt，這樣即使來源端變慢，它仍能回應。AISeeWhy 報告會顯示證據與可直接貼上的修正；完成後請按「再次檢查」確認結果。
如何確認修正
修改後，在報告上按下「再次檢查」：它會列出已修正的項目以及分數的變化。