robots.txt 是一個 HTML 頁面

robots.invalid

代表什麼

robots.txt 位址回傳的是 HTML(通常是以狀態 200 回傳的 404 頁面),因此爬蟲無法讀取任何規則。

優先順序

P2

如何修正

免費檢查你的頁面。報告會顯示這項發現在你網站上的證據,以及可直接貼上的修正方式:robots.txt 修改、Cloudflare 規則、JSON-LD 標記、llms.txt 草稿或一段簡短說明。

如何確認修正

修改後,在報告上按下「再次檢查」:它會列出已修正的項目以及分數的變化。

檢查我的頁面 →

所有發現與分數計算方式