發布頁面前要做的 12 項 AEO 檢查(2027)
發布前,確認網址不經重新導向就傳回 200,robots.txt 允許每個 AI 搜尋爬蟲,防火牆會傳給它們真正的頁面,答案就在原始 HTML 中。接著檢查有無遺留的 noindex 或 nosnippet、canonical 是否只有一個、H1 下方是否有答案、JSON-LD 是否有效且相符、日期是否一致、網站地圖項目與內部連結、hreflang,最後要求建立索引。
大多數從未出現在 AI 回答中的頁面,都栽在一些無聊的地方:遺留的 noindex、一條防火牆規則、一個指向測試環境的 canonical。這 12 項檢查能在上線前抓出這些問題。每項只要幾分鐘,大多數只需要終端機和頁面網址,並依爬蟲遇到的順序排列。
本頁內容
- 每項檢查要花多少時間?
- 1. 網址傳回 200,沒有重新導向鏈
- 2. robots.txt 對每個 AI 搜尋爬蟲允許該頁面
- 3. 防火牆傳給 AI 爬蟲真正的頁面
- 4. 答案在原始 HTML 中
- 5. 沒有遺留的 noindex 或 nosnippet
- 6. 只有一個 canonical 網址,使用絕對網址並指向自己
- 7. 標題與 H1 說明頁面回答什麼,答案緊接在下方
- 8. JSON-LD 可被剖析,且與可見文字相符
- 9. 可見日期、標記日期與網站地圖 lastmod 一致
- 10. 頁面在網站地圖中,並有相關頁面連結過來
- 11. hreflang 互相對應,並設定 x-default
- 12. 請搜尋引擎爬取新頁面
- 我們如何挑選這些檢查
每項檢查要花多少時間?
單一頁面的大致時間與所需工具。第 1 到 5 項每個頁面都要做;其餘各項每個範本做一次,之後抽查即可。
- 1. 狀態碼 200:1 分鐘,curl。
- 2. 依爬蟲檢查 robots.txt:3 分鐘,瀏覽器或 curl。
- 3. 防火牆回應:3 分鐘,curl。
- 4. 原始 HTML 中的文字:2 分鐘,curl。
- 5. 沒有遺留的 noindex 或 nosnippet:2 分鐘,curl。
- 6. 只有一個 canonical:2 分鐘,檢視原始碼。
- 7. 標題、H1 與簡短答案:5 分鐘,閱讀頁面。
- 8. JSON-LD 有效且相符:5 分鐘,複合式搜尋結果測試或 Schema Markup Validator。
- 9. 日期一致:3 分鐘,頁面、標記與網站地圖。
- 10. 網站地圖與內部連結:5 分鐘,sitemap.xml 與你的 CMS。
- 11. hreflang:5 分鐘,僅限多語言網站。
- 12. 要求建立索引:2 分鐘,Search Console 與 IndexNow。
1. 網址傳回 200,沒有重新導向鏈
爬蟲應該在你要分享並列入網站地圖的那個確切網址上,以狀態碼 200 拿到頁面本身。每多一次重新導向,就多一個可能失敗的環節;傳回 200 卻顯示「找不到」訊息的頁面屬於軟 404,搜尋引擎可能會將它剔除。
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ 通過標準:200 redirects=0,並傳回同一個網址。修正:連結並在網站地圖中列出最終網址,舊網址最多保留一次重新導向。
2. robots.txt 對每個 AI 搜尋爬蟲允許該頁面
以每個爬蟲的角度閱讀 robots.txt。點名某個爬蟲的群組會取代該爬蟲的 User-agent: * 群組;依據 RFC 9309,比對最長的規則勝出,長度相同時 Allow 勝出。
至少檢查 OAI-SearchBot、Claude-SearchBot、Claude-User、PerplexityBot 與 Googlebot。規則是以路徑前綴比對,所以像 /guides/ 這樣的新區塊可能被舊的 Disallow: /g 規則擋住。也要確認 robots.txt 本身傳回 200 或 404:依據 RFC 9309,伺服器錯誤代表爬蟲應假設整個網站都被禁止。
通過標準:這些識別名稱的任何規則都沒有禁止該路徑。我們關於如何測試 robots.txt 的指南,說明了如何針對一個爬蟲測試一個網址。
3. 防火牆傳給 AI 爬蟲真正的頁面
分別以瀏覽器 user agent 和爬蟲 user agent 請求頁面,再比較狀態碼與大小。依名稱比對的機器人防護可能只對爬蟲傳回 403、429 或驗證挑戰頁。
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done 通過標準:每一行都是 200,大小相近。大小明顯小很多通常代表驗證挑戰頁。這些字串測試的是依名稱比對的規則;真正的爬蟲也會來自公布的 IP 範圍,而從你自己的電腦測試無法重現這一點,所以也要檢查防火牆中針對這些範圍的放行規則。
4. 答案在原始 HTML 中
在伺服器傳送的 HTML 中搜尋答案裡的一句話。瀏覽器的元素檢查工具顯示的是指令碼執行後的頁面,這不是大多數爬蟲拿到的內容。
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" 通過標準:1 或以上。結果為 0 代表文字是由 JavaScript 加入的,而 OpenAI、Anthropic 與 Perplexity 都沒有文件說明其爬蟲會執行 JavaScript。請在伺服器端或建置時轉譯;我們關於 JavaScript 內容與 AI 爬蟲的指南列出了可行做法。
5. 沒有遺留的 noindex 或 nosnippet
測試網站常常帶著 noindex 上線,範本也可能把它帶到正式環境。請同時檢查 robots 中繼標記與 X-Robots-Tag HTTP 標頭,任何一個都會生效。
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html 通過標準:沒有任何輸出,或只有 index, follow 之類。Google 表示,頁面必須已建立索引並符合摘要資格,才會出現在 AI Overviews 與 AI Mode 中,而 nosnippet 也會阻止頁面被直接當作它們的輸入。
6. 只有一個 canonical 網址,使用絕對網址並指向自己
頁面應只宣告一個 rel="canonical",使用絕對網址,並指向你發布的網址。Google 稱 canonical 是強烈的信號而不是指令,並提醒不要使用相對網址,也不要出現互相矛盾的信號,例如網站地圖列出的是另一個網址。
常見的上線錯誤有:從範本頁面複製來的 canonical、仍指向測試主機的 canonical,以及佈景主題和外掛同時輸出的兩個 canonical 標記。
通過標準:只有一個標記,指向正式網址,通訊協定與主機和網站地圖中相同。
7. 標題與 H1 說明頁面回答什麼,答案緊接在下方
用陌生人的眼光閱讀頁面頂端。標題與 H1 應以買家使用的字詞點出問題或主題,而 H1 下方的前兩三句話應完整回答它。
標題控制在約 60 個字元,比較不會在搜尋結果中被截斷。簡短答案要寫成單獨引用時也說得通,數字、單位與產品名稱都要寫完整。
通過標準:只讀第一段的人也能得到答案。我們關於在 AI 回答中被引用的方法清單,更深入說明了如何寫出方便引用的內容。
8. JSON-LD 可被剖析,且與可見文字相符
有錯誤的 JSON-LD 會被整個忽略,所以少一個逗號就會全部失效。把網址貼到 Google 的複合式搜尋結果測試或 Schema Markup Validator,並修正每一個錯誤。
接著把各項值和頁面比對。標記中的標題、日期、價格、幣別與組織名稱,應該和讀者看到的一樣。Google 表示它的 AI 功能不需要特殊標記,而結構化資料應與可見文字相符。
通過標準:沒有錯誤,每個值都在頁面上看得到。可略過:這種頁面類型沒有合適的標記;沒有標記的頁面勝過標記錯誤的頁面。
9. 可見日期、標記日期與網站地圖 lastmod 一致
在頁面上顯示有標示的日期,在 datePublished 與 dateModified 中使用相同的日期,並把網站地圖的 lastmod 設為最後一次重大變更的日期。Google 要求可見日期與標記中的日期一致,並表示只有在 lastmod 一貫準確且可驗證時才會使用它。
每次建置都替所有網址蓋上當天日期的網站地圖產生器,會讓所有頁面的 lastmod 失去意義,而不只是新頁面。
通過標準:三個地方,同一個日期。
10. 頁面在網站地圖中,並有相關頁面連結過來
爬蟲透過連結與網站地圖找到頁面。把新網址以確切的 canonical 網址加入 XML 網站地圖,並從至少兩個相關頁面,以及一個主題總覽頁或索引頁連結過去。
一個網站地圖檔案最多可容納 50,000 個網址,未壓縮時最大 50 MB;更大的網站需要網站地圖索引檔。Google 表示會忽略 priority 與 changefreq,所以不必花時間在上面。沒有內部連結的頁面是孤立頁面,爬蟲可能很晚才找到,甚至完全找不到。
通過標準:網址在網站地圖中,而且至少有兩個頁面以描述性錨點文字連結到它。
11. hreflang 互相對應,並設定 x-default
如果頁面有多種語言版本,每個版本都應列出所有版本(包括自己),而且每個版本都必須回連。Google 會忽略沒有得到另一端確認的 hreflang 註解。請為沒有符合語言時顯示的版本加上 x-default。
可略過:網站只有一種語言。我們關於 hreflang x-default 的指南說明了何時需要它。
12. 請搜尋引擎爬取新頁面
頁面上線並通過以上檢查後,通知搜尋引擎。在 Google Search Console 中,對新網址使用網址檢查工具,然後選擇「要求建立索引」。對於 Bing 和其他支援 IndexNow 的搜尋引擎,用你的金鑰把網址提交到 IndexNow 端點;Bing 指出這並不保證會爬取或建立索引。
AI 助理沒有提交表單。它們的爬蟲透過連結與搜尋找到頁面,這正是第 2、3 與 10 項檢查重要的原因。如果你有發布 llms.txt 檔案,也把頁面加進去;Google 表示其搜尋不使用它,所以請當作選用項目。
通過標準:網址檢查工具顯示正式頁面可以建立索引。
我們如何挑選這些檢查
這份清單沿著爬蟲走的路徑:抵達網址、讀取 robots.txt、通過防火牆、讀取 HTML,然後解讀內容。每項檢查都根據 OpenAI、Anthropic、Perplexity 與 Google 關於其爬蟲的文件、關於 robots.txt 的 RFC 9309,以及 Google 對 canonical、日期、網站地圖與 hreflang 的指南。我們沒有收錄對 AI 回答沒有文件證明有效的檢查,例如關鍵字密度或字數目標。
這些檢查能證明頁面可以被讀取,但無法證明它會被引用。能否被引用取決於你的答案和其他來源相比有多好。每次變更防火牆、CDN、佈景主題或 CMS 之後,都要重做第 2 到 5 項檢查,因為正是這些變更會悄悄讓設定失效。
AISeeWhy 一次就能執行其中大部分檢查:它以 16 個 AI 與搜尋爬蟲的身分擷取頁面,並與真實瀏覽器並排比較,依爬蟲套用 robots.txt,並讀取 HTML、標記、canonical 與日期。免費檢查會顯示分數和第一個發現;完整報告會列出每個問題與現成的修正方法。
此問題的修正方法
下一步
本文提到的爬蟲
常見問題
每個頁面都要做這些檢查嗎?
每個新頁面都要做第 1 到 5 項,因為單一網址也可能被封鎖或帶著遺留的 noindex。第 6 到 11 項主要取決於範本,所以每種頁面類型做一次,再抽查新頁面即可。
為什麼不能像提交給 Google 那樣,把頁面提交給 ChatGPT 或 Claude?
OpenAI、Anthropic 與 Perplexity 都沒有提供網頁的網址提交工具。它們的爬蟲透過追蹤連結與搜尋找到頁面,所以你能掌控的是內部連結、網站地圖,以及對 OAI-SearchBot、Claude-SearchBot 與 PerplexityBot 開放存取。
我的頁面通過了全部 12 項檢查,為什麼還是沒被引用?
這些檢查讓頁面可讀,而不是讓它被優先選擇。助理會挑選最能回答問題的來源,所以請把你的頁面和它實際引用的頁面比一比:它們是否更早給出答案、是否用文字寫出價格或規格,或是否提供了你的頁面沒有的資料。
發布後多久 AI 爬蟲會來造訪?
沒有廠商公布時間表。你的伺服器記錄會顯示 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 第一次請求該網址的時間;我們關於在伺服器記錄中查看 AI 爬蟲的指南說明了如何找到它們。
資料來源
- RFC 9309:Robots Exclusion Protocol
- OpenAI:OpenAI 爬蟲總覽
- Anthropic:Anthropic 是否從網路爬取資料?網站擁有者如何封鎖該爬蟲?
- Perplexity:Perplexity 爬蟲
- Google 搜尋中心:AI 功能與你的網站
- Google 搜尋中心:robots 中繼標記、data-nosnippet 與 X-Robots-Tag
- Google 搜尋中心:如何指定標準網址
- Google 搜尋中心:影響署名日期
- Google 搜尋中心:建立及提交 Sitemap
- Sitemaps.org:Sitemap XML 格式
- Google 搜尋中心:將網頁的本地化版本告知 Google
- Search Console 說明:網址審查工具
- Bing:IndexNow 入門
- Search Console 說明:複合式搜尋結果測試
- Schema.org:Schema Markup Validator
- Google 搜尋中心:JavaScript SEO 基本概念