分數如何計算
AISeeWhy 測試 AI 爬蟲與 AI 搜尋能否讀取並引用一個網頁。所有影響分數的因素都列在本頁。
公式
分數 = 100 − 15 × (P1 發現數) − 6 × (P2 發現數) − 2 × (P3 發現數),最低為 0。當分數達 70 以上且沒有 P1 發現時,頁面會被標示為對 AI 可見。
優先順序
- P1,嚴重:AI 搜尋或 AI 助理無法讀取該頁面,或無法信任其內容。
- P2,重要:頁面較難被理解、找到或引用。
- P3,建議項目,或一種政策選擇,例如封鎖蒐集訓練資料的爬蟲。
測試內容
- 以 16 種 AI 與搜尋爬蟲、curl 以及桌面瀏覽器的身分擷取頁面,並使用每個爬蟲公布的 user agent。收到錯誤、驗證挑戰或與瀏覽器不同頁面的爬蟲,會連同 HTTP 狀態與防火牆特徵一併回報。
- 依照 RFC 9309 為每個爬蟲權杖解析 robots.txt,包括從不作為 user agent 送出的權杖(Google-Extended、Applebot-Extended)。
- 檢查頁面的結構化資料(JSON-LD)、先給答案的內容、日期、網站地圖、hreflang 替代頁面與 llms.txt。
- 遇到暫時性失敗(網路錯誤、429、5xx)的爬蟲會先重試一次,再計入結果。
外部測試的限制
- 請求來自 AISeeWhy 的伺服器,而非爬蟲擁有者的 IP 位址。依 IP 信任真實爬蟲的防火牆可能會封鎖我們卻放行它們,反之亦然。伺服器記錄檢查能顯示真實爬蟲收到什麼回應。
- 不執行 JavaScript,因為 AI 爬蟲也不執行。
- 一個網址就是一個頁面。整個網站請使用批次稽核或網站地圖。
- 分數越高代表技術障礙越少,但不保證 AI 助理會提及或引用你。
規則
目前規則版本:2026.11。每當規則、優先順序或公式變動,版本就會更新,每份報告都會顯示產生時所用的版本。
| 發現 | 優先順序 |
|---|---|
我們的探測請求被封鎖,結果無法判定 access.all_blocked | P2 |
GPTBot 被封鎖 access.blocked | P1–P3,依爬蟲類型而定 |
GPTBot 被重新導向到其他位址 access.redirect_diff | P1–P3,依爬蟲類型而定 |
GPTBot 只取得佔位頁面 access.soft_block | P1–P3,依爬蟲類型而定 |
聯絡信箱被電子郵件混淆功能隱藏 content.email_obfuscated | P1 / P2 |
頁面內容需要 JavaScript content.js_only | P1 |
沒有指向外部來源的連結 content.no_outbound_citations | P1 |
以問句形式撰寫的標題很少 content.no_question_headings | P2 |
H1 下方沒有簡短回答 content.quick_answer_missing | P1 |
無法取得該頁面 fetch.error | P1 |
頁面回傳狀態 403 fetch.status | P1 |
日期不一致:頁面 2026-01-01,sitemap 2026-01-01 fresh.lastmod_mismatch | P2 |
沒有修改日期 fresh.no_date | P3 |
Canonical URL 不在 hreflang URL 之中 hreflang.canonical_conflict | P2 |
hreflang 沒有 x-default hreflang.no_x_default | P3 |
hreflang 連結沒有互相指向 hreflang.not_reciprocal | P2 |
沒有 llms.txt llms.missing | P3 |
頁面未列入 llms.txt llms.page_not_listed | P3 |
robots.txt 允許 GPTBot,但伺服器將其封鎖 robots.access_conflict | P2 |
robots.txt 禁止了 GPTBot robots.disallowed | P1–P3,依爬蟲類型而定 |
robots.txt 是一個 HTML 頁面 robots.invalid | P2 |
robots.txt 中沒有 Content-Signal robots.no_content_signal | P3 |
無法取得 robots.txt robots.unreachable | P1 |
Article 資料不完整 schema.article_incomplete | P2 |
頁面上有問題,但沒有 FAQPage 標記 schema.faq_missing | P3 |
JSON-LD 區塊不是有效的 JSON schema.invalid_json | P2 |
未標明發布者 schema.no_publisher | P1 |
發布者沒有 sameAs 連結 schema.no_sameas | P3 |
沒有結構化資料(JSON-LD) schema.none | P2 |
應用程式標記中沒有價格 schema.software_no_offers | P1 |
找不到 sitemap sitemap.none | P2 |
無法取得 sitemap(狀態 403) sitemap.unreachable | P2 |
無法讀取 sitemap sitemap.unreadable | P2 |
頁面不在 sitemap 中 sitemap.url_missing | P2 |