✦ AI 爬蟲存取檢查與 AEO 稽核

看清 AI 為何
看不到你的網站。

測試 AI 爬蟲究竟如何存取你的內容,取得問題的清楚原因,並用現成的方案修正。

  • 真實的 AI 爬蟲測試
  • 清楚的說明
  • 現成的修正方式

免費:每天 1 次檢查。開始 7 天免費試用,即可取得完整報告。

AI 可存取性 範例

88/100
✓ AI 可見
✓阻擋問題:0→
!改善建議:4→
✓檢查通過:12→
檢查所用 ChatGPTClaudeGeminiPerplexity
檢查這些產品背後的爬蟲ChatGPTClaudeGeminiPerplexityCopilotApple IntelligenceMeta AI
14AI 與搜尋爬蟲
8個檢查領域
30種報告語言
RFC 9309依標準解析 robots.txt

真實的 AI 測試

我們以每個爬蟲的真實 user agent 擷取你的頁面,並與一般瀏覽器的結果比對。

清楚的原因

確切了解是什麼阻止 AI 存取或使用你的內容:防火牆、robots.txt、標記或內容。

可執行的修正

取得可直接套用的修改,附帶程式碼、範例與優先順序指引。

可衡量的進步

每次檢查都有 0–100 的分數並保存在歷史紀錄中,讓你看到修正如何改善存取。

我們檢查的 AI 產品

每個 AI 產品都用自己的爬蟲讀取網頁。我們會以其中每一個的身分擷取您的頁面,並顯示各自取得的內容。

ChatGPTGPTBot, OAI-SearchBot, ChatGPT-User
ClaudeClaudeBot, Claude-SearchBot, Claude-User
GeminiGoogle-Extended, Googlebot
PerplexityPerplexityBot, Perplexity-User
CopilotBingbot
Apple IntelligenceApplebot, Applebot-Extended
Meta AIMeta-ExternalAgent
▶ 產品導覽

從問題到 AI 能用的網站。

一個流程,完成網站 AI 可存取性的檢查、理解與修正。

  1. 1

    執行真實的 AI 測試

    查看主流 AI 爬蟲如何存取你的頁面。

  2. 2

    弄清問題所在

    取得附帶證據的清楚、白話的說明。

  3. 3

    套用修正

    使用可直接複製的程式碼與指引。

  4. 4

    追蹤結果

    再次檢查,並在歷史紀錄中比較分數。

報告長什麼樣子

範例頁面:一個搜尋爬蟲被防火牆封鎖,一個訓練爬蟲被政策禁止,另有兩項檢查需要改進。

分數如何計算

分數從 100 分開始。每項 P1 發現扣 15 分,每項 P2 扣 6 分,每項 P3 扣 2 分,最低為 0。頁面沒有 P1 發現且分數不低於 70,即視為 AI 可見。每項發現都附有證據,原因一目瞭然。

常見問題

為什麼 AI 搜尋看不到我的頁面?

最常見的原因是防火牆或機器人防護對 AI 爬蟲回傳驗證頁面或 403,而一般使用者可以正常開啟頁面。其他原因包括 robots.txt 規則、僅在 JavaScript 執行後才出現的內容,以及重新導向到登入頁面。檢查會分別以各爬蟲與瀏覽器的身分擷取你的頁面,並指出哪一個結果不同。

封鎖 GPTBot 等訓練用爬蟲是錯誤的做法嗎?

不是。GPTBot、ClaudeBot 與 CCBot 等訓練用爬蟲為模型訓練蒐集資料,封鎖它們屬於政策選擇,因此報告將其列為 P3。OAI-SearchBot、Claude-SearchBot 與 Perplexity-User 等搜尋及使用者觸發擷取的爬蟲,決定了 AI 回答能否引用你的網站,封鎖它們則是 P1。

檢查結果能證明真實爬蟲會取得什麼嗎?

無法完全證明。請求來自我們的伺服器,並帶有各爬蟲的 user agent,而不是來自廠商經過驗證的 IP 範圍。結果反映的是你的防火牆如何對待該 user agent。依 IP 驗證爬蟲的防火牆可能會放行真正的爬蟲,每則封鎖發現都會註明這一點。

檢查要花多少錢?

每天一次檢查免費,會顯示分數與第一項發現。7 天免費試用無需信用卡,可解鎖所有發現及其修正方式、歷史紀錄與 API 金鑰。之後 Pro 每月 $19。需要批次檢查時,可依網站地圖以按 URL 計費的方式執行相同的稽核。

AI

讓你的網站為下一代搜尋做好準備。

開始免費試用 →查看價格
無需信用卡7 天完整權限