AI 爬蟲監控

一條防火牆規則、一項 CDN 設定或一份新的 robots.txt,可能在一夜之間把 AI 爬蟲擋在門外,而在一般人看來網站一切正常。監控會重新檢查你的重要頁面,並在出現新的封鎖時寄信通知你。

免費 · 免註冊 · 30 秒出結果

方案與價格 → 查看完整報告範例 →

本文由機器從英文翻譯而來。

監控檢查什麼

每次執行的檢查都與我們首頁上的免費檢查相同。你的頁面會以 16 種 AI 與搜尋爬蟲、curl 以及桌面瀏覽器的身分被擷取,各自使用公布的 user agent。系統會針對每個爬蟲識別名稱評估 robots.txt,並檢查頁面的結構化資料、內容、日期、sitemap、hreflang 與 llms.txt。結果是 0 到 100 的分數,以及依 P1 到 P3 排定優先順序的發現清單。

什麼時候會收到電子郵件

受監控的頁面會依你的選擇每天或每週重新檢查。當出現新的封鎖問題時,例如某個爬蟲現在收到 403 或驗證頁面,或分數下降 10 分以上,你會收到電子郵件。郵件會說明有什麼變化,並附上包含修正方式的報告連結。

它看不到什麼

請求來自我們的伺服器,使用每種爬蟲的 user agent,而不是來自爬蟲營運者自己的 IP 位址。依 IP 信任真實爬蟲的防火牆,可能會以不同方式對待它們與我們,每項封鎖發現都會註明這一點。若要查看真實爬蟲得到的回應,付費方案的伺服器記錄檢查會讀取你的存取記錄,統計每種 AI 爬蟲的造訪次數與狀態碼。

包含監控的方案

免費方案不含監控:每天可檢查一次,顯示分數與第一項發現。方案按月計費,可隨時取消,每筆付款都能在 14 天內全額退款。

如何開始

  1. 對你最重要的頁面執行免費檢查,看看第一項發現。
  2. 在價格頁面選擇方案,並以你的電子郵件登入。
  3. 在帳號的「監控」中加入要關注的頁面:首頁、價格頁、主要產品或服務頁,以及重要文章。
  4. 選擇每天或每週。修正之後,重新檢查頁面,查看修正前後的分數。

常見問題

哪些變化會觸發通知?

受監控頁面上出現新的封鎖問題,例如某個爬蟲現在遭到拒絕,或分數比上次檢查下降 10 分以上。

監控使用的是真正的 GPTBot 或 ClaudeBot 嗎?

不是。它從我們的伺服器送出這些爬蟲公布的 user agent。這能顯示你的防火牆與伺服器如何對待這些 user agent;伺服器記錄檢查則會顯示真實的造訪。

可以監控客戶的網站嗎?

可以,Business、Agency 與 Enterprise 方案皆可。Pro 僅限個人非商業用途。

付費前可以試用嗎?

免費檢查會顯示一次執行能在任何頁面上發現什麼。監控本身需要付費方案,你可以隨時取消,並在 14 天內獲得退款。

相關工具與指南