遷移到 Cloudflare 了?檢查 AI 爬蟲是否還進得來
在許多 Cloudflare 設定中,機器人防護、「Block AI bots」和 WAF 規則預設就是開啟的。它們可能把 AI 搜尋爬蟲擋在門外,而你這邊看不到任何錯誤。
免費 · 免註冊 · 30 秒出結果
是什麼在阻擋它們
Bot Fight Mode、AI 機器人封鎖、受管理的驗證挑戰,以及符合爬蟲 user agent 或其網路的自訂 WAF 規則。
我們檢查什麼
分別以 16 個 AI 和搜尋爬蟲的身分擷取你的頁面,並與一般瀏覽器對照,附上狀態碼和顯示封鎖的 Cloudflare 標頭。
持續掌握狀況
規則會變。監控會重新檢查你的重要頁面,一旦有爬蟲再次被擋在外面,就寄電子郵件通知你。