如何在不封鎖的情況下降低 AI 爬蟲的檢索速度
用限速取代封鎖。對爬蟲的超額請求回傳 429 或 503 並附上 Retry-After 標頭,為每個爬蟲設定各自的額度,讓 /robots.txt 不受任何限速影響,並用快取提供頁面給爬蟲。robots.txt 中的 Crawl-delay 只有在營運方文件聲明支援時才有效:Anthropic 與 Bing 支援,Google 表示不支援,OpenAI 與 Perplexity 則沒有提及。請繼續允許 AI 搜尋爬蟲,否則你也會從它們提供內容的答案中消失。
當一個爬蟲每小時送出數千個請求時,最快的做法是寫上 Disallow: / 或在防火牆封鎖。對訓練爬蟲而言,這可能是合理的選擇。但對 OAI-SearchBot、Claude-SearchBot 或 PerplexityBot 來說,這會讓你的頁面從你想出現的 AI 答案中消失。多數時候,不必放棄這一點也能降低負載,只要使用爬蟲本來就看得懂的信號:狀態碼、快取,以及對部分營運方有效的 Crawl-delay。
本頁內容
到底是哪個爬蟲造成負載?
在做任何變更之前先看清楚。在存取日誌中依 user agent 與小時計算請求數,並將來源 IP 與各廠商公布的範圍比對;我們關於在伺服器日誌中找出 AI 爬蟲的指南提供了相關指令。經常會發現兩種情況:
- 大量流量只是自稱 AI 爬蟲。如果這些 IP 不在廠商的清單中,針對真正爬蟲的規則就幫不上忙。請改依來源限制或封鎖這些流量。
- 真正的爬蟲陷入了檢索陷阱,例如無止盡的行事曆頁面、篩選條件組合,或網址中的工作階段 ID。用
Disallow規則封住這些路徑上的陷阱,比任何限速都更省資源。
也要依用途區分爬蟲。GPTBot 與 ClaudeBot 等訓練爬蟲,並不是讓你在 AI 搜尋中被引用的爬蟲,所以如果問題出在其中之一,禁止它是合理的選擇。本指南其餘部分談的是你想保留的爬蟲。
Crawl-delay 對 AI 爬蟲有效嗎?
Crawl-delay 不屬於 RFC 9309,所以由各營運方自行決定是否讀取。截至 2026 年 11 月,文件是這麼說的:
- Anthropic:支援。其說明頁面表示支援非標準的
Crawl-delay擴充功能來限制檢索活動,範例是在ClaudeBot群組中寫Crawl-delay: 1。 - Microsoft Bing:支援。Bing 網站管理員部落格將這個值描述為 1 到 30 秒的時間區間,
bingbot在其中最多檢索一個頁面,並表示 robots.txt 中的檢索延遲會優先於 Bing Webmaster Tools 中的檢索設定。 - Google:不支援。Google 的 robots.txt 文件將
crawl-delay列為不支援的欄位。 - OpenAI 與 Perplexity:它們的爬蟲頁面沒有提到它,因此它對
GPTBot、OAI-SearchBot或PerplexityBot的效果沒有文件說明。
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ 注意群組的邏輯。找到以自己名稱命名之群組的爬蟲,會完全忽略 User-agent: * 群組,所以只有 Crawl-delay 的 ClaudeBot 群組,會讓你為其他所有爬蟲設定的每一條 Disallow 都失效。請像上面那樣重複寫上它們。Bing 把 Crawl-delay 描述為例外,會從任一群組讀取,但不應假設其他爬蟲也是如此。
429 與 503 回應如何讓爬蟲放慢速度?
面對負載高峰,狀態碼是爬蟲生來就會遵守的信號。RFC 6585 定義的 429 Too Many Requests 代表用戶端在一段時間內送出太多請求,並可附上 Retry-After 標頭說明需要等待多久。503 Service Unavailable 則表示伺服器目前無法處理。
Google 的文件把這作為快速降低 Googlebot 檢索頻率的方法:對部分檢索請求回傳 500、503 或 429,而不是 200。Google 表示這會降低整個主機名稱的檢索頻率,而 Retry-After 可以填入秒數或日期。
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. 時間要短。Google 建議不要持續超過一兩天,因為連續幾天回傳這些狀態碼的網址可能會從索引中移除。若需長期降低,Google 提供透過 Search Console 送出的特別要求。
OpenAI、Anthropic 與 Perplexity 沒有在文件中說明它們的爬蟲如何回應 429、503 或 Retry-After。這些狀態碼是要求減少請求的標準方式,但每個 AI 爬蟲退讓得多快,是查不到的。
如何為 AI 爬蟲設定速率限制?
為每個爬蟲設定各自的額度,而不是對所有流量套用同一個限制,並以 429 回應超出的請求。在 nginx 中,limit_req 模組可以做到這一點。鍵為空的請求不會被計算,所以只為爬蟲 user agent 傳回鍵的 map,不會影響真人訪客。以下設定讓每個爬蟲每分鐘 60 個請求,突發上限為 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} 這裡的鍵是 user agent,所以任何冒用某個爬蟲名稱的人,都會與該爬蟲共用額度。對速率限制來說,這可以接受。若是放行規則,還要同時比對廠商公布的 IP 範圍。
在 Cloudflare 上,速率限制規則會在邊緣完成同樣的工作。Free 方案提供一條規則,以 IP 在 10 秒內計數,規則運算式可以使用路徑與 Verified Bot 欄位。對於把請求分散到許多位址的爬蟲,以 IP 計數比較粗略,較高階的方案提供更多計數選項。預設回應是 429,你也可以設定其他 4xx 狀態碼與自訂回應內容。AI Crawl Control 為每個爬蟲提供 Allow、Block,以及私人測試版中的 Charge,但沒有速率設定。
無論使用哪種方式,都要讓 /robots.txt 不受限速影響。RFC 9309 規定,robots.txt 回傳伺服器錯誤代表爬蟲必須假設整個網站都被禁止,而 Google 也把 429 排除在它視為檔案不存在的 4xx 狀態碼之外。
快取能減輕爬蟲負載嗎?
往往比速率限制更有效。爬蟲請求的大多是對每位訪客都相同的公開頁面,所以從 CDN 或頁面快取提供這些頁面,可以把昂貴的渲染變成低成本的快取命中。請確認你的快取沒有為爬蟲 user agent 另外保留一個不快取的版本。
條件式請求也有幫助。Google 表示其爬蟲支援搭配 ETag 與 If-None-Match,以及 Last-Modified 與 If-Modified-Since 的 HTTP 快取,兩者都有時會使用 ETag。OpenAI、Anthropic 與 Perplexity 的爬蟲頁面沒有說明它們的爬蟲是否會送出條件式請求,所以只有 Google 能指望這項節省。
降低爬蟲速度時應避免什麼?
- 在防火牆封鎖某家廠商的 IP 範圍。Anthropic 警告,這樣做可能無法正常運作,也可能無法維持退出設定,因為這會讓它的機器人讀不到你的 robots.txt。
- 連續幾天回傳
5xx或429。Google 表示,持續回傳這些狀態碼的網址可能會從索引中移除。 - 把機器人防護當成限流工具。Cloudflare 的 Bot Fight Mode 會對機器人發出運算量很大的驗證挑戰,而且無法用 WAF 自訂規則略過,所以你無法為想保留的爬蟲設定例外。
- 為了節省頻寬而禁止搜尋爬蟲。針對
OAI-SearchBot、Claude-SearchBot或PerplexityBot的Disallow,會讓你從這些爬蟲提供內容的答案中消失。
如何確認爬蟲仍然能夠通過?
速率限制很容易設得太緊。AISeeWhy 免費檢查會以 16 個 AI 與搜尋爬蟲的身分擷取頁面,並與真實瀏覽器對照,依爬蟲套用你的 robots.txt,並辨識防火牆的驗證挑戰頁,所以對爬蟲與瀏覽器有差別待遇的規則會現形。每個爬蟲只送一個請求,不會觸發合理的限速,這正是重點:變更規則後執行一次,確認正常請求仍能通過。免費的 AI 爬蟲 IP 檢查會告訴你日誌中的某個 IP 是否真的屬於 GPTBot 或其他爬蟲。
下一步
本文提到的爬蟲
常見問題
Google 支援 Crawl-delay 嗎?
不支援。Google 的 robots.txt 文件把 crawl-delay 列為不支援的欄位。若要短時間讓 Googlebot 放慢,請對部分請求回傳 503、500 或 429;若需較長期的降低,Google 提供透過 Search Console 送出的特別要求。
ClaudeBot 會遵守 Crawl-delay 嗎?
Anthropic 表示支援非標準的 Crawl-delay 擴充功能。請把它放在 ClaudeBot 群組中,並在那裡重複 User-agent: * 群組中的所有 Disallow 規則。
GPTBot 和 PerplexityBot 支援 Crawl-delay 嗎?
OpenAI 與 Perplexity 的爬蟲頁面都沒有提到 Crawl-delay,所以它的效果沒有文件說明。請使用伺服器端的限制,以 429 回應超額請求。
回傳 429 會影響我的排名嗎?
短時間內不會。Google 在文件中把 429 與 503 列為暫時減少檢索的方法,但警告連續幾天回傳它們的網址可能會從索引中移除。
我應該封鎖 GPTBot 來減輕負載嗎?
可以。OpenAI 表示 GPTBot 檢索的內容可能用於訓練,而且每項 robots.txt 設定都是獨立的,所以禁止它不會讓你從使用 OAI-SearchBot 的 ChatGPT 搜尋中消失。請先檢查日誌,確認負載確實來自 OpenAI 的位址。
資料來源
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers(HTTP 快取)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers