如何針對某個網址和特定爬蟲測試 robots.txt 規則?

發布於

簡短回答

要針對某個爬蟲測試網址,先找出指名該爬蟲標記的群組(如果沒有,就用 User-agent: *),收集群組中所有與網址路徑相符的 Allow 與 Disallow 規則,然後套用最長的那一條;長度相同時,Allow 勝出。你可以手動判斷、使用 Google 的開源剖析器,或使用能逐一顯示每個爬蟲判定結果的檢查工具。Search Console 中舊的 robots.txt 測試工具已經停用,取而代之的 robots.txt 報表顯示的是 Google 擷取到的內容,而不是某個網址的判定結果。

robots.txt 檔案看起來很簡單,直到你需要一個明確的答案:GPTBot 可以擷取這個頁面嗎?OAI-SearchBot 呢?答案取決於爬蟲選用哪個群組,以及群組中哪條規則勝出,而這兩個步驟都很容易弄錯。以下說明 RFC 9309 下的比對方式、四個實際範例,以及三種自行測試檔案的方法。

本頁內容
  1. Google Search Console 的 robots.txt 測試工具怎麼了?
  2. 爬蟲如何判斷某個網址是否允許擷取?
  3. 可以用一個 robots.txt 測試範例說明嗎?
  4. 如何執行 Google 的開源 robots.txt 剖析器?
  5. 可以用 Python 的 urllib.robotparser 測試 robots.txt 嗎?
  6. 為什麼 robots.txt 測試通過了,爬蟲卻仍然被封鎖?
  7. 如何一次檢查所有 AI 爬蟲的 robots.txt?

Google Search Console 的 robots.txt 測試工具怎麼了?

2023 年 11 月,Google 在 Search Console 中新增了 robots.txt 報表,並宣布將停用 robots.txt 測試工具。這份報表位於「設定」底下,只涵蓋 Google 的爬蟲。它會顯示:

這份報表不能輸入網址並傳回允許或封鎖。要檢查單一網址對 Googlebot 的結果,Google 建議使用網址審查工具;要在本機測試,則建議使用它的開源 robots.txt 程式庫。這兩者都無法告訴你 GPTBot 或 ClaudeBot 等 AI 爬蟲的情況。

爬蟲如何判斷某個網址是否允許擷取?

比對方式由 RFC 9309(Robots Exclusion Protocol)定義。Google 也為自己的爬蟲記載了相同的行為。

robots.txt 的回應狀態碼和規則一樣重要。4xx 回應表示爬蟲可以擷取所有內容;除了 429 以外,Google 會把所有 4xx 都視為檔案不存在。5xx 回應表示爬蟲必須假設整個網站都被禁止。Google 會在最初 12 小時內停止檢索,之後最多 30 天使用最後一份正常的副本。RFC 9309 要求爬蟲至少剖析 500 KiB,Google 會忽略超過 500 KiB 之後的內容。

可以用一個 robots.txt 測試範例說明嗎?

以下是一個小型 robots.txt,包含一個預設群組和兩個指名的 AI 爬蟲:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

長度相同的情況比較少見,但遵循同樣的邏輯。Google 的文件舉了 allow: /folder 與 disallow: /folder 對網址 /folder/page 的例子:兩者長度相同,所以這個網址是允許的。

如何執行 Google 的開源 robots.txt 剖析器?

Google 公開了它在正式環境中用來比對 robots.txt 規則的 C++ 程式庫,並附有一個小型命令列程式,可以用本機檔案測試一個網址和一個 user agent。安裝 Bazel 後:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

這個存放區也說明了 CMake 建置方式,會產生一個名為 robots、參數相同的執行檔。這個工具只負責剖析與比對,不會下載 robots.txt,所以請先把線上檔案存下來。它的 README 也註明,剖析與比對以外的爬蟲專屬行為不在程式庫的範圍內。

可以用 Python 的 urllib.robotparser 測試 robots.txt 嗎?

Python 標準程式庫內建一個剖析器,可以針對某個 user agent 和網址回答允許或封鎖。以下指令碼測試上面的範例:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

在相信輸出結果之前,先確認你的 Python 版本。CPython 在 2026 年才加入對 RFC 9309 比對方式的支援,最早隨 Python 3.13.14 與 3.14.5 發布。較舊的版本(包括所有 3.12 及更早版本)會套用檔案中第一條相符的規則,而不是最長的那條,也不認得路徑中的 * 或 $。在這些版本上,這個指令碼會把第一和第四項測試的結果弄反:Googlebot 被封鎖於 /search/help/billing 之外,而 OAI-SearchBot 卻被允許擷取 PDF。

另外有兩項差異適用於所有版本。RobotFileParser.read() 會把 robots.txt 的 401 或 403 回應視為全部禁止,但 RFC 9309 規定 4xx 代表所有內容都可以擷取。此外,read() 下載檔案時使用 Python 的預設 user agent,有些防火牆會封鎖它,因此測試可能因為與你的規則無關的原因而回報封鎖。像上面那樣自己擷取檔案再傳給 parse(),就能避開這兩個問題。

為什麼 robots.txt 測試通過了,爬蟲卻仍然被封鎖?

測試工具只回答一個問題:規則是否允許這個網址?有幾件事不在這個答案的範圍內:

如何一次檢查所有 AI 爬蟲的 robots.txt?

免費的 AISeeWhy robots.txt 檢查器可輸入頁面網址或貼上 robots.txt,並針對每個 AI 與搜尋爬蟲顯示該頁面是否可以擷取。免費的 robots.txt 產生器會根據你的選擇產生檔案,而免費檢查會以 16 個爬蟲的身分擷取頁面,顯示防火牆是否封鎖了 robots.txt 所允許的內容。

此問題的修正方法

免費工具

下一步

本文提到的爬蟲

常見問題

Google Search Console 還有 robots.txt 測試工具嗎?

沒有了。Google 在 2023 年 11 月以 robots.txt 報表取代它,報表會顯示 Google 擷取到的檔案、狀態與任何錯誤。要檢查 Googlebot 能否檢索某個特定網址,請使用網址審查工具。

robots.txt 中的 Allow 會覆寫 Disallow 嗎?

只有在 Allow 規則比較長或一樣長時才會。不論是哪一種規則,相符路徑最長的那條勝出,長度相同時 Allow 勝出。

robots.txt 區分大小寫嗎?

部分區分。User-agent 的值比對時不分大小寫,所以 gptbot 和 GPTBot 指的是同一個群組。路徑則區分大小寫,所以 Disallow: /Private/ 不會封鎖 /private/。

robots.txt 驗證工具會檢查什麼?

驗證工具會檢查檔案是否可存取、是否以文字格式提供,以及語法是否正確。測試工具則更進一步,針對特定網址與爬蟲給出判定結果。通常兩者都需要,因為語法正確的檔案仍可能封鎖你原本想允許的頁面。

如果爬蟲有自己的群組,還會遵循 User-agent: * 嗎?

不會。對該爬蟲而言,指名群組會完全取代 * 群組。任何想套用到所有爬蟲的規則,都必須在每個指名群組中重複寫一次。

資料來源

更多文章