如何針對某個網址和特定爬蟲測試 robots.txt 規則?
要針對某個爬蟲測試網址,先找出指名該爬蟲標記的群組(如果沒有,就用 User-agent: *),收集群組中所有與網址路徑相符的 Allow 與 Disallow 規則,然後套用最長的那一條;長度相同時,Allow 勝出。你可以手動判斷、使用 Google 的開源剖析器,或使用能逐一顯示每個爬蟲判定結果的檢查工具。Search Console 中舊的 robots.txt 測試工具已經停用,取而代之的 robots.txt 報表顯示的是 Google 擷取到的內容,而不是某個網址的判定結果。
robots.txt 檔案看起來很簡單,直到你需要一個明確的答案:GPTBot 可以擷取這個頁面嗎?OAI-SearchBot 呢?答案取決於爬蟲選用哪個群組,以及群組中哪條規則勝出,而這兩個步驟都很容易弄錯。以下說明 RFC 9309 下的比對方式、四個實際範例,以及三種自行測試檔案的方法。
本頁內容
Google Search Console 的 robots.txt 測試工具怎麼了?
2023 年 11 月,Google 在 Search Console 中新增了 robots.txt 報表,並宣布將停用 robots.txt 測試工具。這份報表位於「設定」底下,只涵蓋 Google 的爬蟲。它會顯示:
- Google 為你的資源中前 20 個主機找到的 robots.txt 檔案。
- 每個檔案的擷取狀態(
Fetched、Not Fetched - Not found (404)或Not Fetched - Any other reason)、Google 最後一次檢查的時間,以及檔案大小(位元組)。 - 檔案中的問題。Google 表示,錯誤會讓規則無法使用,警告則不會。
- Google 在過去 30 天內擷取的各個版本,以及在修正檔案後要求重新檢索的按鈕。
這份報表不能輸入網址並傳回允許或封鎖。要檢查單一網址對 Googlebot 的結果,Google 建議使用網址審查工具;要在本機測試,則建議使用它的開源 robots.txt 程式庫。這兩者都無法告訴你 GPTBot 或 ClaudeBot 等 AI 爬蟲的情況。
爬蟲如何判斷某個網址是否允許擷取?
比對方式由 RFC 9309(Robots Exclusion Protocol)定義。Google 也為自己的爬蟲記載了相同的行為。
- 選出群組。User-agent 比對不分大小寫。如果有一個或多個群組指名了爬蟲的標記,這些群組的規則會合併,而
User-agent: *群組會被完全忽略。只有沒有專屬群組的爬蟲才會遵循*。 - 選出規則。在路徑與網址相符的
Allow與Disallow規則中,字元數最多的那一條勝出。如果Allow與Disallow一樣長,應以Allow為準。 - 解讀模式。
*可比對任意長度的字元序列,$表示網址結尾。路徑區分大小寫,所以/Admin/不會比對到/admin/。 - 沒有相符的規則就代表允許。
/robots.txt本身永遠允許擷取。
robots.txt 的回應狀態碼和規則一樣重要。4xx 回應表示爬蟲可以擷取所有內容;除了 429 以外,Google 會把所有 4xx 都視為檔案不存在。5xx 回應表示爬蟲必須假設整個網站都被禁止。Google 會在最初 12 小時內停止檢索,之後最多 30 天使用最後一份正常的副本。RFC 9309 要求爬蟲至少剖析 500 KiB,Google 會忽略超過 500 KiB 之後的內容。
可以用一個 robots.txt 測試範例說明嗎?
以下是一個小型 robots.txt,包含一個預設群組和兩個指名的 AI 爬蟲:
Googlebot與/search/help/billing:允許。沒有 Googlebot 群組,所以套用*群組。Disallow: /search和Allow: /search/help都相符,而Allow規則比較長。GPTBot與/blog/post:封鎖。GPTBot 有自己的群組,而Disallow: /會比對到所有路徑。OAI-SearchBot與/admin/settings:允許。OAI-SearchBot 有自己的群組,所以*群組中的Disallow: /admin/不適用於它。這是最常見的意外;請在每個指名群組中重複共用的規則。OAI-SearchBot與/files/report.pdf:封鎖。Allow: /以一個字元相符,Disallow: /*.pdf$以七個字元相符,較長的規則勝出。
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ 長度相同的情況比較少見,但遵循同樣的邏輯。Google 的文件舉了 allow: /folder 與 disallow: /folder 對網址 /folder/page 的例子:兩者長度相同,所以這個網址是允許的。
如何執行 Google 的開源 robots.txt 剖析器?
Google 公開了它在正式環境中用來比對 robots.txt 規則的 C++ 程式庫,並附有一個小型命令列程式,可以用本機檔案測試一個網址和一個 user agent。安裝 Bazel 後:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed 這個存放區也說明了 CMake 建置方式,會產生一個名為 robots、參數相同的執行檔。這個工具只負責剖析與比對,不會下載 robots.txt,所以請先把線上檔案存下來。它的 README 也註明,剖析與比對以外的爬蟲專屬行為不在程式庫的範圍內。
可以用 Python 的 urllib.robotparser 測試 robots.txt 嗎?
Python 標準程式庫內建一個剖析器,可以針對某個 user agent 和網址回答允許或封鎖。以下指令碼測試上面的範例:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") 在相信輸出結果之前,先確認你的 Python 版本。CPython 在 2026 年才加入對 RFC 9309 比對方式的支援,最早隨 Python 3.13.14 與 3.14.5 發布。較舊的版本(包括所有 3.12 及更早版本)會套用檔案中第一條相符的規則,而不是最長的那條,也不認得路徑中的 * 或 $。在這些版本上,這個指令碼會把第一和第四項測試的結果弄反:Googlebot 被封鎖於 /search/help/billing 之外,而 OAI-SearchBot 卻被允許擷取 PDF。
另外有兩項差異適用於所有版本。RobotFileParser.read() 會把 robots.txt 的 401 或 403 回應視為全部禁止,但 RFC 9309 規定 4xx 代表所有內容都可以擷取。此外,read() 下載檔案時使用 Python 的預設 user agent,有些防火牆會封鎖它,因此測試可能因為與你的規則無關的原因而回報封鎖。像上面那樣自己擷取檔案再傳給 parse(),就能避開這兩個問題。
為什麼 robots.txt 測試通過了,爬蟲卻仍然被封鎖?
測試工具只回答一個問題:規則是否允許這個網址?有幾件事不在這個答案的範圍內:
- 線上的檔案和你測試的不同,或者爬蟲仍在使用快取的副本。RFC 9309 規定爬蟲使用快取副本不應超過 24 小時,而 Google 一般最多快取 24 小時。
- robots.txt 網址傳回的是 HTML 頁面或錯誤。狀態碼 200 的 HTML 頁面不含任何有效規則,而 5xx 回應會封鎖整個網站。
- robots.txt 是一種請求,不是存取控制。防火牆、CDN 或機器人防護仍可能以 403 或驗證挑戰頁回應爬蟲。
如何一次檢查所有 AI 爬蟲的 robots.txt?
免費的 AISeeWhy robots.txt 檢查器可輸入頁面網址或貼上 robots.txt,並針對每個 AI 與搜尋爬蟲顯示該頁面是否可以擷取。免費的 robots.txt 產生器會根據你的選擇產生檔案,而免費檢查會以 16 個爬蟲的身分擷取頁面,顯示防火牆是否封鎖了 robots.txt 所允許的內容。
此問題的修正方法
下一步
本文提到的爬蟲
常見問題
Google Search Console 還有 robots.txt 測試工具嗎?
沒有了。Google 在 2023 年 11 月以 robots.txt 報表取代它,報表會顯示 Google 擷取到的檔案、狀態與任何錯誤。要檢查 Googlebot 能否檢索某個特定網址,請使用網址審查工具。
robots.txt 中的 Allow 會覆寫 Disallow 嗎?
只有在 Allow 規則比較長或一樣長時才會。不論是哪一種規則,相符路徑最長的那條勝出,長度相同時 Allow 勝出。
robots.txt 區分大小寫嗎?
部分區分。User-agent 的值比對時不分大小寫,所以 gptbot 和 GPTBot 指的是同一個群組。路徑則區分大小寫,所以 Disallow: /Private/ 不會封鎖 /private/。
robots.txt 驗證工具會檢查什麼?
驗證工具會檢查檔案是否可存取、是否以文字格式提供,以及語法是否正確。測試工具則更進一步,針對特定網址與爬蟲給出判定結果。通常兩者都需要,因為語法正確的檔案仍可能封鎖你原本想允許的頁面。
如果爬蟲有自己的群組,還會遵循 User-agent: * 嗎?
不會。對該爬蟲而言,指名群組會完全取代 * 群組。任何想套用到所有爬蟲的規則,都必須在每個指名群組中重複寫一次。
資料來源
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python 文件:urllib.robotparser
- CPython 原始碼:Lib/urllib/robotparser.py