robots.txtのルールを、URLと特定のクローラーについてテストするには?
あるURLを1つのクローラーについてテストするには、そのクローラーのトークンを指定したグループ(なければUser-agent: *)を見つけ、その中でURLのパスに一致するAllowとDisallowのルールをすべて集め、最も長いものを適用します。同じ長さならAllowが優先されます。これは手作業でも、Googleのオープンソースのパーサーでも、クローラーごとに判定を表示するチェッカーでも行えます。Search Consoleの旧robots.txtテスターはすでになく、その代わりのrobots.txtレポートは、Googleが何を取得したかを示すもので、URLごとの判定は出しません。
robots.txtは、はっきりした答えが必要になるまでは単純に見えます。GPTBotはこのページを取得してよいのか、OAI-SearchBotはどうか。答えは、クローラーがどのグループを選び、そのグループ内でどのルールが優先されるかで決まり、どちらの段階も間違えやすいものです。ここでは、RFC 9309での照合の仕組み、4つの具体例、ファイルを自分でテストする3つの方法を紹介します。
このページの内容
Google Search Consoleのrobots.txtテスターはどうなった?
2023年11月、GoogleはSearch Consoleにrobots.txtレポートを追加し、robots.txtテスターを廃止すると発表しました。このレポートは「設定」の中にあり、対象はGoogleのクローラーだけです。表示される内容は次のとおりです。
- プロパティの上位20ホストについて、Googleが見つけたrobots.txtファイル。
- 各ファイルの取得ステータス(
Fetched、Not Fetched - Not found (404)、Not Fetched - Any other reason)、Googleが最後に確認した日時、バイト単位のサイズ。 - ファイル内の問題。Googleによると、エラーがあるルールは使われませんが、警告ではそうなりません。
- 過去30日間にGoogleが取得したバージョンと、ファイルを修正したあとに再クロールをリクエストするボタン。
このレポートは、URLを入力して許可かブロックかを返すものではありません。Googlebotについて1つのURLを確認するには、GoogleはURL検査ツールを、ローカルでのテストにはオープンソースのrobots.txtライブラリを案内しています。どちらも、GPTBotやClaudeBotなどのAIクローラーについては何も教えてくれません。
クローラーは、URLが許可されているかどうかをどう判断する?
照合の方法は、Robots Exclusion ProtocolであるRFC 9309が定めています。Googleも、自社のクローラーについて同じ動作を説明しています。
- グループを選ぶ。User-agentの照合では大文字と小文字を区別しません。クローラーのトークンを指定したグループが1つ以上あれば、それらのルールが結合され、
User-agent: *のグループは完全に無視されます。*に従うのは、名前を指定したグループがないクローラーだけです。 - ルールを選ぶ。パスがURLに一致する
AllowとDisallowのルールのうち、文字数が最も多いものが優先されます。AllowとDisallowが同じ長さなら、Allowを優先するべきとされています。 - パターンを読む。
*は任意の文字列に一致し、$はURLの末尾を表します。パスは大文字と小文字を区別するため、/Admin/は/admin/に一致しません。 - 一致するルールがなければ許可。
/robots.txt自体は常に許可されます。
robots.txtのレスポンスコードは、ルールと同じくらい重要です。4xxのレスポンスは、クローラーがすべてを取得してよいことを意味します。Googleは429以外のすべての4xxを、ファイルが存在しない場合と同じように扱います。5xxのレスポンスは、クローラーがサイト全体を禁止されているとみなさなければならないことを意味します。Googleは最初の12時間はクロールを停止し、その後は最大30日間、最後に正常に取得したコピーを使います。RFC 9309はクローラーに少なくとも500 KiBを解析するよう求めており、Googleは500 KiBを超える部分を無視します。
robots.txtのテストを具体例で説明してもらえる?
既定のグループと、名前を指定した2つのAIクローラーを含む、小さなrobots.txtの例です。
Googlebotと/search/help/billing:許可。Googlebotのグループがないため、*のグループが適用されます。Disallow: /searchとAllow: /search/helpの両方が一致し、Allowのルールのほうが長いからです。GPTBotと/blog/post:ブロック。GPTBotには専用のグループがあり、Disallow: /はすべてのパスに一致します。OAI-SearchBotと/admin/settings:許可。OAI-SearchBotには専用のグループがあるため、*のグループのDisallow: /admin/は適用されません。これがいちばんよくある思い違いです。共通のルールは、名前を指定した各グループで繰り返してください。OAI-SearchBotと/files/report.pdf:ブロック。Allow: /は1文字で一致し、Disallow: /*.pdf$は7文字で一致するため、長いほうのルールが優先されます。
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ 同じ長さになるケースはまれですが、同じ考え方に従います。Googleのドキュメントでは、URLの/folder/pageに対してallow: /folderとdisallow: /folderがある例を挙げています。どちらも同じ長さなので、このURLは許可されます。
Googleのオープンソースのrobots.txtパーサーはどう実行する?
Googleは、本番環境でrobots.txtのルールの照合に使っているC++ライブラリを公開しており、ローカルのファイルに対して1つのURLと1つのユーザーエージェントをテストするための小さなコマンドラインプログラムも付いています。Bazelがインストールされていれば、次のように実行します。
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed リポジトリにはCMakeでのビルド方法も記載されており、同じ引数を取るrobotsという名前のバイナリが作られます。このツールは解析と照合を行うだけで、robots.txtをダウンロードはしないため、先に公開中のファイルを保存しておきます。READMEには、解析と照合以外のクローラー固有の動作はライブラリに含まれないことも書かれています。
Pythonのurllib.robotparserでrobots.txtをテストできる?
Pythonの標準ライブラリには、ユーザーエージェントとURLについて許可かブロックかを答えるパーサーが含まれています。次のスクリプトは、上の例をテストします。
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") 出力を信用する前に、Pythonのバージョンを確認してください。RFC 9309に沿った照合のサポートは2026年にCPythonに追加され、Python 3.13.14と3.14.5で初めてリリースされました。それより古いリリース(3.12以前はすべて含む)は、最も長いルールではなく、ファイルの中で最初に一致したルールを適用し、パスの中の*や$も理解しません。そうしたバージョンでは、このスクリプトは1つ目と4つ目のテストを逆に報告します。Googlebotは/search/help/billingからブロックされ、OAI-SearchBotはPDFの取得を許可されると表示されます。
どのバージョンにも当てはまる違いがさらに2つあります。RobotFileParser.read()は、robots.txtへの401や403のレスポンスをすべて禁止として扱いますが、RFC 9309では4xxはすべて取得してよいという意味です。また、read()はPythonの既定のユーザーエージェントでファイルをダウンロードするため、ファイアウォールによってはブロックされ、ルールとは関係のない理由でブロックと報告されることがあります。上の例のように自分でファイルを取得してparse()に渡せば、どちらも避けられます。
robots.txtのテストに合格しても、クローラーがブロックされたままなのはなぜ?
テスターが答えるのは、ルールがこのURLを許可しているかという1つの問いだけです。その答えの外側にあることがいくつかあります。
- 公開中のファイルがテストしたファイルと違う、あるいはクローラーがまだキャッシュしたコピーを使っている。RFC 9309は、キャッシュしたコピーを24時間を超えて使うべきではないとしており、Googleも一般に最大24時間キャッシュします。
- robots.txtのURLがHTMLページやエラーを返している。ステータス200のHTMLページには有効なルールが含まれず、5xxのレスポンスはサイト全体をブロックします。
- robots.txtはお願いであって、アクセス制御ではない。ファイアウォール、CDN、ボット対策が、クローラーに403やチャレンジページを返すことは依然としてあります。
すべてのAIクローラーについてrobots.txtを一度に確認するには?
無料のAISeeWhy robots.txtチェッカーは、ページのアドレスか貼り付けたrobots.txtを受け取り、AIクローラーと検索クローラーごとに、そのページを取得してよいかを表示します。無料のrobots.txtジェネレーターは選んだ内容からファイルを作成し、無料チェックは16種類のクローラーとしてページを取得して、robots.txtで許可しているものをファイアウォールがブロックしていないかを示します。
この問題の修正方法
- robots.txt は GPTBot を許可していますが、サーバーがブロックしています
- robots.txt が OAI-SearchBot を禁止しています
- robots.txt が HTML ページになっています
- robots.txt を取得できません
次のステップ
この記事に登場するクローラー
よくある質問
Google Search Consoleにrobots.txtテスターはまだある?
ありません。Googleは2023年11月にrobots.txtレポートに置き換えました。このレポートには、Googleが取得したファイル、そのステータス、エラーが表示されます。Googlebotが特定のURLをクロールできるかどうかを確認するには、URL検査ツールを使います。
robots.txtでは、AllowはDisallowより優先される?
Allowのルールのほうが長いか、まったく同じ長さの場合だけです。種類に関係なく、一致したパスが最も長いルールが優先され、同じ長さならAllowが優先されます。
robots.txtは大文字と小文字を区別する?
一部だけです。User-agentの値は大文字と小文字を区別せずに照合されるため、gptbotとGPTBotは同じグループを指します。パスは区別されるため、Disallow: /Private/は/private/をブロックしません。
robots.txtバリデーターは何をチェックする?
バリデーターは、ファイルにアクセスでき、テキストとして配信され、正しい構文で書かれているかを確認します。テスターはさらに踏み込んで、特定のURLとクローラーについての判定を出します。正しい形式のファイルでも、許可したつもりのページをブロックしていることがあるため、通常は両方が必要です。
クローラーに専用のグループがある場合も、User-agent: *に従う?
従いません。そのクローラーにとって、名前を指定したグループが*のグループを完全に置き換えます。全員に適用したいルールは、名前を指定した各グループで繰り返す必要があります。
参考資料
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPythonのソースコード:Lib/urllib/robotparser.py