AIクローラーをブロックせずにクロールを遅くする方法
ブロックではなくレート制限を使います。クローラーからの過剰なリクエストにはRetry-Afterヘッダー付きで429または503を返し、クローラーごとに上限を設け、/robots.txtはどの制限からも外し、クローラーにはキャッシュから返します。robots.txtのCrawl-delayが効くのは、運営者がそれを文書化している場合だけです。AnthropicとBingは対応しており、Googleは対応していないとし、OpenAIとPerplexityは触れていません。AI検索クローラーは許可したままにしてください。そうしないと、それらが支える回答からも外れてしまいます。
クローラーが1時間に何千ものリクエストを送ってきたとき、手っ取り早い対処はDisallow: /かファイアウォールでのブロックです。学習用クローラーならそれも妥当な選択です。しかしOAI-SearchBot、Claude-SearchBot、PerplexityBotに対して行うと、表示されたいAIの回答からページが消えます。たいていは、クローラーがすでに理解しているシグナル、つまりステータスコード、キャッシュ、そして一部の運営者についてはCrawl-delayを使えば、それを犠牲にせずに負荷を減らせます。
このページの内容
実際に負荷の原因になっているのはどのクローラー?
何かを変える前に、まず確認します。アクセスログでユーザーエージェントごと、1時間ごとのリクエスト数を数え、アクセス元IPを各ベンダーが公開している範囲と照合します。コマンドは、AIクローラーのサーバーログを確認するガイドに載っています。よく見つかるのは次の2つです。
- 重いトラフィックが、AIクローラーを名乗っているだけ。IPがベンダーのリストになければ、本物のクローラー向けのルールは役に立ちません。代わりに、そのトラフィックをアクセス元で制限またはブロックします。
- 本物のクローラーがクロールトラップにはまっている。たとえば、無限に続くカレンダーのページ、フィルターの組み合わせ、URL内のセッションIDなどです。そのパスを
Disallowルールで塞げば、どんなレート制限よりも大きな効果があります。
クローラーを役割でも分けましょう。GPTBotやClaudeBotなどの学習用クローラーは、AI検索で引用されるためのものではないので、問題がそれらなら禁止するのも妥当な選択です。このガイドの残りは、残しておきたいクローラーのためのものです。
Crawl-delayはAIクローラーに効く?
Crawl-delayはRFC 9309に含まれないため、読むかどうかは運営者ごとに決まります。2026年11月時点のドキュメントの記載は次のとおりです。
- Anthropic:対応。ヘルプページでは、クロールを制限するための非標準の
Crawl-delay拡張に対応しているとし、ClaudeBotグループにCrawl-delay: 1を書く例を示しています。 - Microsoft Bing:対応。Bingのウェブマスターブログでは、値を1~30秒の時間枠と説明しており、その時間内に
bingbotがクロールするのは最大1ページです。また、robots.txtのクロール遅延はBing Webmaster Toolsのクロール設定より優先されるとしています。 - Google:非対応。Googleのrobots.txtのドキュメントでは、
crawl-delayはサポートしないフィールドとして挙げられています。 - OpenAIとPerplexity:クローラーのページで触れていないため、
GPTBot、OAI-SearchBot、PerplexityBotへの効果は文書化されていません。
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ グループの仕組みに注意してください。自分の名前のグループを見つけたクローラーはUser-agent: *のグループを完全に無視するため、Crawl-delayだけを書いたClaudeBotグループを作ると、ほかのすべてのクローラー向けに設定したDisallowがすべて適用されなくなります。上の例のように繰り返して書いてください。BingはCrawl-delayをどちらのグループからも読む例外として説明していますが、ほかのクローラーもそうだとは考えないでください。
429と503のレスポンスでクローラーが遅くなる仕組みは?
負荷のピークに対しては、ステータスコードこそ、クローラーが尊重するように作られているシグナルです。RFC 6585で定義された429 Too Many Requestsは、クライアントが一定時間内にリクエストを送りすぎたことを意味し、待つべき時間を示すRetry-Afterヘッダーを付けられます。503 Service Unavailableは、サーバーが今は処理しきれないことを示します。
Googleは、Googlebotのクロール頻度をすばやく下げる方法として、一部のクロールリクエストに200の代わりに500、503、429を返すことを挙げています。これによりホスト名全体のクロール頻度が下がり、Retry-Afterには秒数か日付を指定できるとしています。
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. 短期間にとどめてください。これらのコードを数日間返し続けるURLはインデックスから削除される可能性があるため、Googleは1~2日を超えて続けないよう勧めています。長期的に減らしたい場合、GoogleはSearch Consoleからの特別なリクエストを用意しています。
OpenAI、Anthropic、Perplexityは、自社のクローラーが429、503、Retry-Afterにどう反応するかを文書化していません。これらのコードはリクエストを減らすよう求める標準的な方法ですが、各AIクローラーがどれだけ早く頻度を落とすかは調べようがありません。
AIクローラーにレート制限を設定するには?
すべてのトラフィックに1つの上限を設けるのではなく、クローラーごとに上限を設け、超えたリクエストには429を返します。nginxではlimit_reqモジュールでこれができます。キーが空のリクエストは数えられないため、クローラーのユーザーエージェントにだけキーを返すmapを使えば、人間の訪問者には影響しません。ここでは各クローラーに1分あたり60リクエスト、バースト20を割り当てています。
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} ここではキーがユーザーエージェントなので、クローラーの名前をまねた者はそのクローラーの上限を共有します。レート制限としてはそれで構いません。許可ルールでは、ベンダーが公開しているIP範囲も照合してください。
Cloudflareでは、レート制限ルールがエッジで同じことを行います。Freeプランでは、IPごとに10秒間で数えるルールが1つ使え、ルールの式ではパスとVerified Botフィールドを使えます。多数のアドレスにリクエストを分散させるクローラーに対しては、IPごとの集計は大ざっぱで、上位のプランでは集計のオプションが増えます。デフォルトのレスポンスは429で、別の4xxコードやカスタムの本文も設定できます。AI Crawl Controlではクローラーごとに Allow、Block、そしてプライベートベータのChargeを選べますが、速度の設定はありません。
何を使う場合でも、/robots.txtは制限から外してください。RFC 9309では、robots.txtのサーバーエラーはサイト全体が禁止されているとみなす必要があることを意味し、Googleはファイルがないものとして扱う4xxコードから429を除外しています。
キャッシュでクローラーの負荷を減らせる?
レート制限より効果が大きいこともよくあります。クローラーが求めるのは主にどの訪問者にも同じ内容の公開ページなので、CDNやページキャッシュから返せば、コストの高いレンダリングが安価なキャッシュヒットに変わります。キャッシュが、クローラーのユーザーエージェント向けにキャッシュされない別のバリエーションを持っていないか確認してください。
条件付きリクエストも役立ちます。Googleによると、クローラーはETagとIf-None-Match、Last-ModifiedとIf-Modified-SinceによるHTTPキャッシュに対応しており、両方ある場合はETagを使います。OpenAI、Anthropic、Perplexityのクローラーのページは、条件付きリクエストを送るかどうかに触れていないため、この節約が見込めるのはGoogleだけと考えてください。
クローラーを遅くするときに避けるべきことは?
- ファイアウォールでベンダーのIP範囲をブロックすること。Anthropicは、ボットがrobots.txtを読めなくなるため、正しく機能しなかったり、オプトアウトが維持されなかったりする可能性があると警告しています。
5xxや429を何日も返すこと。Googleによると、それらを返し続けるURLはインデックスから削除される可能性があります。- ボット対策をスロットルとして使うこと。CloudflareのBot Fight Modeはボットに計算負荷の高いチャレンジを課し、WAFのカスタムルールでスキップできないため、残したいクローラーを除外できません。
- 帯域幅を節約するために検索クローラーを禁止すること。
OAI-SearchBot、Claude-SearchBot、PerplexityBotにDisallowを設定すると、それらのクローラーが支える回答から外れます。
クローラーが今も通れているか確認するには?
レート制限は厳しくしすぎがちです。無料のAISeeWhyチェックは、本物のブラウザと並べて16種類のAIクローラーと検索クローラーとしてページを取得し、クローラーごとにrobots.txtを適用し、ファイアウォールのチャレンジページを識別するため、ブラウザとは違う応答をクローラーに返すルールがあればわかります。クローラーごとに1リクエストなので、適切な制限に引っかかることはありません。それが狙いです。ルールを変えたあとに実行し、通常のリクエストが今も通ることを確認してください。無料のAIクローラーIPチェックでは、ログにあるIPがGPTBotなどのクローラーに本当に属するかがわかります。
次のステップ
この記事に登場するクローラー
よくある質問
GoogleはCrawl-delayに対応している?
していません。Googleのrobots.txtのドキュメントでは、crawl-delayはサポートしないフィールドに含まれています。Googlebotを一時的に遅くするには、一部のリクエストに503、500、429を返します。長期的に減らしたい場合、GoogleはSearch Consoleからの特別なリクエストを用意しています。
ClaudeBotはCrawl-delayを守る?
Anthropicは、非標準のCrawl-delay拡張に対応しているとしています。ClaudeBotグループに書き、User-agent: *グループにあるDisallowルールもそこに繰り返してください。
GPTBotやPerplexityBotはCrawl-delayに対応している?
OpenAIとPerplexityのクローラーのページはCrawl-delayに触れていないため、効果は文書化されていません。過剰なリクエストに429を返すサーバー側の制限を使ってください。
429のレスポンスで検索順位は下がる?
短期間なら下がりません。Googleは429と503をクロールを一時的に減らす方法として説明していますが、それらを数日間返すURLはインデックスから削除される可能性があると警告しています。
負荷を減らすためにGPTBotをブロックすべき?
ブロックしても構いません。OpenAIによると、GPTBotは学習に使われる可能性のあるコンテンツをクロールし、robots.txtの各設定は独立しているため、禁止してもChatGPT検索(OAI-SearchBotを使用)からは外れません。まずログで、負荷がOpenAIのアドレスから来ていることを確認してください。
参考資料
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers