AIクローラーのユーザーエージェントとIPレンジ:GPTBot、ClaudeBot、PerplexityBotなど
GPTBotはGPTBot/1.4; +https://openai.com/gptbotを含むユーザーエージェントで名乗ります。OpenAI、Anthropic、Perplexity、Google、Microsoft、Apple、Common Crawlは、それぞれクローラーが使うIPレンジのJSONリストを公開しています。リクエストが本物と言えるのは両方が一致する場合だけです。ユーザーエージェントがクローラーを名乗り、送信元IPがその会社のリストに含まれていること、またはGooglebot、bingbot、Applebot、CCBotの場合は逆引きと正引きのDNSチェックに合格することです。ユーザーエージェントは誰でも送れるため、それだけでは何の証明にもなりません。
ログにGPTBotやClaudeBotが現れたとき、あるいはAI検索クローラーを通すファイアウォールルールを作りたいとき、必要なものは2つあります。各クローラーが送る正確な文字列と、リクエストが名乗っている会社から本当に来たことを証明する方法です。以下に、各社が現在公開している文字列、それぞれの公式IPリストまたはDNSによる方法、そしてアドレスを確認するために実行できる2つのスクリプトを紹介します。
このページの内容
GPTBot、ClaudeBot、PerplexityBotなどAIクローラーのユーザーエージェント文字列は?
以下は各社のドキュメントからそのまま写したものです。OpenAIとPerplexityはバージョン番号が変わることがあると注記しており、GoogleとMicrosoftはW.X.Y.Zの部分に現在のブラウザのバージョンが入るとし、Appleはブラウザの部分をときどき更新するとしています。文字列全体ではなく、GPTBotやbingbotのようなクローラーのトークンで照合してください。
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropicのヘルプ記事はClaudeBot、Claude-SearchBot、Claude-Userの名前を挙げていますが、完全なユーザーエージェント文字列は載せていないため、これらのトークンで照合します。Metaのクローラーのページには、示したトークンで始まり、そのあとにドキュメントへのリンクが続く文字列が載っており、ログに表示される文字列は多少異なる場合があるとしています。
どのクローラーが何をする?robots.txtのトークンにすぎない名前はどれ?
GPTBotは、OpenAIの基盤モデルの学習に使われる可能性のあるコンテンツを収集します。OAI-SearchBotは、ChatGPTの検索にサイトを表示します。ChatGPT-Userはユーザーが始めた操作のためにページを取得し、OpenAIによるとrobots.txtのルールが適用されない場合があります。OAI-AdsBotは、ChatGPTの広告として提出されたページを確認します。ClaudeBotはAnthropicのモデルのためにデータを収集し、Claude-SearchBotは検索結果を改善し、Claude-Userは人がClaudeに質問したときにページを取得します。PerplexityBotは、Perplexityの検索でサイトを表示してリンクし、基盤モデルの学習には使われません。Perplexity-Userは、ユーザーが質問したときにページを取得します。meta-externalagentはAIモデルの学習やコンテンツのインデックス作成のためにクロールし、meta-webindexerはMeta AIの検索のためにコンテンツをインデックスし、meta-externalfetcherはユーザーの依頼でリンクを取得します。CCBotは、公開ウェブアーカイブであるCommon Crawlのクローラーです。
ログに決して現れない名前が2つあります。Google-Extendedはrobots.txtのトークンで、Googleがクロールしたコンテンツを、Geminiのモデルやグラウンディングに使ってよいかを制御します。Googleによると、Google検索への掲載には影響しません。Applebot-Extendedは、Appleの言葉を借りれば、ウェブページをクロールしない補助的なユーザーエージェントで、Applebotが収集したデータをAppleがどう使ってよいかを決めるだけです。どちらかを名乗るリクエストは本物ではありません。
AIクローラーの運営会社はIPレンジをどこで公開している?
多くの会社は同じ形式のJSONファイルを公開しています。ipv4Prefixまたはipv6Prefixを持つオブジェクトのprefixes配列と、どれだけ新しいかを示すcreationTimeです。
- OpenAI:
https://openai.com/gptbot.json、https://openai.com/searchbot.json、https://openai.com/chatgpt-user.json、https://openai.com/adsbot.jsonで、エージェントごとに1つずつです。 - Anthropic:
https://claude.com/crawling/bots.jsonで、クローラー全体で1つのリストです。Anthropicによると、このリストにあるアドレスはクローラーがAnthropicのものであることを示しますが、IPによるブロックではオプトアウトを確実に保証できない場合があるともしています。 - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonとhttps://www.perplexity.ai/perplexity-user.json。 - Google:Googlebotは
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonで、特殊なクローラーとユーザーが起動するフェッチャーには別のファイルがあります。逆引きDNSも使えます。 - Apple:
https://search.developer.apple.com/applebot.json、またはapplebot.apple.comでの逆引きDNS。 - Common Crawl:
https://index.commoncrawl.org/ccbot.json。IPv4については、crawl.commoncrawl.orgで正引きによって確認する逆引きDNSも推奨しています。IPv6アドレスには逆引きDNSがありません。 - Microsoft:
https://www.bing.com/toolbox/bingbot.json。いつでも変わる可能性があるため、Bingは毎日更新するよう求めています。または、search.msn.comで終わる逆引きDNS。Bingは公開のVerify Bingbotツールも提供しています。 - Meta:クローラーのページではIPリストを公開していません。
IPアドレスを公式のクローラーリストと照合するには?
このスクリプトは各リストを読み込み、どのリストにそのアドレスが含まれるかを報告します。必要なのはPython 3だけで、IPv4とIPv6の両方を扱えます。
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF リストは変わります。各ファイルには独自のcreationTimeがあり、Perplexityはファイアウォールルールの更新を自動化するよう勧め、Bingはリストを毎日更新するよう求めています。ファイアウォールでリストを使うなら、一度コピーするのではなく、定期的に取得してください。
Googlebot、bingbot、Applebotを逆引きDNSで検証するには?
Google、Microsoft、Apple、Common Crawlは、同じ2段階のチェックを説明しています。IPアドレスのホスト名を逆引きし、それがその会社のドメインで終わることを確かめ、次にそのホスト名を正引きして、同じIPが返ることを確かめます。どちらの段階も重要です。IPレンジを管理している人は逆引きDNSの名前を自由に設定できますが、その会社のドメインが自分のIPを指すようにはできないからです。
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Googleは、クローラーの種類によってgooglebot.com、google.com、googleusercontent.comを認めています。上の関数が受け付けるのはgooglebot.comだけで、これはGoogleの例でGooglebot自身が使っているドメインです。Googleのほかのクローラーやフェッチャーには、JSONリストを使ってください。DNSの問い合わせには時間がかかるため、ライブのリクエストごとに実行するのではなく、ログを確認するときに実行するか、結果をキャッシュします。
GPTBotを検出するのに、ユーザーエージェントのチェックだけでは足りないのはなぜ?
ユーザーエージェントはクライアントが自由に決めるヘッダーなので、誰でもGPTBotやGooglebotを送れます。Common CrawlはCCBotを偽って名乗るクローラーがあると警告しており、Bingも、bingbotを名乗るトラフィックが本当にBingから来ているかを確認するためのガイドを公開しています。GPTBotを確実に検出するには、ユーザーエージェントのトークンと、gptbot.jsonにある送信元IPの両方を確認します。リストにないアドレスからトークン付きで来たリクエストはなりすましで、ブロックしてもOpenAIには影響しません。
逆のことも起こります。ファイアウォールがユーザーエージェントだけで許可していればなりすましが入り込み、IPレンジだけで許可していれば、その会社のネットワークから来たエージェントは、ブロックしたつもりのものも含めて同じ扱いになります。両方を照合するのが確実なルールです。
AISeeWhyはAIクローラーのトラフィックの検証にどう役立つ?
無料のAISeeWhy AIクローラーIPチェックは、アカウントなしで、IPアドレスがGPTBotやほかのAIクローラーのものかどうかを教えてくれます。さらに無料のサイトチェックは、本物のブラウザと並べて、16種類のAIクローラーと検索クローラーとしてページをリクエストするため、本物のクローラーが何を受け取るかを確認できます。
次のステップ
この記事に登場するクローラー
よくある質問
GPTBotのユーザーエージェントは?
OpenAIはMozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotを公開しており、バージョンは変わる可能性があると注記しています。GPTBotで照合し、IPをhttps://openai.com/gptbot.jsonで確認してください。
OAI-SearchBotのユーザーエージェントは?
compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotで終わる、Chromeに似た文字列です。アドレスはhttps://openai.com/searchbot.jsonに載っています。OpenAIはこれをChatGPTの検索にサイトを表示するために使っており、GPTBotとは役割が違います。
AnthropicはClaudeBotのIPアドレスを公開している?
はい。Anthropicはhttps://claude.com/crawling/bots.jsonへのリンクを掲載し、送信元IPがこのリストにあれば、そのクローラーはAnthropicのものだとしています。ヘルプ記事にはボットのトークンは載っていますが、完全なユーザーエージェント文字列は載っていません。
ログにGoogle-ExtendedやApplebot-Extendedが現れることはある?
ありません。どちらもクローラーではなくrobots.txtのトークンです。GoogleとAppleはGooglebotとApplebotでページを取得し、これらのトークンはコンテンツをAIにどう使ってよいかを決めるためだけに使います。
bingbotのIPアドレスのリストはどこにある?
Bingはhttps://www.bing.com/toolbox/bingbot.jsonで公開しており、毎日更新するよう求めています。Bing自身のガイドは、ホスト名がsearch.msn.comで終わる必要がある逆引きと正引きのDNSチェックを勧めています。
参考資料
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot