User agenti a rozsahy IP adres AI crawlerů: GPTBot, ClaudeBot, PerplexityBot a další
GPTBot se identifikuje user agentem, který obsahuje GPTBot/1.4; +https://openai.com/gptbot, a OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple i Common Crawl zveřejňují seznam rozsahů IP adres svých crawlerů ve formátu JSON. Požadavek je pravý, jen když sedí obojí: user agent jmenuje crawler a zdrojová IP je v seznamu daného provozovatele, nebo u Googlebot, bingbot, Applebot a CCBot projde zpětným a dopředným ověřením DNS. Samotný user agent nic nedokazuje, protože ho může poslat kdokoli.
Když v logu uvidíte GPTBot nebo ClaudeBot, nebo chcete pravidlo firewallu, které propustí AI vyhledávací crawlery, potřebujete dvě věci: přesný řetězec, který každý crawler posílá, a způsob, jak prokázat, že požadavek opravdu přišel od firmy, kterou jmenuje. Níže najdete řetězce tak, jak je každý provozovatel dnes zveřejňuje, oficiální seznam IP nebo metodu DNS pro každého z nich a dva skripty, kterými adresu ověříte.
Na této stránce
- Jaké řetězce user agenta mají GPTBot, ClaudeBot, PerplexityBot a další AI crawlery?
- Který crawler dělá co a které názvy jsou jen tokeny pro robots.txt?
- Kde provozovatelé AI crawlerů zveřejňují své rozsahy IP adres?
- Jak ověřím IP adresu podle oficiálních seznamů crawlerů?
- Jak ověřím Googlebot, bingbot nebo Applebot pomocí zpětného DNS?
- Proč kontrola user agenta k odhalení GPTBot nestačí?
- Jak může AISeeWhy pomoci ověřit provoz AI crawlerů?
Jaké řetězce user agenta mají GPTBot, ClaudeBot, PerplexityBot a další AI crawlery?
Jsou zkopírované z vlastní dokumentace provozovatelů. OpenAI a Perplexity upozorňují, že se čísla verzí mohou měnit, Google a Microsoft dávají aktuální verzi prohlížeče na místo W.X.Y.Z a Apple uvádí, že část s prohlížečem občas aktualizuje. Porovnávejte podle tokenu crawleru, například GPTBot nebo bingbot, ne podle celého řetězce.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Článek nápovědy Anthropic jmenuje ClaudeBot, Claude-SearchBot a Claude-User, ale úplné řetězce user agenta neuvádí, takže porovnávejte podle těchto tokenů. Stránka o crawlerech Meta uvádí řetězce, které začínají zobrazenými tokeny a pokračují odkazem na dokumentaci, a upozorňuje, že řetězce ve vašich logech se mohou mírně lišit.
Který crawler dělá co a které názvy jsou jen tokeny pro robots.txt?
GPTBotsbírá obsah, který může sloužit k trénování základních modelů OpenAI.OAI-SearchBotzobrazuje weby ve vyhledávání ChatGPT.ChatGPT-Userstahuje stránky pro akce, které spustí uživatel, a OpenAI uvádí, že se na něj pravidla robots.txt nemusí vztahovat.OAI-AdsBotkontroluje stránky odeslané jako reklamy v ChatGPT.ClaudeBotsbírá data pro modely Anthropic,Claude-SearchBotzlepšuje výsledky vyhledávání aClaude-Userstahuje stránky, když se někdo Clauda na něco zeptá.PerplexityBotzobrazuje a odkazuje weby ve vyhledávání Perplexity a k trénování základních modelů se nepoužívá.Perplexity-Userstahuje stránky, když uživatel položí otázku.meta-externalagentprochází web kvůli trénování AI modelů nebo indexování obsahu,meta-webindexerindexuje obsah pro vyhledávání Meta AI ameta-externalfetcherstahuje odkazy na žádost uživatele.CCBotje crawler Common Crawl, veřejného archivu webu.
Dva názvy se ve vašich logech nikdy neobjeví. Google-Extended je token pro robots.txt, který určuje, zda obsah procházený Googlem smí sloužit modelům Gemini a groundingu; Google uvádí, že nemá vliv na zařazení do Vyhledávání Google. Applebot-Extended je podle Applu sekundární user agent, který webové stránky neprochází; jen určuje, jak smí Apple používat data, která nasbíral Applebot. Požadavek, který se za jeden z nich vydává, není pravý.
Kde provozovatelé AI crawlerů zveřejňují své rozsahy IP adres?
Většina provozovatelů zveřejňuje soubor JSON ve stejné podobě: pole prefixes s objekty obsahujícími ipv4Prefix nebo ipv6Prefix a k tomu creationTime, podle kterého poznáte, jak je seznam čerstvý.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonahttps://openai.com/adsbot.json, jeden pro každého agenta. - Anthropic:
https://claude.com/crawling/bots.json, jeden seznam pro své crawlery. Anthropic uvádí, že adresa z tohoto seznamu dokládá, že crawler pochází od Anthropic, a také že blokování podle IP nemusí spolehlivě zaručit odhlášení. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonahttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonpro Googlebot, se samostatnými soubory pro speciální crawlery a pro načítání spouštěná uživateli. Funguje i zpětné DNS. - Apple:
https://search.developer.apple.com/applebot.json, nebo zpětné DNS vapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Pro IPv4 doporučuje i zpětné DNS potvrzené dopředným dotazem podcrawl.commoncrawl.org; adresy IPv6 zpětné DNS nemají. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, který máte podle Bingu obnovovat denně, protože se může kdykoli změnit, nebo zpětné DNS končící nasearch.msn.com. Bing nabízí také veřejný nástroj Verify Bingbot. - Meta: její stránka o crawlerech seznam IP adres nezveřejňuje.
Jak ověřím IP adresu podle oficiálních seznamů crawlerů?
Tento skript načte každý seznam a vypíše, který z nich adresu obsahuje. Potřebuje jen Python 3 a zvládá IPv4 i IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Seznamy se mění. Každý soubor nese vlastní creationTime, Perplexity doporučuje aktualizaci pravidel firewallu automatizovat a Bing žádá, abyste jeho seznam obnovovali denně. Pokud seznamy používáte ve firewallu, stahujte je pravidelně, místo abyste je jednou zkopírovali.
Jak ověřím Googlebot, bingbot nebo Applebot pomocí zpětného DNS?
Google, Microsoft, Apple a Common Crawl dokumentují stejnou dvoukrokovou kontrolu: zjistěte název IP adresy, ověřte, že končí doménou provozovatele, pak zjistěte adresu tohoto názvu a ověřte, že vrací stejnou IP. Oba kroky jsou důležité, protože kdo ovládá rozsah IP adres, může nastavit libovolný zpětný DNS název, ale nedokáže zařídit, aby doména provozovatele ukazovala zpět na něj.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google napříč typy svých crawlerů přijímá googlebot.com, google.com a googleusercontent.com; funkce výše přijímá jen googlebot.com, kterou v příkladech Googlu používá samotný Googlebot. Pro ostatní crawlery a nástroje Googlu použijte jeho seznamy JSON. DNS dotazy trvají, proto je spouštějte při procházení logů nebo výsledek ukládejte do mezipaměti, a ne při každém živém požadavku.
Proč kontrola user agenta k odhalení GPTBot nestačí?
User agent je hlavička, kterou si klient volí sám, takže GPTBot nebo Googlebot může poslat kdokoli. Common Crawl varuje, že se některé crawlery falešně vydávají za CCBot, a Bing zveřejňuje návod, jak ověřit, zda provoz vydávající se za bingbot opravdu pochází od Bingu. Spolehlivé odhalení GPTBot znamená ověřit obojí: token v user agentovi i zdrojovou IP v gptbot.json. Požadavek s tokenem z adresy mimo seznam je napodobenina a jeho zablokování OpenAI neovlivní.
Platí to i obráceně. Pokud firewall povoluje jen user agenta, napodobeniny projdou; pokud povoluje jen rozsah IP, stejně se zachází s každým agentem ze sítě daného provozovatele, i s tím, který jste chtěli blokovat. Spolehlivé pravidlo je požadovat shodu obou.
Jak může AISeeWhy pomoci ověřit provoz AI crawlerů?
Bezplatná kontrola IP adres AI crawlerů od AISeeWhy vám bez účtu řekne, zda IP adresa patří GPTBot nebo jinému AI crawleru. Bezplatná kontrola webu pak stáhne vaši stránku jako 16 AI a vyhledávacích crawlerů vedle skutečného prohlížeče, takže uvidíte, co by dostaly pravé crawlery.
Další kroky
- robots.txt tester a kontrola pro AI crawlery
- Kontrola IP adres AI crawlerů
- Podívejte se na ukázku plné zprávy
- Monitoring AI crawlerů
- Plány a ceny
Crawlery v tomto článku
Časté dotazy
Jaký je user agent GPTBot?
OpenAI zveřejňuje Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot a upozorňuje, že se verze může změnit. Porovnávejte podle GPTBot a IP ověřte v https://openai.com/gptbot.json.
Jaký je user agent OAI-SearchBot?
Řetězec ve stylu Chromu, který končí compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Jeho adresy jsou v https://openai.com/searchbot.json. OpenAI ho používá k zobrazování webů ve vyhledávání ChatGPT, což je jiná úloha než u GPTBot.
Zveřejňuje Anthropic IP adresy ClaudeBot?
Ano. Anthropic odkazuje na https://claude.com/crawling/bots.json a uvádí, že zdrojová IP z tohoto seznamu dokládá, že crawler je od Anthropic. Jeho článek nápovědy jmenuje tokeny botů, ale ne úplné řetězce user agenta.
Uvidím v logu Google-Extended nebo Applebot-Extended?
Ne. Oba jsou tokeny pro robots.txt, ne crawlery. Google a Apple stahují stránky pomocí Googlebot a Applebot a tyto tokeny používají jen k rozhodnutí, jak smí být obsah použit pro AI.
Kde najdu seznam IP adres bingbot?
Bing ho zveřejňuje na https://www.bing.com/toolbox/bingbot.json a žádá, abyste ho obnovovali denně. Jeho vlastní návod doporučuje zpětné a dopředné ověření DNS, kde název musí končit na search.msn.com.
Zdroje
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot