User agenti a rozsahy IP adres AI crawlerů: GPTBot, ClaudeBot, PerplexityBot a další

Publikováno

Stručná odpověď

GPTBot se identifikuje user agentem, který obsahuje GPTBot/1.4; +https://openai.com/gptbot, a OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple i Common Crawl zveřejňují seznam rozsahů IP adres svých crawlerů ve formátu JSON. Požadavek je pravý, jen když sedí obojí: user agent jmenuje crawler a zdrojová IP je v seznamu daného provozovatele, nebo u Googlebot, bingbot, Applebot a CCBot projde zpětným a dopředným ověřením DNS. Samotný user agent nic nedokazuje, protože ho může poslat kdokoli.

Když v logu uvidíte GPTBot nebo ClaudeBot, nebo chcete pravidlo firewallu, které propustí AI vyhledávací crawlery, potřebujete dvě věci: přesný řetězec, který každý crawler posílá, a způsob, jak prokázat, že požadavek opravdu přišel od firmy, kterou jmenuje. Níže najdete řetězce tak, jak je každý provozovatel dnes zveřejňuje, oficiální seznam IP nebo metodu DNS pro každého z nich a dva skripty, kterými adresu ověříte.

Na této stránce
  1. Jaké řetězce user agenta mají GPTBot, ClaudeBot, PerplexityBot a další AI crawlery?
  2. Který crawler dělá co a které názvy jsou jen tokeny pro robots.txt?
  3. Kde provozovatelé AI crawlerů zveřejňují své rozsahy IP adres?
  4. Jak ověřím IP adresu podle oficiálních seznamů crawlerů?
  5. Jak ověřím Googlebot, bingbot nebo Applebot pomocí zpětného DNS?
  6. Proč kontrola user agenta k odhalení GPTBot nestačí?
  7. Jak může AISeeWhy pomoci ověřit provoz AI crawlerů?

Jaké řetězce user agenta mají GPTBot, ClaudeBot, PerplexityBot a další AI crawlery?

Jsou zkopírované z vlastní dokumentace provozovatelů. OpenAI a Perplexity upozorňují, že se čísla verzí mohou měnit, Google a Microsoft dávají aktuální verzi prohlížeče na místo W.X.Y.Z a Apple uvádí, že část s prohlížečem občas aktualizuje. Porovnávejte podle tokenu crawleru, například GPTBot nebo bingbot, ne podle celého řetězce.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Článek nápovědy Anthropic jmenuje ClaudeBot, Claude-SearchBot a Claude-User, ale úplné řetězce user agenta neuvádí, takže porovnávejte podle těchto tokenů. Stránka o crawlerech Meta uvádí řetězce, které začínají zobrazenými tokeny a pokračují odkazem na dokumentaci, a upozorňuje, že řetězce ve vašich logech se mohou mírně lišit.

Který crawler dělá co a které názvy jsou jen tokeny pro robots.txt?

Dva názvy se ve vašich logech nikdy neobjeví. Google-Extended je token pro robots.txt, který určuje, zda obsah procházený Googlem smí sloužit modelům Gemini a groundingu; Google uvádí, že nemá vliv na zařazení do Vyhledávání Google. Applebot-Extended je podle Applu sekundární user agent, který webové stránky neprochází; jen určuje, jak smí Apple používat data, která nasbíral Applebot. Požadavek, který se za jeden z nich vydává, není pravý.

Kde provozovatelé AI crawlerů zveřejňují své rozsahy IP adres?

Většina provozovatelů zveřejňuje soubor JSON ve stejné podobě: pole prefixes s objekty obsahujícími ipv4Prefix nebo ipv6Prefix a k tomu creationTime, podle kterého poznáte, jak je seznam čerstvý.

Jak ověřím IP adresu podle oficiálních seznamů crawlerů?

Tento skript načte každý seznam a vypíše, který z nich adresu obsahuje. Potřebuje jen Python 3 a zvládá IPv4 i IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Seznamy se mění. Každý soubor nese vlastní creationTime, Perplexity doporučuje aktualizaci pravidel firewallu automatizovat a Bing žádá, abyste jeho seznam obnovovali denně. Pokud seznamy používáte ve firewallu, stahujte je pravidelně, místo abyste je jednou zkopírovali.

Jak ověřím Googlebot, bingbot nebo Applebot pomocí zpětného DNS?

Google, Microsoft, Apple a Common Crawl dokumentují stejnou dvoukrokovou kontrolu: zjistěte název IP adresy, ověřte, že končí doménou provozovatele, pak zjistěte adresu tohoto názvu a ověřte, že vrací stejnou IP. Oba kroky jsou důležité, protože kdo ovládá rozsah IP adres, může nastavit libovolný zpětný DNS název, ale nedokáže zařídit, aby doména provozovatele ukazovala zpět na něj.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google napříč typy svých crawlerů přijímá googlebot.com, google.com a googleusercontent.com; funkce výše přijímá jen googlebot.com, kterou v příkladech Googlu používá samotný Googlebot. Pro ostatní crawlery a nástroje Googlu použijte jeho seznamy JSON. DNS dotazy trvají, proto je spouštějte při procházení logů nebo výsledek ukládejte do mezipaměti, a ne při každém živém požadavku.

Proč kontrola user agenta k odhalení GPTBot nestačí?

User agent je hlavička, kterou si klient volí sám, takže GPTBot nebo Googlebot může poslat kdokoli. Common Crawl varuje, že se některé crawlery falešně vydávají za CCBot, a Bing zveřejňuje návod, jak ověřit, zda provoz vydávající se za bingbot opravdu pochází od Bingu. Spolehlivé odhalení GPTBot znamená ověřit obojí: token v user agentovi i zdrojovou IP v gptbot.json. Požadavek s tokenem z adresy mimo seznam je napodobenina a jeho zablokování OpenAI neovlivní.

Platí to i obráceně. Pokud firewall povoluje jen user agenta, napodobeniny projdou; pokud povoluje jen rozsah IP, stejně se zachází s každým agentem ze sítě daného provozovatele, i s tím, který jste chtěli blokovat. Spolehlivé pravidlo je požadovat shodu obou.

Jak může AISeeWhy pomoci ověřit provoz AI crawlerů?

Bezplatná kontrola IP adres AI crawlerů od AISeeWhy vám bez účtu řekne, zda IP adresa patří GPTBot nebo jinému AI crawleru. Bezplatná kontrola webu pak stáhne vaši stránku jako 16 AI a vyhledávacích crawlerů vedle skutečného prohlížeče, takže uvidíte, co by dostaly pravé crawlery.

Nástroje zdarma

Další kroky

Crawlery v tomto článku

Časté dotazy

Jaký je user agent GPTBot?

OpenAI zveřejňuje Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot a upozorňuje, že se verze může změnit. Porovnávejte podle GPTBot a IP ověřte v https://openai.com/gptbot.json.

Jaký je user agent OAI-SearchBot?

Řetězec ve stylu Chromu, který končí compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Jeho adresy jsou v https://openai.com/searchbot.json. OpenAI ho používá k zobrazování webů ve vyhledávání ChatGPT, což je jiná úloha než u GPTBot.

Zveřejňuje Anthropic IP adresy ClaudeBot?

Ano. Anthropic odkazuje na https://claude.com/crawling/bots.json a uvádí, že zdrojová IP z tohoto seznamu dokládá, že crawler je od Anthropic. Jeho článek nápovědy jmenuje tokeny botů, ale ne úplné řetězce user agenta.

Uvidím v logu Google-Extended nebo Applebot-Extended?

Ne. Oba jsou tokeny pro robots.txt, ne crawlery. Google a Apple stahují stránky pomocí Googlebot a Applebot a tyto tokeny používají jen k rozhodnutí, jak smí být obsah použit pro AI.

Kde najdu seznam IP adres bingbot?

Bing ho zveřejňuje na https://www.bing.com/toolbox/bingbot.json a žádá, abyste ho obnovovali denně. Jeho vlastní návod doporučuje zpětné a dopředné ověření DNS, kde název musí končit na search.msn.com.

Zdroje

Další články