User agenty a rozsahy IP AI crawlerov: GPTBot, ClaudeBot, PerplexityBot a ďalšie

Publikované

Krátka odpoveď

GPTBot sa identifikuje user agentom, ktorý obsahuje GPTBot/1.4; +https://openai.com/gptbot, a OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple aj Common Crawl zverejňujú zoznam rozsahov IP svojich crawlerov vo formáte JSON. Požiadavka je pravá, len ak sedí oboje: user agent uvádza crawler a zdrojová IP je v zozname daného poskytovateľa, alebo pri Googlebot, bingbot, Applebot a CCBot prejde spätnou a doprednou kontrolou DNS. Samotný user agent nedokazuje nič, pretože ho môže poslať ktokoľvek.

Keď v logoch vidíte GPTBot alebo ClaudeBot, alebo chcete pravidlo firewallu, ktoré pustí AI vyhľadávacie crawlery, potrebujete dve veci: presný reťazec, ktorý každý crawler posiela, a spôsob, ako dokázať, že požiadavka prišla od firmy, ktorú uvádza. Nižšie sú reťazce tak, ako ich dnes zverejňuje každý poskytovateľ, oficiálny zoznam IP alebo metóda DNS pre každý z nich a dva skripty na overenie adresy.

Na tejto stránke
  1. Aké sú reťazce user agenta GPTBot, ClaudeBot, PerplexityBot a ďalších AI crawlerov?
  2. Ktorý crawler robí čo a ktoré názvy sú len tokeny robots.txt?
  3. Kde poskytovatelia AI crawlerov zverejňujú svoje rozsahy IP?
  4. Ako overiť IP adresu voči oficiálnym zoznamom crawlerov?
  5. Ako overiť Googlebot, bingbot alebo Applebot cez spätné DNS?
  6. Prečo na rozpoznanie GPTBot nestačí kontrola user agenta?
  7. Ako môže AISeeWhy pomôcť overiť návštevnosť AI crawlerov?

Aké sú reťazce user agenta GPTBot, ClaudeBot, PerplexityBot a ďalších AI crawlerov?

Sú skopírované z dokumentácie samotných poskytovateľov. OpenAI a Perplexity upozorňujú, že čísla verzií sa môžu meniť, Google a Microsoft dosadzujú aktuálnu verziu prehliadača na miesto W.X.Y.Z a Apple uvádza, že časť s prehliadačom občas aktualizuje. Porovnávajte token crawlera, napríklad GPTBot alebo bingbot, nie celý reťazec.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Článok pomocníka Anthropic menuje ClaudeBot, Claude-SearchBot a Claude-User, ale úplné reťazce user agenta neuvádza, preto porovnávajte tieto tokeny. Stránka crawlerov Meta uvádza reťazce, ktoré začínajú zobrazenými tokenmi a pokračujú odkazom na dokumentáciu, a upozorňuje, že reťazce vo vašich logoch sa môžu mierne líšiť.

Ktorý crawler robí čo a ktoré názvy sú len tokeny robots.txt?

Dva názvy sa vo vašich logoch nikdy neobjavia. Google-Extended je token robots.txt, ktorý určuje, či sa obsah prehľadaný Googlom smie použiť pre modely Gemini a grounding; Google uvádza, že nemá vplyv na zaradenie do Vyhľadávania Google. Applebot-Extended je podľa slov Apple sekundárny user agent, ktorý webové stránky neprehľadáva; len rozhoduje, ako smie Apple použiť dáta, ktoré zozbieral Applebot. Požiadavka, ktorá sa vydáva za niektorý z nich, nie je pravá.

Kde poskytovatelia AI crawlerov zverejňujú svoje rozsahy IP?

Väčšina poskytovateľov zverejňuje súbor JSON v rovnakom tvare: pole prefixes s objektmi s ipv4Prefix alebo ipv6Prefix a k tomu creationTime, ktorý ukazuje, aký je súbor čerstvý.

Ako overiť IP adresu voči oficiálnym zoznamom crawlerov?

Tento skript načíta každý zoznam a vypíše, ktorý z nich adresu obsahuje. Potrebuje len Python 3 a zvláda IPv4 aj IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Zoznamy sa menia. Každý súbor má vlastný creationTime, Perplexity odporúča automatizovať aktualizácie pravidiel firewallu a Bing žiada obnovovať jeho zoznam denne. Ak zoznamy používate vo firewalle, sťahujte ich pravidelne, nie len raz.

Ako overiť Googlebot, bingbot alebo Applebot cez spätné DNS?

Google, Microsoft, Apple a Common Crawl dokumentujú rovnakú dvojkrokovú kontrolu: zistite názov IP adresy, overte, že končí doménou poskytovateľa, potom tento názov preložte a overte, že vráti tú istú IP. Oba kroky sú dôležité, pretože kto ovláda rozsah IP, môže nastaviť ľubovoľný spätný DNS názov, ale nedokáže zariadiť, aby doména poskytovateľa ukazovala späť naň.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google pre svoje typy crawlerov akceptuje googlebot.com, google.com a googleusercontent.com; funkcia vyššie akceptuje len googlebot.com, ktorý v príkladoch Google používa samotný Googlebot. Pre ostatné crawlery a nástroje na sťahovanie od Google použite jeho zoznamy JSON. Vyhľadávanie v DNS trvá, preto ho spúšťajte pri kontrole logov alebo výsledok ukladajte, nie pri každej živej požiadavke.

Prečo na rozpoznanie GPTBot nestačí kontrola user agenta?

User agent je hlavička, ktorú si volí klient, takže GPTBot alebo Googlebot môže poslať ktokoľvek. Common Crawl varuje, že niektoré crawlery sa falošne vydávajú za CCBot, a Bing zverejňuje návod, ako overiť, či návštevnosť, ktorá sa vydáva za bingbot, naozaj pochádza z Bingu. Spoľahlivé rozpoznanie GPTBot znamená skontrolovať oboje: token v user agentovi a zdrojovú IP v gptbot.json. Požiadavka s tokenom z adresy mimo zoznamu je napodobenina a jej zablokovanie OpenAI neovplyvní.

Stáva sa aj opak. Ak váš firewall povoľuje len user agenta, napodobeniny prejdú; ak povoľuje len rozsah IP, každý agent zo siete daného poskytovateľa dostane rovnaké zaobchádzanie, aj ten, ktorý ste chceli zablokovať. Spoľahlivým pravidlom je zhoda oboch.

Ako môže AISeeWhy pomôcť overiť návštevnosť AI crawlerov?

Bezplatná kontrola IP AI crawlerov od AISeeWhy vám bez účtu povie, či IP adresa patrí GPTBot alebo inému AI crawleru. Bezplatná kontrola webu potom vyžiada vašu stránku ako 16 AI a vyhľadávacích crawlerov vedľa skutočného prehliadača, takže uvidíte, čo by dostali skutočné crawlery.

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Aký je user agent GPTBot?

OpenAI zverejňuje Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot a upozorňuje, že verzia sa môže zmeniť. Porovnávajte GPTBot a IP overte voči https://openai.com/gptbot.json.

Aký je user agent OAI-SearchBot?

Reťazec v štýle Chrome, ktorý končí na compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Jeho adresy sú v https://openai.com/searchbot.json. OpenAI ho používa na zobrazovanie webov vo vyhľadávaní ChatGPT, čo je iná úloha než pri GPTBot.

Zverejňuje Anthropic IP adresy ClaudeBot?

Áno. Anthropic odkazuje na https://claude.com/crawling/bots.json a uvádza, že zdrojová IP z tohto zoznamu dokazuje, že crawler je od Anthropic. Jeho článok pomocníka menuje tokeny botov, ale nie úplné reťazce user agenta.

Uvidím Google-Extended alebo Applebot-Extended vo svojich logoch?

Nie. Oba sú tokeny robots.txt, nie crawlery. Google a Apple sťahujú stránky cez Googlebot a Applebot a tieto tokeny používajú len na rozhodnutie, ako sa smie obsah použiť pre AI.

Kde je zoznam IP adries bingbot?

Bing ho zverejňuje na https://www.bing.com/toolbox/bingbot.json a žiada ho obnovovať denne. Jeho vlastný návod odporúča spätnú a doprednú kontrolu DNS, pri ktorej musí názov končiť na search.msn.com.

Zdroje

Ďalšie články