User agenti i rasponi IP adresa AI crawlera: GPTBot, ClaudeBot, PerplexityBot i drugi

Objavljeno

Kratki odgovor

GPTBot se predstavlja user agentom koji sadrži GPTBot/1.4; +https://openai.com/gptbot, a OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple i Common Crawl objavljuju JSON popis raspona IP adresa koje koriste njihovi crawleri. Zahtjev je pravi samo kad se podudara oboje: user agent navodi crawler, a izvorna IP adresa nalazi se na popisu tog dobavljača ili, za Googlebot, bingbot, Applebot i CCBot, prolazi obrnutu i izravnu DNS provjeru. Sam user agent ne dokazuje ništa jer ga bilo tko može poslati.

Kad u zapisnicima vidite GPTBot ili ClaudeBot, ili želite pravilo vatrozida koje propušta AI crawlere za pretraživanje, trebaju vam dvije stvari: točan niz koji šalje svaki crawler i način da dokažete da je zahtjev došao od tvrtke koju navodi. U nastavku su nizovi kako ih svaki dobavljač danas objavljuje, službeni popis IP adresa ili DNS metoda za svaki od njih te dvije skripte koje možete pokrenuti za provjeru adrese.

Na ovoj stranici
  1. Koji su nizovi user agenta GPTBota, ClaudeBota, PerplexityBota i drugih AI crawlera?
  2. Koji crawler što radi i koji su nazivi samo tokeni za robots.txt?
  3. Gdje dobavljači AI crawlera objavljuju svoje raspone IP adresa?
  4. Kako provjeriti IP adresu prema službenim popisima crawlera?
  5. Kako obrnutim DNS-om provjeriti Googlebot, bingbot ili Applebot?
  6. Zašto provjera user agenta nije dovoljna za otkrivanje GPTBota?
  7. Kako AISeeWhy može pomoći u provjeri prometa AI crawlera?

Koji su nizovi user agenta GPTBota, ClaudeBota, PerplexityBota i drugih AI crawlera?

Preuzeti su iz dokumentacije samih dobavljača. OpenAI i Perplexity napominju da se brojevi verzija mogu promijeniti, Google i Microsoft na mjesto W.X.Y.Z stavljaju trenutačnu verziju preglednika, a Apple navodi da povremeno ažurira dio niza koji se odnosi na preglednik. Uspoređujte po tokenu crawlera, poput GPTBot ili bingbot, a ne po cijelom nizu.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropicov članak pomoći navodi ClaudeBot, Claude-SearchBot i Claude-User, ali ne ispisuje pune nizove user agenta, pa uspoređujte po tim tokenima. Metina stranica o crawlerima navodi nizove koji počinju prikazanim tokenima, nakon kojih slijedi poveznica na njezinu dokumentaciju, i napominje da se nizovi u vašim zapisnicima mogu malo razlikovati.

Koji crawler što radi i koji su nazivi samo tokeni za robots.txt?

Dva se naziva nikad ne pojavljuju u vašim zapisnicima. Google-Extended je token za robots.txt koji određuje smije li se sadržaj koji Google indeksira koristiti za modele Gemini i utemeljenje odgovora (grounding); Google navodi da ne utječe na uključenost u Google pretraživanje. Applebot-Extended je, Appleovim riječima, sekundarni user agent koji ne indeksira web-stranice; on samo određuje kako Apple smije koristiti podatke koje je prikupio Applebot. Zahtjev koji se predstavlja kao jedan od njih nije pravi.

Gdje dobavljači AI crawlera objavljuju svoje raspone IP adresa?

Većina dobavljača objavljuje JSON datoteku istog oblika: polje prefixes s objektima koji imaju ipv4Prefix ili ipv6Prefix, te creationTime koji govori koliko je datoteka svježa.

Kako provjeriti IP adresu prema službenim popisima crawlera?

Ova skripta učitava svaki popis i javlja koji sadrži adresu. Treba joj samo Python 3 i radi s IPv4 i IPv6 adresama.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Popisi se mijenjaju. Svaka datoteka ima vlastiti creationTime, Perplexity preporučuje automatizirano ažuriranje pravila vatrozida, a Bing traži da svoj popis osvježavate svakodnevno. Ako popise koristite u vatrozidu, dohvaćajte ih prema rasporedu umjesto da ih jednom kopirate.

Kako obrnutim DNS-om provjeriti Googlebot, bingbot ili Applebot?

Google, Microsoft, Apple i Common Crawl dokumentiraju istu provjeru u dva koraka: potražite naziv IP adrese, potvrdite da završava domenom dobavljača, zatim potražite taj naziv i potvrdite da vraća istu IP adresu. Važna su oba koraka, jer tko god kontrolira raspon IP adresa može postaviti bilo koji naziv za obrnuti DNS, ali ne može natjerati domenu dobavljača da pokazuje natrag na njega.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google za svoje vrste crawlera prihvaća googlebot.com, google.com i googleusercontent.com; gornja funkcija prihvaća samo googlebot.com, koji sam Googlebot koristi u Googleovim primjerima. Za Googleove ostale crawlere i alate za dohvaćanje koristite njegove JSON popise. DNS upiti traju, pa ih pokrećite kad pregledavate zapisnike ili predmemorirajte rezultat, a ne pri svakom zahtjevu uživo.

Zašto provjera user agenta nije dovoljna za otkrivanje GPTBota?

User agent je zaglavlje koje bira klijent, pa bilo tko može poslati GPTBot ili Googlebot. Common Crawl upozorava da se neki crawleri lažno predstavljaju kao CCBot, a Bing objavljuje vodič za provjeru dolazi li promet koji se predstavlja kao bingbot doista od Binga. Pouzdano otkrivanje GPTBota znači provjeriti oboje: token u user agentu i izvornu IP adresu u gptbot.json. Zahtjev s tokenom s adrese koje nema na popisu je imitator, a njegovo blokiranje ne utječe na OpenAI.

Događa se i obrnuto. Ako vaš vatrozid propušta samo prema user agentu, imitatori ulaze; ako propušta samo prema rasponu IP adresa, svaki agent iz mreže tog dobavljača dobiva isti tretman, čak i onaj koji ste htjeli blokirati. Podudaranje oboje je pouzdano pravilo.

Kako AISeeWhy može pomoći u provjeri prometa AI crawlera?

Besplatna provjera IP adresa AI crawlera u AISeeWhyju bez računa vam govori pripada li IP adresa GPTBotu ili drugom AI crawleru. Besplatna provjera web-stranice zatim traži vašu stranicu kao 16 AI crawlera i crawlera tražilica uz pravi preglednik, tako da vidite što bi pravi crawleri dobili.

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Koji je user agent GPTBota?

OpenAI objavljuje Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot i napominje da se verzija može promijeniti. Uspoređujte po GPTBot i potvrdite IP adresu prema https://openai.com/gptbot.json.

Koji je user agent OAI-SearchBota?

Niz u stilu Chromea koji završava s compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Njegove adrese navedene su u https://openai.com/searchbot.json. OpenAI ga koristi za prikaz web-stranica u pretraživanju ChatGPT-a, što je drukčiji posao od onoga koji obavlja GPTBot.

Objavljuje li Anthropic IP adrese ClaudeBota?

Da. Anthropic upućuje na https://claude.com/crawling/bots.json i navodi da izvorna IP adresa s tog popisa pokazuje da je crawler Anthropicov. Njegov članak pomoći navodi tokene botova, ali ne i pune nizove user agenta.

Mogu li u zapisnicima vidjeti Google-Extended ili Applebot-Extended?

Ne. Oba su tokeni za robots.txt, a ne crawleri. Google i Apple dohvaćaju stranice s Googlebot i Applebot, a te tokene koriste samo da bi odlučili kako se sadržaj smije koristiti za AI.

Gdje je popis IP adresa bingbota?

Bing ga objavljuje na https://www.bing.com/toolbox/bingbot.json i traži da ga osvježavate svakodnevno. Njegov vodič preporučuje obrnutu i izravnu DNS provjeru, pri čemu naziv mora završavati na search.msn.com.

Izvori

Još članaka