AI-crawlerek user agentjei és IP-tartományai: GPTBot, ClaudeBot, PerplexityBot és mások

Megjelent

Rövid válasz

A GPTBot egy GPTBot/1.4; +https://openai.com/gptbot részt tartalmazó user agenttel azonosítja magát, és az OpenAI, az Anthropic, a Perplexity, a Google, a Microsoft, az Apple és a Common Crawl egyaránt JSON-listában teszi közzé a crawlerei által használt IP-tartományokat. Egy kérés csak akkor valódi, ha mindkettő egyezik: a user agent megnevezi a crawlert, és a forrás-IP benne van az adott szolgáltató listájában, illetve a Googlebot, a bingbot, az Applebot és a CCBot esetében átmegy a fordított és az előre irányuló DNS-ellenőrzésen. A user agent önmagában semmit sem bizonyít, mert bárki elküldheti.

Ha GPTBot vagy ClaudeBot bejegyzést lát a naplóiban, vagy olyan tűzfalszabályt szeretne, amely átengedi az AI-keresőcrawlereket, két dologra van szüksége: arra a pontos karakterláncra, amelyet az egyes crawlerek küldenek, és egy módszerre annak bizonyítására, hogy a kérés valóban a megnevezett cégtől jön. Alább megtalálja a karakterláncokat úgy, ahogy a szolgáltatók ma közzéteszik, mindegyikhez a hivatalos IP-listát vagy DNS-módszert, és két szkriptet, amellyel ellenőrizhet egy címet.

Ezen az oldalon
  1. Mik a GPTBot, a ClaudeBot, a PerplexityBot és más AI-crawlerek user agent karakterláncai?
  2. Melyik crawler mit csinál, és mely nevek csak robots.txt-tokenek?
  3. Hol teszik közzé az AI-crawlerek szolgáltatói az IP-tartományaikat?
  4. Hogyan ellenőrizhetek egy IP-címet a hivatalos crawlerlistákkal?
  5. Hogyan ellenőrizzem a Googlebotot, a bingbotot vagy az Applebotot fordított DNS-sel?
  6. Miért nem elég a user agent ellenőrzése a GPTBot felismeréséhez?
  7. Hogyan segít az AISeeWhy az AI-crawlerek forgalmának ellenőrzésében?

Mik a GPTBot, a ClaudeBot, a PerplexityBot és más AI-crawlerek user agent karakterláncai?

Ezek a szolgáltatók saját dokumentációjából származnak. Az OpenAI és a Perplexity megjegyzi, hogy a verziószámok változhatnak, a Google és a Microsoft a W.X.Y.Z helyére az aktuális böngészőverziót írja, az Apple pedig szerint a böngészőrész időnként frissül. A crawler tokenjére illesszen, például a GPTBot vagy a bingbot tokenre, ne a teljes karakterláncra.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Az Anthropic súgócikke megnevezi a ClaudeBot, a Claude-SearchBot és a Claude-User tokent, de teljes user agent karakterláncot nem közöl, ezért ezekre a tokenekre illesszen. A Meta crawleroldala olyan karakterláncokat sorol fel, amelyek a fenti tokenekkel kezdődnek, és a dokumentációjára mutató link követi őket; szerinte a naplókban megjelenő karakterláncok kissé eltérhetnek.

Melyik crawler mit csinál, és mely nevek csak robots.txt-tokenek?

Két név sosem jelenik meg a naplóiban. A Google-Extended egy robots.txt-token, amely azt szabályozza, hogy a Google által feltérképezett tartalom felhasználható-e a Gemini-modellekhez és a válaszok megalapozásához (grounding); a Google szerint nem befolyásolja a Google Keresőben való megjelenést. Az Applebot-Extended az Apple szavaival egy másodlagos user agent, amely nem térképez fel weboldalakat; csak azt határozza meg, hogyan használhatja az Apple az Applebot által gyűjtött adatokat. Az a kérés, amely ezek bármelyikének adja ki magát, nem valódi.

Hol teszik közzé az AI-crawlerek szolgáltatói az IP-tartományaikat?

A legtöbb szolgáltató azonos szerkezetű JSON-fájlt tesz közzé: egy prefixes tömböt ipv4Prefix vagy ipv6Prefix mezőket tartalmazó objektumokkal, valamint egy creationTime mezőt, amelyből látszik, mennyire friss.

Hogyan ellenőrizhetek egy IP-címet a hivatalos crawlerlistákkal?

Ez a szkript betölti az összes listát, és jelzi, melyik tartalmazza a címet. Csak Python 3 kell hozzá, és IPv4-et és IPv6-ot is kezel.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

A listák változnak. Minden fájlnak saját creationTime értéke van, a Perplexity a tűzfalszabályok automatikus frissítését javasolja, a Bing pedig napi frissítést kér. Ha tűzfalban használja a listákat, ütemezetten töltse le őket ahelyett, hogy egyszer átmásolná.

Hogyan ellenőrizzem a Googlebotot, a bingbotot vagy az Applebotot fordított DNS-sel?

A Google, a Microsoft, az Apple és a Common Crawl ugyanazt a kétlépéses ellenőrzést dokumentálja: kérdezze le az IP-cím nevét, győződjön meg róla, hogy a szolgáltató domainjére végződik, majd kérdezze le ezt a nevet, és ellenőrizze, hogy ugyanazt az IP-t adja vissza. Mindkét lépés számít, mert aki egy IP-tartományt irányít, bármilyen fordított DNS-nevet beállíthat, de a szolgáltató domainjét nem tudja visszamutattatni rá.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

A Google a crawlertípusain át a googlebot.com, a google.com és a googleusercontent.com domaint fogadja el; a fenti függvény csak a googlebot.com domaint fogadja el, mert a Google példáiban maga a Googlebot ezt használja. A Google többi crawleréhez és lekérőjéhez használja a JSON-listákat. A DNS-lekérdezések időbe telnek, ezért a naplók átnézésekor futtassa őket, vagy gyorsítótárazza az eredményt, ne minden élő kérésnél.

Miért nem elég a user agent ellenőrzése a GPTBot felismeréséhez?

A user agent egy fejléc, amelyet a kliens választ, így bárki küldhet GPTBot vagy Googlebot értéket. A Common Crawl figyelmeztet, hogy egyes crawlerek hamisan CCBot-nak adják ki magukat, a Bing pedig útmutatót tesz közzé annak ellenőrzésére, hogy a magát bingbotnak mondó forgalom valóban a Bingtől jön-e. A GPTBot megbízható felismerése mindkettő ellenőrzését jelenti: a tokent a user agentben és a forrás-IP-t a gptbot.json fájlban. A tokent nem listázott címről küldő kérés utánzó, és a blokkolása nem érinti az OpenAI-t.

Fordítva is megtörténik. Ha a tűzfala csak user agent alapján enged, az utánzók bejutnak; ha csak IP-tartomány alapján, akkor a szolgáltató hálózatáról érkező bármely ügynök ugyanazt a bánásmódot kapja, még az is, amelyet blokkolni akart. Mindkettő egyeztetése a megbízható szabály.

Hogyan segít az AISeeWhy az AI-crawlerek forgalmának ellenőrzésében?

Az ingyenes AISeeWhy AI-crawler IP-ellenőrző fiók nélkül megmondja, hogy egy IP-cím a GPTBothoz vagy egy másik AI-crawlerhez tartozik-e. Az ingyenes webhely-ellenőrzés ezután 16 AI- és keresőcrawlerként kéri le az oldalát egy valódi böngésző mellett, így láthatja, mit kapnának a valódi crawlerek.

Ingyenes eszközök

Következő lépések

A cikkben szereplő crawlerek

Gyakran ismételt kérdések

Mi a GPTBot user agentje?

Az OpenAI ezt teszi közzé: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, és megjegyzi, hogy a verzió változhat. Illesszen a GPTBot tokenre, és ellenőrizze az IP-t a https://openai.com/gptbot.json listában.

Mi az OAI-SearchBot user agentje?

Egy Chrome-szerű karakterlánc, amely így végződik: compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. A címei a https://openai.com/searchbot.json fájlban szerepelnek. Az OpenAI arra használja, hogy megjelenítse a webhelyeket a ChatGPT-keresésben, ami más feladat, mint a GPTBot-é.

Közzéteszi az Anthropic a ClaudeBot IP-címeit?

Igen. Az Anthropic a https://claude.com/crawling/bots.json fájlra hivatkozik, és szerint a listán szereplő forrás-IP azt mutatja, hogy a crawler az Anthropictól jön. A súgócikke megnevezi a bottokeneket, de teljes user agent karakterláncokat nem.

Láthatom a Google-Extended vagy az Applebot-Extended bejegyzést a naplóimban?

Nem. Mindkettő robots.txt-token, nem crawler. A Google és az Apple a Googlebot és az Applebot segítségével kéri le az oldalakat, és ezeket a tokeneket csak arra használja, hogy eldöntse, hogyan használható a tartalom AI-hoz.

Hol találom a bingbot IP-címlistáját?

A Bing a https://www.bing.com/toolbox/bingbot.json címen teszi közzé, és napi frissítést kér. A saját útmutatója a fordított és előre irányuló DNS-ellenőrzést ajánlja, ahol a névnek search.msn.com végződésűnek kell lennie.

Források

További cikkek