User agenti in obsegi IP pajkov UI: GPTBot, ClaudeBot, PerplexityBot in drugi
GPTBot se predstavi z user agentom, ki vsebuje GPTBot/1.4; +https://openai.com/gptbot, OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple in Common Crawl pa vsak objavljajo seznam JSON z obsegi IP, ki jih uporabljajo njihovi pajki. Zahteva je pristna samo, če se ujema oboje: user agent imenuje pajka, izvorni IP pa je na seznamu tega ponudnika ali, pri Googlebot, bingbot, Applebot in CCBot, prestane obratno in nato običajno preverjanje DNS. Sam user agent ne dokazuje ničesar, ker ga lahko pošlje kdor koli.
Ko v dnevnikih vidite GPTBot ali ClaudeBot ali želite pravilo požarnega zidu, ki spusti pajke za iskanje z UI, potrebujete dvoje: natančen niz, ki ga pošlje vsak pajek, in način, da dokažete, da je zahteva prišla od podjetja, ki ga imenuje. Spodaj so nizi, kot jih ponudniki objavljajo danes, uradni seznam IP ali metoda DNS za vsakega in dve skripti, s katerima preverite naslov.
Na tej strani
- Kateri so nizi user agent za GPTBot, ClaudeBot, PerplexityBot in druge pajke UI?
- Kateri pajek kaj počne in katera imena so samo žetoni robots.txt?
- Kje ponudniki pajkov UI objavljajo svoje obsege IP?
- Kako preverim naslov IP z uradnimi seznami pajkov?
- Kako preverim Googlebot, bingbot ali Applebot z obratnim DNS?
- Zakaj preverjanje user agenta ni dovolj za zaznavanje GPTBot?
- Kako lahko AISeeWhy pomaga preveriti promet pajkov UI?
Kateri so nizi user agent za GPTBot, ClaudeBot, PerplexityBot in druge pajke UI?
Prepisani so iz lastne dokumentacije ponudnikov. OpenAI in Perplexity opozarjata, da se številke različic lahko spremenijo, Google in Microsoft na mesto W.X.Y.Z vstavita trenutno različico brskalnika, Apple pa pravi, da občasno posodobi del z brskalnikom. Ujemajte po žetonu pajka, kot sta GPTBot ali bingbot, ne po celotnem nizu.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropicov članek pomoči imenuje ClaudeBot, Claude-SearchBot in Claude-User, ne navaja pa celotnih nizov user agent, zato ujemajte po teh žetonih. Metina stran o pajkih navaja nize, ki se začnejo s prikazanimi žetoni, sledi pa jim povezava do njene dokumentacije, in pravi, da se nizi v vaših dnevnikih lahko nekoliko razlikujejo.
Kateri pajek kaj počne in katera imena so samo žetoni robots.txt?
GPTBotzbira vsebino, ki se lahko uporabi za učenje OpenAI-jevih temeljnih modelov.OAI-SearchBotprikazuje mesta v iskanju ChatGPT.ChatGPT-Userprenaša strani za dejanja, ki jih začne uporabnik, in OpenAI pravi, da pravila robots.txt zanj morda ne veljajo.OAI-AdsBotpreverja strani, oddane kot oglasi v ChatGPT.ClaudeBotzbira podatke za Anthropicove modele,Claude-SearchBotizboljšuje rezultate iskanja,Claude-Userpa prenaša strani, ko oseba Claudu postavi vprašanje.PerplexityBotprikazuje in povezuje mesta v iskanju Perplexity in se ne uporablja za učenje temeljnih modelov.Perplexity-Userprenaša strani, ko uporabnik postavi vprašanje.meta-externalagentpajka za učenje modelov UI ali indeksiranje vsebine,meta-webindexerindeksira vsebino za iskanje Meta AI,meta-externalfetcherpa prenaša povezave na zahtevo uporabnika.CCBotje pajek Common Crawl, javnega spletnega arhiva.
Dveh imen v dnevnikih ne boste nikoli videli. Google-Extended je žeton robots.txt, ki določa, ali se vsebina, ki jo Google prepaja, sme uporabiti za modele Gemini in utemeljevanje odgovorov; Google pravi, da ne vpliva na vključitev v Google Search. Applebot-Extended je po Applovih besedah sekundarni user agent, ki ne prepaja spletnih strani; odloča samo, kako sme Apple uporabiti podatke, ki jih je zbral Applebot. Zahteva, ki trdi, da je eden od njiju, ni pristna.
Kje ponudniki pajkov UI objavljajo svoje obsege IP?
Večina ponudnikov objavlja datoteko JSON enake oblike: polje prefixes s predmeti z ipv4Prefix ali ipv6Prefix ter creationTime, ki pove, kako sveža je.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsoninhttps://openai.com/adsbot.json, po en za vsakega agenta. - Anthropic:
https://claude.com/crawling/bots.json, en seznam za njegove pajke. Anthropic pravi, da naslov s tega seznama dokazuje, da pajek prihaja od Anthropica, in tudi, da blokiranje IP morda ne zagotavlja zanesljive izključitve. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsoninhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonza Googlebot, z ločenimi datotekami za pajke za posebne primere in prenose, ki jih sprožijo uporabniki. Deluje tudi obratni DNS. - Apple:
https://search.developer.apple.com/applebot.jsonali obratni DNS vapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Za IPv4 priporoča tudi obratni DNS s potrditvijo naprej podcrawl.commoncrawl.org; naslovi IPv6 nimajo obratnega DNS. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, ki ga Bing prosi osveževati vsak dan, ker se lahko kadar koli spremeni, ali obratni DNS, ki se konča ssearch.msn.com. Bing ponuja tudi javno orodje Verify Bingbot. - Meta: njena stran o pajkih ne objavlja seznama IP.
Kako preverim naslov IP z uradnimi seznami pajkov?
Ta skripta naloži vsak seznam in sporoči, kateri vsebuje naslov. Potrebuje samo Python 3 in obravnava IPv4 in IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Seznami se spreminjajo. Vsaka datoteka ima svoj creationTime, Perplexity priporoča avtomatizirano posodabljanje pravil požarnega zidu, Bing pa prosi, da njegov seznam osvežujete vsak dan. Če sezname uporabljate v požarnem zidu, jih prenašajte po urniku, namesto da bi jih kopirali enkrat.
Kako preverim Googlebot, bingbot ali Applebot z obratnim DNS?
Google, Microsoft, Apple in Common Crawl dokumentirajo isto preverjanje v dveh korakih: poiščite ime naslova IP, potrdite, da se konča z domeno ponudnika, nato poiščite to ime in potrdite, da vrne isti IP. Oba koraka sta pomembna, ker lahko kdor koli, ki nadzoruje obseg IP, nastavi poljubno obratno ime DNS, ne more pa doseči, da bi domena ponudnika kazala nazaj nanj.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google pri svojih vrstah pajkov sprejema googlebot.com, google.com in googleusercontent.com; zgornja funkcija sprejme samo googlebot.com, ki ga v Googlovih primerih uporablja sam Googlebot. Za Googlove druge pajke in prenašalnike uporabite njegove sezname JSON. Poizvedbe DNS trajajo, zato jih izvajajte pri pregledu dnevnikov ali rezultat predpomnite, ne pa pri vsaki živi zahtevi.
Zakaj preverjanje user agenta ni dovolj za zaznavanje GPTBot?
User agent je glava, ki jo izbere odjemalec, zato lahko kdor koli pošlje GPTBot ali Googlebot. Common Crawl opozarja, da se nekateri pajki lažno predstavljajo kot CCBot, Bing pa objavlja vodnik za preverjanje, ali promet, ki trdi, da je bingbot, res prihaja od Binga. Zanesljivo zaznavanje GPTBot pomeni preverjanje obojega: žetona v user agentu in izvornega IP v gptbot.json. Zahteva z žetonom z naslova, ki ga ni na seznamu, je posnemovalec, in njegova blokada ne vpliva na OpenAI.
Zgodi se tudi obratno. Če vaš požarni zid dovoljuje samo user agenta, posnemovalci pridejo noter; če dovoljuje samo obseg IP, je vsak agent iz omrežja tega ponudnika obravnavan enako, tudi tisti, ki ste ga želeli blokirati. Zanesljivo pravilo je ujemanje obojega.
Kako lahko AISeeWhy pomaga preveriti promet pajkov UI?
Brezplačno preverjanje IP pajkov UI v AISeeWhy vam brez računa pove, ali naslov IP pripada GPTBot ali drugemu pajku UI. Brezplačna analiza strani nato vašo stran zahteva kot 16 pajkov UI in iskalnikov ob pravem brskalniku, tako da vidite, kaj bi prejeli pravi pajki.
Naslednji koraki
- Tester in preverjanje robots.txt za pajke UI
- Preverjanje IP pajkov UI
- Oglejte si primer celotnega poročila
- Spremljanje pajkov UI
- Paketi in cene
Pajki v tem članku
Pogosta vprašanja
Kaj je user agent GPTBot?
OpenAI objavlja Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot in opozarja, da se različica lahko spremeni. Ujemajte po GPTBot in IP preverite proti https://openai.com/gptbot.json.
Kaj je user agent OAI-SearchBot?
Niz v slogu Chroma, ki se konča s compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Njegovi naslovi so navedeni v https://openai.com/searchbot.json. OpenAI ga uporablja za prikazovanje mest v iskanju ChatGPT, kar je drugačna naloga kot pri GPTBot.
Ali Anthropic objavlja naslove IP za ClaudeBot?
Da. Anthropic povezuje na https://claude.com/crawling/bots.json in pravi, da izvorni IP s tega seznama dokazuje, da je pajek od Anthropica. Njegov članek pomoči imenuje žetone botov, ne pa celotnih nizov user agent.
Ali lahko v dnevnikih vidim Google-Extended ali Applebot-Extended?
Ne. Oba sta žetona robots.txt, ne pajka. Google in Apple strani prenašata z Googlebot in Applebot, ta žetona pa uporabljata samo za odločanje, kako se vsebina sme uporabiti za UI.
Kje je seznam naslovov IP za bingbot?
Bing ga objavlja na https://www.bing.com/toolbox/bingbot.json in prosi, da ga osvežujete vsak dan. Njegov vodnik priporoča obratno in nato običajno preverjanje DNS, pri katerem se mora ime končati s search.msn.com.
Viri
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot