User agents og IP-områder for AI-crawlere: GPTBot, ClaudeBot, PerplexityBot med flere
GPTBot identifiserer seg med en user agent som inneholder GPTBot/1.4; +https://openai.com/gptbot, og OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple og Common Crawl publiserer hver sin JSON-liste over IP-områdene crawlerne deres bruker. En forespørsel er ekte bare når begge stemmer: user agent-en nevner crawleren, og kilde-IP-en står i leverandørens liste eller, for Googlebot, bingbot, Applebot og CCBot, består en omvendt og fremover DNS-sjekk. En user agent alene beviser ingenting, fordi hvem som helst kan sende den.
Når du ser GPTBot eller ClaudeBot i loggene dine, eller vil ha en brannmurregel som slipper AI-søkecrawlere gjennom, trenger du to ting: den nøyaktige strengen hver crawler sender, og en måte å bevise at en forespørsel kom fra selskapet den nevner. Nedenfor finner du strengene slik hver leverandør publiserer dem i dag, den offisielle IP-listen eller DNS-metoden for hver av dem, og to skript du kan kjøre for å sjekke en adresse.
På denne siden
- Hva er user agent-strengene til GPTBot, ClaudeBot, PerplexityBot og andre AI-crawlere?
- Hvilken crawler gjør hva, og hvilke navn er bare robots.txt-tokener?
- Hvor publiserer leverandørene av AI-crawlere IP-områdene sine?
- Hvordan sjekker jeg en IP-adresse mot de offisielle crawlerlistene?
- Hvordan verifiserer jeg Googlebot, bingbot eller Applebot med omvendt DNS?
- Hvorfor er ikke en sjekk av user agent nok til å oppdage GPTBot?
- Hvordan kan AISeeWhy hjelpe med å verifisere trafikk fra AI-crawlere?
Hva er user agent-strengene til GPTBot, ClaudeBot, PerplexityBot og andre AI-crawlere?
Disse er kopiert fra leverandørenes egen dokumentasjon. OpenAI og Perplexity påpeker at versjonsnumre kan endres, Google og Microsoft setter inn gjeldende nettleserversjon der W.X.Y.Z står, og Apple sier at nettleserdelen oppdateres av og til. Match på crawlerens token, som GPTBot eller bingbot, ikke på hele strengen.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Hjelpeartikkelen fra Anthropic nevner ClaudeBot, Claude-SearchBot og Claude-User, men skriver ikke ut fullstendige user agent-strenger, så match på disse tokenene. Metas side om crawlere viser strenger som begynner med tokenene som er vist, etterfulgt av en lenke til dokumentasjonen, og sier at strengene loggene dine viser, kan variere litt.
Hvilken crawler gjør hva, og hvilke navn er bare robots.txt-tokener?
GPTBotsamler inn innhold som kan brukes til å trene OpenAIs grunnmodeller.OAI-SearchBotviser nettsteder i søk i ChatGPT.ChatGPT-Userhenter sider for handlinger en bruker starter, og OpenAI sier at robots.txt-regler kanskje ikke gjelder for den.OAI-AdsBotsjekker sider som er sendt inn som annonser i ChatGPT.ClaudeBotsamler inn data til Anthropics modeller,Claude-SearchBotforbedrer søkeresultater, ogClaude-Userhenter sider når en person stiller Claude et spørsmål.PerplexityBotviser og lenker til nettsteder i søk i Perplexity og brukes ikke til å trene grunnmodeller.Perplexity-Userhenter sider når en bruker stiller et spørsmål.meta-externalagentgjennomsøker for å trene AI-modeller eller indeksere innhold,meta-webindexerindekserer innhold for søk i Meta AI, ogmeta-externalfetcherhenter lenker på forespørsel fra en bruker.CCBoter crawleren til Common Crawl, et offentlig nettarkiv.
To navn dukker aldri opp i loggene dine. Google-Extended er et robots.txt-token som styrer om innhold Google gjennomsøker, kan brukes til Gemini-modeller og forankring (grounding); Google sier at det ikke påvirker om du er med i Google Søk. Applebot-Extended er, med Apples ord, en sekundær user agent som ikke gjennomsøker nettsider; den avgjør bare hvordan Apple kan bruke data som Applebot har samlet inn. En forespørsel som utgir seg for å være en av dem, er ikke ekte.
Hvor publiserer leverandørene av AI-crawlere IP-områdene sine?
De fleste leverandører publiserer en JSON-fil med samme form: en prefixes-matrise med objekter som har ipv4Prefix eller ipv6Prefix, pluss en creationTime som viser hvor fersk den er.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonoghttps://openai.com/adsbot.json, én per agent. - Anthropic:
https://claude.com/crawling/bots.json, én liste for alle crawlerne. Anthropic sier at en adresse på denne listen viser at crawleren kommer fra Anthropic, og også at IP-blokkering kanskje ikke garanterer en reservasjon på en pålitelig måte. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonoghttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonfor Googlebot, med egne filer for spesialcrawlere og hentere som utløses av brukere. Omvendt DNS fungerer også. - Apple:
https://search.developer.apple.com/applebot.json, eller omvendt DNS iapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. For IPv4 anbefaler Common Crawl også fremoverbekreftet omvendt DNS undercrawl.commoncrawl.org; IPv6-adresser har ingen omvendt DNS. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, som Bing ber deg oppdatere daglig fordi den kan endres når som helst, eller omvendt DNS som slutter påsearch.msn.com. Bing tilbyr også et offentlig verktøy, Verify Bingbot. - Meta: siden om crawlere publiserer ingen IP-liste.
Hvordan sjekker jeg en IP-adresse mot de offisielle crawlerlistene?
Dette skriptet laster hver liste og forteller hvilken som inneholder adressen. Det trenger bare Python 3, og det håndterer IPv4 og IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Listene endres. Hver fil har sin egen creationTime, Perplexity anbefaler å automatisere oppdateringer av brannmurreglene, og Bing ber deg oppdatere listen daglig. Hvis du bruker listene i en brannmur, henter du dem etter en fast plan i stedet for å kopiere dem én gang.
Hvordan verifiserer jeg Googlebot, bingbot eller Applebot med omvendt DNS?
Google, Microsoft, Apple og Common Crawl dokumenterer den samme sjekken i to steg: slå opp navnet til IP-adressen, bekreft at det slutter på leverandørens domene, slå deretter opp det navnet og bekreft at det gir samme IP. Begge stegene er viktige, fordi den som kontrollerer et IP-område, kan sette hvilket omvendt DNS-navn som helst, men ikke kan få leverandørens domene til å peke tilbake til det.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google godtar googlebot.com, google.com og googleusercontent.com på tvers av crawlertypene sine; funksjonen over godtar bare googlebot.com, som er det Googlebot selv bruker i Googles eksempler. For Googles andre crawlere og hentere bruker du JSON-listene. DNS-oppslag tar tid, så kjør dem når du går gjennom logger, eller bufre resultatet, i stedet for ved hver live forespørsel.
Hvorfor er ikke en sjekk av user agent nok til å oppdage GPTBot?
User agent er en header klienten selv velger, så hvem som helst kan sende GPTBot eller Googlebot. Common Crawl advarer om at noen crawlere falskt utgir seg for å være CCBot, og Bing publiserer en veiledning for å sjekke om trafikk som utgir seg for å være bingbot, virkelig kommer fra Bing. For å oppdage GPTBot pålitelig må du sjekke begge deler: tokenet i user agent-en og kilde-IP-en i gptbot.json. En forespørsel med tokenet fra en adresse som ikke står på listen, er en etterligning, og å blokkere den påvirker ikke OpenAI.
Det motsatte skjer også. Hvis brannmuren bare tillater en user agent, slipper etterligninger inn; hvis den bare tillater et IP-område, får alle agenter fra leverandørens nettverk samme behandling, også en du ville blokkere. Å matche begge er den pålitelige regelen.
Hvordan kan AISeeWhy hjelpe med å verifisere trafikk fra AI-crawlere?
Den gratis IP-sjekken for AI-crawlere fra AISeeWhy forteller deg, uten konto, om en IP-adresse tilhører GPTBot eller en annen AI-crawler. Den gratis nettstedssjekken ber deretter om siden din som 16 AI- og søkecrawlere ved siden av en ekte nettleser, slik at du kan se hva de ekte crawlerne ville fått.
Neste steg
- robots.txt-tester og -sjekk for AI-crawlere
- IP-sjekk for AI-crawlere
- Se et eksempel på en full rapport
- Overvåking av AI-crawlere
- Planer og priser
Crawlere i denne artikkelen
Vanlige spørsmål
Hva er user agent-en til GPTBot?
OpenAI publiserer Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot og påpeker at versjonen kan endres. Match på GPTBot og bekreft IP-en mot https://openai.com/gptbot.json.
Hva er user agent-en til OAI-SearchBot?
En streng i Chrome-stil som slutter på compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Adressene står i https://openai.com/searchbot.json. OpenAI bruker den til å vise nettsteder i søk i ChatGPT, som er en annen jobb enn den GPTBot gjør.
Publiserer Anthropic IP-adressene til ClaudeBot?
Ja. Anthropic lenker til https://claude.com/crawling/bots.json og sier at en kilde-IP på den listen viser at crawleren kommer fra Anthropic. Hjelpeartikkelen nevner bot-tokenene, men ikke fullstendige user agent-strenger.
Kan jeg se Google-Extended eller Applebot-Extended i loggene mine?
Nei. Begge er robots.txt-tokener, ikke crawlere. Google og Apple henter sider med Googlebot og Applebot og bruker disse tokenene bare til å avgjøre hvordan innholdet kan brukes til AI.
Hvor finner jeg listen over IP-adresser for bingbot?
Bing publiserer den på https://www.bing.com/toolbox/bingbot.json og ber deg oppdatere den daglig. Bings egen veiledning anbefaler omvendt og fremover DNS-sjekk, der navnet må slutte på search.msn.com.
Kilder
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot