User agents og IP-intervaller for AI-crawlere: GPTBot, ClaudeBot, PerplexityBot og flere
GPTBot identificerer sig med en user agent, der indeholder GPTBot/1.4; +https://openai.com/gptbot, og OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple og Common Crawl offentliggør hver en JSON-liste over de IP-intervaller, deres crawlere bruger. En forespørgsel er kun ægte, når begge dele passer: user agenten nævner crawleren, og kilde-IP'en står på leverandørens liste eller, for Googlebot, bingbot, Applebot og CCBot, består et omvendt og fremadrettet DNS-tjek. En user agent alene beviser intet, for alle kan sende den.
Når du ser GPTBot eller ClaudeBot i dine logfiler eller vil have en firewallregel, der lukker AI-søgecrawlere igennem, har du brug for to ting: den præcise streng, hver crawler sender, og en måde at bevise, at en forespørgsel kom fra den virksomhed, den nævner. Nedenfor står strengene, som hver leverandør offentliggør dem i dag, den officielle IP-liste eller DNS-metode for hver og to scripts, du kan køre for at tjekke en adresse.
På denne side
- Hvad er user agent-strengene for GPTBot, ClaudeBot, PerplexityBot og andre AI-crawlere?
- Hvilken crawler gør hvad, og hvilke navne er kun robots.txt-tokens?
- Hvor offentliggør leverandørerne IP-intervallerne for deres AI-crawlere?
- Hvordan tjekker jeg en IP-adresse mod de officielle crawlerlister?
- Hvordan verificerer jeg Googlebot, bingbot eller Applebot med omvendt DNS?
- Hvorfor er et tjek af user agenten ikke nok til at genkende GPTBot?
- Hvordan kan AISeeWhy hjælpe med at verificere trafik fra AI-crawlere?
Hvad er user agent-strengene for GPTBot, ClaudeBot, PerplexityBot og andre AI-crawlere?
De er kopieret fra leverandørernes egen dokumentation. OpenAI og Perplexity bemærker, at versionsnumre kan ændre sig, Google og Microsoft indsætter den aktuelle browserversion, hvor W.X.Y.Z står, og Apple siger, at browserdelen af og til opdateres. Match på crawlerens token, f.eks. GPTBot eller bingbot, ikke på hele strengen.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropics hjælpeartikel nævner ClaudeBot, Claude-SearchBot og Claude-User, men gengiver ikke fulde user agent-strenge, så match på de tokens. Metas crawlerside angiver strenge, der begynder med de viste tokens efterfulgt af et link til dens dokumentation, og siger, at strengene i dine logfiler kan variere en smule.
Hvilken crawler gør hvad, og hvilke navne er kun robots.txt-tokens?
GPTBotindsamler indhold, der kan bruges til at træne OpenAIs foundation-modeller.OAI-SearchBotviser websites i ChatGPT-søgning.ChatGPT-Userhenter sider til handlinger, som en bruger starter, og OpenAI siger, at robots.txt-regler måske ikke gælder for den.OAI-AdsBottjekker sider, der er indsendt som ChatGPT-annoncer.ClaudeBotindsamler data til Anthropics modeller,Claude-SearchBotforbedrer søgeresultater, ogClaude-Userhenter sider, når en person stiller Claude et spørgsmål.PerplexityBotviser og linker til websites i Perplexitys søgning og bruges ikke til at træne foundation-modeller.Perplexity-Userhenter sider, når en bruger stiller et spørgsmål.meta-externalagentcrawler til træning af AI-modeller eller indeksering af indhold,meta-webindexerindekserer indhold til Meta AI-søgning, ogmeta-externalfetcherhenter links på en brugers anmodning.CCBoter crawleren fra Common Crawl, et offentligt webarkiv.
To navne optræder aldrig i dine logfiler. Google-Extended er et robots.txt-token, der styrer, om indhold, Google crawler, må bruges til Gemini-modeller og grounding; Google siger, at det ikke påvirker medtagelse i Google Søgning. Applebot-Extended er med Apples ord en sekundær user agent, der ikke crawler websider; den afgør kun, hvordan Apple må bruge data, som Applebot har indsamlet. En forespørgsel, der udgiver sig for at være en af dem, er ikke ægte.
Hvor offentliggør leverandørerne IP-intervallerne for deres AI-crawlere?
De fleste leverandører offentliggør en JSON-fil med samme opbygning: et prefixes-array af objekter med ipv4Prefix eller ipv6Prefix plus en creationTime, der fortæller, hvor frisk den er.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonoghttps://openai.com/adsbot.json, én pr. agent. - Anthropic:
https://claude.com/crawling/bots.json, én liste for alle dens crawlere. Anthropic siger, at en adresse på listen viser, at crawleren kommer fra Anthropic, og også at IP-blokering ikke pålideligt kan garantere et fravalg. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonoghttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsontil Googlebot med separate filer til særlige crawlere og brugerudløste hentere. Omvendt DNS virker også. - Apple:
https://search.developer.apple.com/applebot.jsoneller omvendt DNS iapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Til IPv4 anbefaler den også fremadbekræftet omvendt DNS undercrawl.commoncrawl.org; IPv6-adresser har ingen omvendt DNS. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, som Bing beder dig opdatere dagligt, fordi den kan ændre sig når som helst, eller omvendt DNS, der ender påsearch.msn.com. Bing tilbyder også det offentlige værktøj Verify Bingbot. - Meta: dens crawlerside offentliggør ikke en IP-liste.
Hvordan tjekker jeg en IP-adresse mod de officielle crawlerlister?
Dette script indlæser hver liste og oplyser, hvilken der indeholder adressen. Det kræver kun Python 3 og håndterer både IPv4 og IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Listerne ændrer sig. Hver fil har sin egen creationTime, Perplexity anbefaler at automatisere opdateringer af dine firewallregler, og Bing beder dig opdatere sin liste dagligt. Hvis du bruger listerne i en firewall, så hent dem efter en tidsplan i stedet for at kopiere dem én gang.
Hvordan verificerer jeg Googlebot, bingbot eller Applebot med omvendt DNS?
Google, Microsoft, Apple og Common Crawl dokumenterer det samme tjek i to trin: slå IP-adressens navn op, bekræft, at det ender på leverandørens domæne, slå derefter navnet op, og bekræft, at det giver den samme IP. Begge trin er vigtige, for den, der kontrollerer et IP-interval, kan sætte et hvilket som helst omvendt DNS-navn, men kan ikke få leverandørens domæne til at pege tilbage på det.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google accepterer googlebot.com, google.com og googleusercontent.com på tværs af sine crawlertyper; funktionen ovenfor accepterer kun googlebot.com, som er det, Googlebot selv bruger i Googles eksempler. Til Googles andre crawlere og hentere skal du bruge dens JSON-lister. DNS-opslag tager tid, så kør dem, når du gennemgår logfiler, eller cache resultatet i stedet for at gøre det ved hver forespørgsel i realtid.
Hvorfor er et tjek af user agenten ikke nok til at genkende GPTBot?
User agenten er en header, som klienten selv vælger, så alle kan sende GPTBot eller Googlebot. Common Crawl advarer om, at nogle crawlere fejlagtigt udgiver sig for at være CCBot, og Bing offentliggør en guide til at tjekke, om trafik, der påstår at være bingbot, virkelig kommer fra Bing. At genkende GPTBot pålideligt betyder, at du tjekker begge dele: tokenet i user agenten og kilde-IP'en i gptbot.json. En forespørgsel med tokenet fra en adresse, der ikke står på listen, er en efterligning, og at blokere den påvirker ikke OpenAI.
Det omvendte sker også. Hvis din firewall kun tillader en user agent, slipper efterligninger ind; hvis den kun tillader et IP-interval, får enhver agent fra leverandørens netværk samme behandling, også en, du ville blokere. At matche begge dele er den pålidelige regel.
Hvordan kan AISeeWhy hjælpe med at verificere trafik fra AI-crawlere?
Det gratis IP-tjek for AI-crawlere fra AISeeWhy fortæller dig uden konto, om en IP-adresse tilhører GPTBot eller en anden AI-crawler. Det gratis tjek af websitet henter derefter din side som 16 AI- og søgecrawlere ved siden af en rigtig browser, så du kan se, hvad de ægte crawlere ville modtage.
Næste skridt
- robots.txt-tester og -tjek til AI-crawlere
- IP-tjek af AI-crawlere
- Se et eksempel på en fuld rapport
- Overvågning af AI-crawlere
- Planer og priser
Crawlere i denne artikel
Ofte stillede spørgsmål
Hvad er GPTBots user agent?
OpenAI offentliggør Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot og bemærker, at versionen kan ændre sig. Match på GPTBot, og bekræft IP'en mod https://openai.com/gptbot.json.
Hvad er OAI-SearchBots user agent?
En streng i Chrome-stil, der ender på compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Dens adresser står i https://openai.com/searchbot.json. OpenAI bruger den til at vise websites i ChatGPT-søgning, hvilket er en anden opgave end den, GPTBot har.
Offentliggør Anthropic ClaudeBots IP-adresser?
Ja. Anthropic linker til https://claude.com/crawling/bots.json og siger, at en kilde-IP på den liste viser, at crawleren kommer fra Anthropic. Dens hjælpeartikel nævner bot-tokens, men ikke fulde user agent-strenge.
Kan jeg se Google-Extended eller Applebot-Extended i mine logfiler?
Nej. Begge er robots.txt-tokens, ikke crawlere. Google og Apple henter sider med Googlebot og Applebot og bruger kun disse tokens til at afgøre, hvordan indholdet må bruges til AI.
Hvor er listen over bingbots IP-adresser?
Bing offentliggør den på https://www.bing.com/toolbox/bingbot.json og beder dig opdatere den dagligt. Dens egen guide anbefaler det omvendte og fremadrettede DNS-tjek, hvor navnet skal ende på search.msn.com.
Kilder
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot