User agents och IP-intervall för AI-crawlers: GPTBot, ClaudeBot, PerplexityBot med flera
GPTBot identifierar sig med en user agent som innehåller GPTBot/1.4; +https://openai.com/gptbot, och OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple och Common Crawl publicerar var och en en JSON-lista med de IP-intervall som deras crawlers använder. En förfrågan är äkta bara när båda stämmer: user agent namnger crawlern och käll-IP:n finns i leverantörens lista, eller, för Googlebot, bingbot, Applebot och CCBot, klarar en omvänd och framåtriktad DNS-kontroll. En user agent i sig bevisar ingenting, eftersom vem som helst kan skicka den.
När du ser GPTBot eller ClaudeBot i dina loggar, eller vill ha en brandväggsregel som släpper igenom AI-sökcrawlers, behöver du två saker: den exakta sträng som varje crawler skickar, och ett sätt att bevisa att en förfrågan kom från det företag den anger. Nedan finns strängarna så som varje leverantör publicerar dem i dag, den officiella IP-listan eller DNS-metoden för var och en, och två skript som du kan köra för att kontrollera en adress.
På den här sidan
- Vilka user agent-strängar har GPTBot, ClaudeBot, PerplexityBot och andra AI-crawlers?
- Vilken crawler gör vad, och vilka namn är bara tokens i robots.txt?
- Var publicerar leverantörerna av AI-crawlers sina IP-intervall?
- Hur kontrollerar jag en IP-adress mot de officiella crawlerlistorna?
- Hur verifierar jag Googlebot, bingbot eller Applebot med omvänd DNS?
- Varför räcker det inte att kontrollera user agent för att identifiera GPTBot?
- Hur kan AISeeWhy hjälpa dig att verifiera trafik från AI-crawlers?
Vilka user agent-strängar har GPTBot, ClaudeBot, PerplexityBot och andra AI-crawlers?
De här är kopierade från leverantörernas egen dokumentation. OpenAI och Perplexity påpekar att versionsnummer kan ändras, Google och Microsoft sätter in den aktuella webbläsarversionen där W.X.Y.Z står, och Apple säger att företaget ibland uppdaterar webbläsardelen. Matcha på crawlerns token, till exempel GPTBot eller bingbot, inte på hela strängen.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropics hjälpartikel namnger ClaudeBot, Claude-SearchBot och Claude-User men skriver inte ut fullständiga user agent-strängar, så matcha på de tokenerna. Metas sida om crawlers listar strängar som börjar med de visade tokenerna följda av en länk till dokumentationen, och säger att strängarna i dina loggar kan variera något.
Vilken crawler gör vad, och vilka namn är bara tokens i robots.txt?
GPTBotsamlar in innehåll som kan användas för att träna OpenAI:s grundmodeller.OAI-SearchBotlyfter fram webbplatser i ChatGPT-sök.ChatGPT-Userhämtar sidor för åtgärder som en användare startar, och OpenAI säger att robots.txt-regler kanske inte gäller för den.OAI-AdsBotkontrollerar sidor som skickats in som annonser i ChatGPT.ClaudeBotsamlar in data för Anthropics modeller,Claude-SearchBotförbättrar sökresultat ochClaude-Userhämtar sidor när en person ställer en fråga till Claude.PerplexityBotlyfter fram och länkar webbplatser i Perplexitys sökning och används inte för att träna grundmodeller.Perplexity-Userhämtar sidor när en användare ställer en fråga.meta-externalagentgenomsöker för att träna AI-modeller eller indexera innehåll,meta-webindexerindexerar innehåll för sökningen i Meta AI ochmeta-externalfetcherhämtar länkar på en användares begäran.CCBotär crawlern för Common Crawl, ett offentligt webbarkiv.
Två namn syns aldrig i dina loggar. Google-Extended är en token i robots.txt som styr om innehåll som Google genomsöker får användas för Gemini-modeller och för att grunda svar; Google säger att den inte påverkar om sidor tas med i Google Sök. Applebot-Extended är, med Apples ord, en sekundär user agent som inte genomsöker webbsidor; den avgör bara hur Apple får använda data som Applebot har samlat in. En förfrågan som påstår sig vara någon av dem är inte äkta.
Var publicerar leverantörerna av AI-crawlers sina IP-intervall?
De flesta leverantörer publicerar en JSON-fil med samma struktur: en prefixes-array med objekt som har ipv4Prefix eller ipv6Prefix, plus en creationTime som visar hur färsk den är.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonochhttps://openai.com/adsbot.json, en per agent. - Anthropic:
https://claude.com/crawling/bots.json, en lista för alla dess crawlers. Anthropic säger att en adress på listan visar att crawlern kommer från Anthropic, och också att blockering via IP kanske inte på ett tillförlitligt sätt garanterar att du avstår. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonochhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonför Googlebot, med separata filer för specialcrawlers och användarutlösta hämtningar. Omvänd DNS fungerar också. - Apple:
https://search.developer.apple.com/applebot.json, eller omvänd DNS iapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. För IPv4 rekommenderar Common Crawl också framåtbekräftad omvänd DNS undercrawl.commoncrawl.org; IPv6-adresser har ingen omvänd DNS. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, som Bing ber dig hämta på nytt varje dag eftersom den kan ändras när som helst, eller omvänd DNS som slutar påsearch.msn.com. Bing erbjuder också det offentliga verktyget Verify Bingbot. - Meta: sidan om dess crawlers publicerar ingen IP-lista.
Hur kontrollerar jag en IP-adress mot de officiella crawlerlistorna?
Det här skriptet laddar varje lista och visar vilken som innehåller adressen. Det behöver bara Python 3 och hanterar både IPv4 och IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Listorna ändras. Varje fil har sin egen creationTime, Perplexity rekommenderar att du automatiserar uppdateringen av dina brandväggsregler, och Bing ber dig hämta sin lista varje dag. Om du använder listorna i en brandvägg ska du hämta dem enligt ett schema i stället för att kopiera dem en gång.
Hur verifierar jag Googlebot, bingbot eller Applebot med omvänd DNS?
Google, Microsoft, Apple och Common Crawl dokumenterar samma kontroll i två steg: slå upp namnet för IP-adressen, bekräfta att det slutar på leverantörens domän, slå sedan upp det namnet och bekräfta att det ger samma IP. Båda stegen behövs, eftersom den som kontrollerar ett IP-intervall kan sätta vilket omvänt DNS-namn som helst, men inte kan få leverantörens domän att peka tillbaka på det.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google godtar googlebot.com, google.com och googleusercontent.com för sina olika typer av crawlers; funktionen ovan godtar bara googlebot.com, som är vad Googlebot själv använder i Googles exempel. För Googles andra crawlers och hämtare använder du dess JSON-listor. DNS-uppslag tar tid, så kör dem när du går igenom loggar eller cacha resultatet, i stället för vid varje live-förfrågan.
Varför räcker det inte att kontrollera user agent för att identifiera GPTBot?
User agent är en header som klienten väljer, så vem som helst kan skicka GPTBot eller Googlebot. Common Crawl varnar för att vissa crawlers felaktigt utger sig för att vara CCBot, och Bing publicerar en guide för att kontrollera om trafik som påstår sig vara bingbot verkligen kommer från Bing. Att tillförlitligt identifiera GPTBot innebär att kontrollera båda: token i user agent och käll-IP:n i gptbot.json. En förfrågan med token från en adress som inte finns på listan är en imitatör, och att blockera den påverkar inte OpenAI.
Det omvända händer också. Om din brandvägg bara tillåter en user agent kommer imitatörer in; om den bara tillåter ett IP-intervall får alla agenter från leverantörens nätverk samma behandling, även en som du ville blockera. Att matcha båda är den pålitliga regeln.
Hur kan AISeeWhy hjälpa dig att verifiera trafik från AI-crawlers?
Den kostnadsfria IP-kontrollen för AI-crawlers i AISeeWhy talar om, utan konto, om en IP-adress tillhör GPTBot eller en annan AI-crawler. Den kostnadsfria webbplatskontrollen begär sedan din sida som 16 AI- och sökcrawlers bredvid en riktig webbläsare, så att du kan se vad de äkta crawlerna skulle få.
Nästa steg
- robots.txt-testare och kontroll för AI-crawlers
- IP-kontroll för AI-crawlers
- Se ett exempel på en fullständig rapport
- Bevakning av AI-crawlers
- Planer och priser
Crawlers i den här artikeln
Vanliga frågor
Vad är GPTBots user agent?
OpenAI publicerar Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot och påpekar att versionen kan ändras. Matcha på GPTBot och bekräfta IP-adressen mot https://openai.com/gptbot.json.
Vad är OAI-SearchBots user agent?
En sträng i Chrome-stil som slutar på compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Dess adresser listas i https://openai.com/searchbot.json. OpenAI använder den för att lyfta fram webbplatser i ChatGPT-sök, vilket är en annan uppgift än den som GPTBot har.
Publicerar Anthropic IP-adresser för ClaudeBot?
Ja. Anthropic länkar till https://claude.com/crawling/bots.json och säger att en käll-IP på den listan visar att crawlern kommer från Anthropic. Dess hjälpartikel namnger bottarnas tokens men inte fullständiga user agent-strängar.
Kan jag se Google-Extended eller Applebot-Extended i mina loggar?
Nej. Båda är tokens i robots.txt, inte crawlers. Google och Apple hämtar sidor med Googlebot och Applebot och använder de här tokenerna bara för att avgöra hur innehållet får användas för AI.
Var finns listan med IP-adresser för bingbot?
Bing publicerar den på https://www.bing.com/toolbox/bingbot.json och ber dig hämta den på nytt varje dag. Bings egen guide rekommenderar kontrollen med omvänd och framåtriktad DNS, där namnet måste sluta på search.msn.com.
Källor
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot