User agenty a rozsahy IP AI crawlerov: GPTBot, ClaudeBot, PerplexityBot a ďalšie
GPTBot sa identifikuje user agentom, ktorý obsahuje GPTBot/1.4; +https://openai.com/gptbot, a OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple aj Common Crawl zverejňujú zoznam rozsahov IP svojich crawlerov vo formáte JSON. Požiadavka je pravá, len ak sedí oboje: user agent uvádza crawler a zdrojová IP je v zozname daného poskytovateľa, alebo pri Googlebot, bingbot, Applebot a CCBot prejde spätnou a doprednou kontrolou DNS. Samotný user agent nedokazuje nič, pretože ho môže poslať ktokoľvek.
Keď v logoch vidíte GPTBot alebo ClaudeBot, alebo chcete pravidlo firewallu, ktoré pustí AI vyhľadávacie crawlery, potrebujete dve veci: presný reťazec, ktorý každý crawler posiela, a spôsob, ako dokázať, že požiadavka prišla od firmy, ktorú uvádza. Nižšie sú reťazce tak, ako ich dnes zverejňuje každý poskytovateľ, oficiálny zoznam IP alebo metóda DNS pre každý z nich a dva skripty na overenie adresy.
Na tejto stránke
- Aké sú reťazce user agenta GPTBot, ClaudeBot, PerplexityBot a ďalších AI crawlerov?
- Ktorý crawler robí čo a ktoré názvy sú len tokeny robots.txt?
- Kde poskytovatelia AI crawlerov zverejňujú svoje rozsahy IP?
- Ako overiť IP adresu voči oficiálnym zoznamom crawlerov?
- Ako overiť Googlebot, bingbot alebo Applebot cez spätné DNS?
- Prečo na rozpoznanie GPTBot nestačí kontrola user agenta?
- Ako môže AISeeWhy pomôcť overiť návštevnosť AI crawlerov?
Aké sú reťazce user agenta GPTBot, ClaudeBot, PerplexityBot a ďalších AI crawlerov?
Sú skopírované z dokumentácie samotných poskytovateľov. OpenAI a Perplexity upozorňujú, že čísla verzií sa môžu meniť, Google a Microsoft dosadzujú aktuálnu verziu prehliadača na miesto W.X.Y.Z a Apple uvádza, že časť s prehliadačom občas aktualizuje. Porovnávajte token crawlera, napríklad GPTBot alebo bingbot, nie celý reťazec.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Článok pomocníka Anthropic menuje ClaudeBot, Claude-SearchBot a Claude-User, ale úplné reťazce user agenta neuvádza, preto porovnávajte tieto tokeny. Stránka crawlerov Meta uvádza reťazce, ktoré začínajú zobrazenými tokenmi a pokračujú odkazom na dokumentáciu, a upozorňuje, že reťazce vo vašich logoch sa môžu mierne líšiť.
Ktorý crawler robí čo a ktoré názvy sú len tokeny robots.txt?
GPTBotzbiera obsah, ktorý sa môže použiť na trénovanie základných modelov OpenAI.OAI-SearchBotzobrazuje weby vo vyhľadávaní ChatGPT.ChatGPT-Usersťahuje stránky pri akciách, ktoré spustí používateľ, a OpenAI uvádza, že pravidlá robots.txt sa naň nemusia vzťahovať.OAI-AdsBotkontroluje stránky odoslané ako reklamy v ChatGPT.ClaudeBotzbiera dáta pre modely Anthropic,Claude-SearchBotzlepšuje výsledky vyhľadávania aClaude-Usersťahuje stránky, keď človek položí Claude otázku.PerplexityBotzobrazuje a odkazuje weby vo vyhľadávaní Perplexity a nepoužíva sa na trénovanie základných modelov.Perplexity-Usersťahuje stránky, keď používateľ položí otázku.meta-externalagentprehľadáva na trénovanie modelov AI alebo indexovanie obsahu,meta-webindexerindexuje obsah pre vyhľadávanie Meta AI ameta-externalfetchersťahuje odkazy na žiadosť používateľa.CCBotje crawler Common Crawl, verejného archívu webu.
Dva názvy sa vo vašich logoch nikdy neobjavia. Google-Extended je token robots.txt, ktorý určuje, či sa obsah prehľadaný Googlom smie použiť pre modely Gemini a grounding; Google uvádza, že nemá vplyv na zaradenie do Vyhľadávania Google. Applebot-Extended je podľa slov Apple sekundárny user agent, ktorý webové stránky neprehľadáva; len rozhoduje, ako smie Apple použiť dáta, ktoré zozbieral Applebot. Požiadavka, ktorá sa vydáva za niektorý z nich, nie je pravá.
Kde poskytovatelia AI crawlerov zverejňujú svoje rozsahy IP?
Väčšina poskytovateľov zverejňuje súbor JSON v rovnakom tvare: pole prefixes s objektmi s ipv4Prefix alebo ipv6Prefix a k tomu creationTime, ktorý ukazuje, aký je súbor čerstvý.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonahttps://openai.com/adsbot.json, jeden pre každého agenta. - Anthropic:
https://claude.com/crawling/bots.json, jeden zoznam pre jeho crawlery. Anthropic uvádza, že adresa z tohto zoznamu dokazuje, že crawler pochádza od Anthropic, a tiež, že blokovanie podľa IP nemusí spoľahlivo zaručiť odmietnutie. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonahttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonpre Googlebot, so samostatnými súbormi pre špeciálne crawlery a sťahovania spúšťané používateľom. Funguje aj spätné DNS. - Apple:
https://search.developer.apple.com/applebot.jsonalebo spätné DNS vapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Pre IPv4 odporúča aj doprednou kontrolou potvrdené spätné DNS podcrawl.commoncrawl.org; adresy IPv6 spätné DNS nemajú. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, ktorý podľa Bingu treba obnovovať denne, pretože sa môže kedykoľvek zmeniť, alebo spätné DNS končiace nasearch.msn.com. Bing ponúka aj verejný nástroj Verify Bingbot. - Meta: jej stránka crawlerov zoznam IP nezverejňuje.
Ako overiť IP adresu voči oficiálnym zoznamom crawlerov?
Tento skript načíta každý zoznam a vypíše, ktorý z nich adresu obsahuje. Potrebuje len Python 3 a zvláda IPv4 aj IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Zoznamy sa menia. Každý súbor má vlastný creationTime, Perplexity odporúča automatizovať aktualizácie pravidiel firewallu a Bing žiada obnovovať jeho zoznam denne. Ak zoznamy používate vo firewalle, sťahujte ich pravidelne, nie len raz.
Ako overiť Googlebot, bingbot alebo Applebot cez spätné DNS?
Google, Microsoft, Apple a Common Crawl dokumentujú rovnakú dvojkrokovú kontrolu: zistite názov IP adresy, overte, že končí doménou poskytovateľa, potom tento názov preložte a overte, že vráti tú istú IP. Oba kroky sú dôležité, pretože kto ovláda rozsah IP, môže nastaviť ľubovoľný spätný DNS názov, ale nedokáže zariadiť, aby doména poskytovateľa ukazovala späť naň.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google pre svoje typy crawlerov akceptuje googlebot.com, google.com a googleusercontent.com; funkcia vyššie akceptuje len googlebot.com, ktorý v príkladoch Google používa samotný Googlebot. Pre ostatné crawlery a nástroje na sťahovanie od Google použite jeho zoznamy JSON. Vyhľadávanie v DNS trvá, preto ho spúšťajte pri kontrole logov alebo výsledok ukladajte, nie pri každej živej požiadavke.
Prečo na rozpoznanie GPTBot nestačí kontrola user agenta?
User agent je hlavička, ktorú si volí klient, takže GPTBot alebo Googlebot môže poslať ktokoľvek. Common Crawl varuje, že niektoré crawlery sa falošne vydávajú za CCBot, a Bing zverejňuje návod, ako overiť, či návštevnosť, ktorá sa vydáva za bingbot, naozaj pochádza z Bingu. Spoľahlivé rozpoznanie GPTBot znamená skontrolovať oboje: token v user agentovi a zdrojovú IP v gptbot.json. Požiadavka s tokenom z adresy mimo zoznamu je napodobenina a jej zablokovanie OpenAI neovplyvní.
Stáva sa aj opak. Ak váš firewall povoľuje len user agenta, napodobeniny prejdú; ak povoľuje len rozsah IP, každý agent zo siete daného poskytovateľa dostane rovnaké zaobchádzanie, aj ten, ktorý ste chceli zablokovať. Spoľahlivým pravidlom je zhoda oboch.
Ako môže AISeeWhy pomôcť overiť návštevnosť AI crawlerov?
Bezplatná kontrola IP AI crawlerov od AISeeWhy vám bez účtu povie, či IP adresa patrí GPTBot alebo inému AI crawleru. Bezplatná kontrola webu potom vyžiada vašu stránku ako 16 AI a vyhľadávacích crawlerov vedľa skutočného prehliadača, takže uvidíte, čo by dostali skutočné crawlery.
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Overenie IP AI crawlerov
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Aký je user agent GPTBot?
OpenAI zverejňuje Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot a upozorňuje, že verzia sa môže zmeniť. Porovnávajte GPTBot a IP overte voči https://openai.com/gptbot.json.
Aký je user agent OAI-SearchBot?
Reťazec v štýle Chrome, ktorý končí na compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Jeho adresy sú v https://openai.com/searchbot.json. OpenAI ho používa na zobrazovanie webov vo vyhľadávaní ChatGPT, čo je iná úloha než pri GPTBot.
Zverejňuje Anthropic IP adresy ClaudeBot?
Áno. Anthropic odkazuje na https://claude.com/crawling/bots.json a uvádza, že zdrojová IP z tohto zoznamu dokazuje, že crawler je od Anthropic. Jeho článok pomocníka menuje tokeny botov, ale nie úplné reťazce user agenta.
Uvidím Google-Extended alebo Applebot-Extended vo svojich logoch?
Nie. Oba sú tokeny robots.txt, nie crawlery. Google a Apple sťahujú stránky cez Googlebot a Applebot a tieto tokeny používajú len na rozhodnutie, ako sa smie obsah použiť pre AI.
Kde je zoznam IP adries bingbot?
Bing ho zverejňuje na https://www.bing.com/toolbox/bingbot.json a žiada ho obnovovať denne. Jeho vlastný návod odporúča spätnú a doprednú kontrolu DNS, pri ktorej musí názov končiť na search.msn.com.
Zdroje
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot