AI-crawlerek user agentjei és IP-tartományai: GPTBot, ClaudeBot, PerplexityBot és mások
A GPTBot egy GPTBot/1.4; +https://openai.com/gptbot részt tartalmazó user agenttel azonosítja magát, és az OpenAI, az Anthropic, a Perplexity, a Google, a Microsoft, az Apple és a Common Crawl egyaránt JSON-listában teszi közzé a crawlerei által használt IP-tartományokat. Egy kérés csak akkor valódi, ha mindkettő egyezik: a user agent megnevezi a crawlert, és a forrás-IP benne van az adott szolgáltató listájában, illetve a Googlebot, a bingbot, az Applebot és a CCBot esetében átmegy a fordított és az előre irányuló DNS-ellenőrzésen. A user agent önmagában semmit sem bizonyít, mert bárki elküldheti.
Ha GPTBot vagy ClaudeBot bejegyzést lát a naplóiban, vagy olyan tűzfalszabályt szeretne, amely átengedi az AI-keresőcrawlereket, két dologra van szüksége: arra a pontos karakterláncra, amelyet az egyes crawlerek küldenek, és egy módszerre annak bizonyítására, hogy a kérés valóban a megnevezett cégtől jön. Alább megtalálja a karakterláncokat úgy, ahogy a szolgáltatók ma közzéteszik, mindegyikhez a hivatalos IP-listát vagy DNS-módszert, és két szkriptet, amellyel ellenőrizhet egy címet.
Ezen az oldalon
- Mik a GPTBot, a ClaudeBot, a PerplexityBot és más AI-crawlerek user agent karakterláncai?
- Melyik crawler mit csinál, és mely nevek csak robots.txt-tokenek?
- Hol teszik közzé az AI-crawlerek szolgáltatói az IP-tartományaikat?
- Hogyan ellenőrizhetek egy IP-címet a hivatalos crawlerlistákkal?
- Hogyan ellenőrizzem a Googlebotot, a bingbotot vagy az Applebotot fordított DNS-sel?
- Miért nem elég a user agent ellenőrzése a GPTBot felismeréséhez?
- Hogyan segít az AISeeWhy az AI-crawlerek forgalmának ellenőrzésében?
Mik a GPTBot, a ClaudeBot, a PerplexityBot és más AI-crawlerek user agent karakterláncai?
Ezek a szolgáltatók saját dokumentációjából származnak. Az OpenAI és a Perplexity megjegyzi, hogy a verziószámok változhatnak, a Google és a Microsoft a W.X.Y.Z helyére az aktuális böngészőverziót írja, az Apple pedig szerint a böngészőrész időnként frissül. A crawler tokenjére illesszen, például a GPTBot vagy a bingbot tokenre, ne a teljes karakterláncra.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Az Anthropic súgócikke megnevezi a ClaudeBot, a Claude-SearchBot és a Claude-User tokent, de teljes user agent karakterláncot nem közöl, ezért ezekre a tokenekre illesszen. A Meta crawleroldala olyan karakterláncokat sorol fel, amelyek a fenti tokenekkel kezdődnek, és a dokumentációjára mutató link követi őket; szerinte a naplókban megjelenő karakterláncok kissé eltérhetnek.
Melyik crawler mit csinál, és mely nevek csak robots.txt-tokenek?
- A
GPTBotolyan tartalmat gyűjt, amelyet az OpenAI alapmodelljeinek tanításához használhatnak. AzOAI-SearchBotmegjeleníti a webhelyeket a ChatGPT-keresésben. AChatGPT-Usera felhasználó által indított műveletekhez kér le oldalakat, és az OpenAI szerint rá a robots.txt-szabályok nem feltétlenül vonatkoznak. AzOAI-AdsBota ChatGPT-hirdetésként beküldött oldalakat ellenőrzi. - A
ClaudeBotaz Anthropic modelljeihez gyűjt adatot, aClaude-SearchBota keresési találatokat javítja, aClaude-Userpedig akkor kér le oldalakat, amikor valaki kérdést tesz fel a Claude-nak. - A
PerplexityBotmegjeleníti és linkeli a webhelyeket a Perplexity keresésében, és nem használják alapmodellek tanítására. APerplexity-Userakkor kér le oldalakat, amikor egy felhasználó kérdez. - A
meta-externalagentAI-modellek tanításához vagy tartalom indexeléséhez térképez, ameta-webindexera Meta AI keresése számára indexel, ameta-externalfetcherpedig felhasználói kérésre kér le linkeket. - A
CCBota Common Crawl, egy nyilvános webarchívum crawlere.
Két név sosem jelenik meg a naplóiban. A Google-Extended egy robots.txt-token, amely azt szabályozza, hogy a Google által feltérképezett tartalom felhasználható-e a Gemini-modellekhez és a válaszok megalapozásához (grounding); a Google szerint nem befolyásolja a Google Keresőben való megjelenést. Az Applebot-Extended az Apple szavaival egy másodlagos user agent, amely nem térképez fel weboldalakat; csak azt határozza meg, hogyan használhatja az Apple az Applebot által gyűjtött adatokat. Az a kérés, amely ezek bármelyikének adja ki magát, nem valódi.
Hol teszik közzé az AI-crawlerek szolgáltatói az IP-tartományaikat?
A legtöbb szolgáltató azonos szerkezetű JSON-fájlt tesz közzé: egy prefixes tömböt ipv4Prefix vagy ipv6Prefix mezőket tartalmazó objektumokkal, valamint egy creationTime mezőt, amelyből látszik, mennyire friss.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonéshttps://openai.com/adsbot.json, ügynökönként egy. - Anthropic:
https://claude.com/crawling/bots.json, egyetlen lista a crawlereihez. Az Anthropic szerint egy ezen a listán szereplő cím azt mutatja, hogy a crawler az Anthropictól jön, ugyanakkor az IP-alapú blokkolás nem feltétlenül garantálja megbízhatóan a kimaradást (opt-out). - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonéshttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsona Googlebothoz, külön fájlokkal a speciális crawlerekhez és a felhasználó által indított lekérőkhöz. Fordított DNS is használható. - Apple:
https://search.developer.apple.com/applebot.json, vagy fordított DNS azapplebot.apple.comalatt. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. IPv4 esetén előre irányuló lekérdezéssel megerősített fordított DNS-t is ajánl acrawl.commoncrawl.orgalatt; az IPv6-címeknek nincs fordított DNS-e. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, amelyet a Bing szerint naponta frissíteni kell, mert bármikor változhat, vagysearch.msn.comvégződésű fordított DNS. A Bing nyilvános Verify Bingbot eszközt is kínál. - Meta: a crawleroldala nem tesz közzé IP-listát.
Hogyan ellenőrizhetek egy IP-címet a hivatalos crawlerlistákkal?
Ez a szkript betölti az összes listát, és jelzi, melyik tartalmazza a címet. Csak Python 3 kell hozzá, és IPv4-et és IPv6-ot is kezel.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF A listák változnak. Minden fájlnak saját creationTime értéke van, a Perplexity a tűzfalszabályok automatikus frissítését javasolja, a Bing pedig napi frissítést kér. Ha tűzfalban használja a listákat, ütemezetten töltse le őket ahelyett, hogy egyszer átmásolná.
Hogyan ellenőrizzem a Googlebotot, a bingbotot vagy az Applebotot fordított DNS-sel?
A Google, a Microsoft, az Apple és a Common Crawl ugyanazt a kétlépéses ellenőrzést dokumentálja: kérdezze le az IP-cím nevét, győződjön meg róla, hogy a szolgáltató domainjére végződik, majd kérdezze le ezt a nevet, és ellenőrizze, hogy ugyanazt az IP-t adja vissza. Mindkét lépés számít, mert aki egy IP-tartományt irányít, bármilyen fordított DNS-nevet beállíthat, de a szolgáltató domainjét nem tudja visszamutattatni rá.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified A Google a crawlertípusain át a googlebot.com, a google.com és a googleusercontent.com domaint fogadja el; a fenti függvény csak a googlebot.com domaint fogadja el, mert a Google példáiban maga a Googlebot ezt használja. A Google többi crawleréhez és lekérőjéhez használja a JSON-listákat. A DNS-lekérdezések időbe telnek, ezért a naplók átnézésekor futtassa őket, vagy gyorsítótárazza az eredményt, ne minden élő kérésnél.
Miért nem elég a user agent ellenőrzése a GPTBot felismeréséhez?
A user agent egy fejléc, amelyet a kliens választ, így bárki küldhet GPTBot vagy Googlebot értéket. A Common Crawl figyelmeztet, hogy egyes crawlerek hamisan CCBot-nak adják ki magukat, a Bing pedig útmutatót tesz közzé annak ellenőrzésére, hogy a magát bingbotnak mondó forgalom valóban a Bingtől jön-e. A GPTBot megbízható felismerése mindkettő ellenőrzését jelenti: a tokent a user agentben és a forrás-IP-t a gptbot.json fájlban. A tokent nem listázott címről küldő kérés utánzó, és a blokkolása nem érinti az OpenAI-t.
Fordítva is megtörténik. Ha a tűzfala csak user agent alapján enged, az utánzók bejutnak; ha csak IP-tartomány alapján, akkor a szolgáltató hálózatáról érkező bármely ügynök ugyanazt a bánásmódot kapja, még az is, amelyet blokkolni akart. Mindkettő egyeztetése a megbízható szabály.
Hogyan segít az AISeeWhy az AI-crawlerek forgalmának ellenőrzésében?
Az ingyenes AISeeWhy AI-crawler IP-ellenőrző fiók nélkül megmondja, hogy egy IP-cím a GPTBothoz vagy egy másik AI-crawlerhez tartozik-e. Az ingyenes webhely-ellenőrzés ezután 16 AI- és keresőcrawlerként kéri le az oldalát egy valódi böngésző mellett, így láthatja, mit kapnának a valódi crawlerek.
Következő lépések
- robots.txt tesztelő és ellenőrző AI-crawlerekhez
- AI-crawler IP-ellenőrzés
- Nézzen meg egy teljes jelentést példaként
- AI-crawler-figyelés
- Csomagok és árak
A cikkben szereplő crawlerek
Gyakran ismételt kérdések
Mi a GPTBot user agentje?
Az OpenAI ezt teszi közzé: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot, és megjegyzi, hogy a verzió változhat. Illesszen a GPTBot tokenre, és ellenőrizze az IP-t a https://openai.com/gptbot.json listában.
Mi az OAI-SearchBot user agentje?
Egy Chrome-szerű karakterlánc, amely így végződik: compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. A címei a https://openai.com/searchbot.json fájlban szerepelnek. Az OpenAI arra használja, hogy megjelenítse a webhelyeket a ChatGPT-keresésben, ami más feladat, mint a GPTBot-é.
Közzéteszi az Anthropic a ClaudeBot IP-címeit?
Igen. Az Anthropic a https://claude.com/crawling/bots.json fájlra hivatkozik, és szerint a listán szereplő forrás-IP azt mutatja, hogy a crawler az Anthropictól jön. A súgócikke megnevezi a bottokeneket, de teljes user agent karakterláncokat nem.
Láthatom a Google-Extended vagy az Applebot-Extended bejegyzést a naplóimban?
Nem. Mindkettő robots.txt-token, nem crawler. A Google és az Apple a Googlebot és az Applebot segítségével kéri le az oldalakat, és ezeket a tokeneket csak arra használja, hogy eldöntse, hogyan használható a tartalom AI-hoz.
Hol találom a bingbot IP-címlistáját?
A Bing a https://www.bing.com/toolbox/bingbot.json címen teszi közzé, és napi frissítést kér. A saját útmutatója a fordított és előre irányuló DNS-ellenőrzést ajánlja, ahol a névnek search.msn.com végződésűnek kell lennie.
Források
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot