User agents και εύρη IP των AI crawlers: GPTBot, ClaudeBot, PerplexityBot και άλλοι
Ο GPTBot αυτοπροσδιορίζεται με user agent που περιέχει GPTBot/1.4; +https://openai.com/gptbot, και η OpenAI, η Anthropic, η Perplexity, η Google, η Microsoft, η Apple και το Common Crawl δημοσιεύουν η καθεμία μια λίστα JSON με τα εύρη IP που χρησιμοποιούν οι crawlers τους. Ένα αίτημα είναι γνήσιο μόνο όταν ταιριάζουν και τα δύο: ο user agent κατονομάζει τον crawler και η IP προέλευσης βρίσκεται στη λίστα του παρόχου ή, για τους Googlebot, bingbot, Applebot και CCBot, περνά έλεγχο αντίστροφου και ευθέος DNS. Ο user agent μόνος του δεν αποδεικνύει τίποτα, γιατί μπορεί να τον στείλει οποιοσδήποτε.
Όταν βλέπετε GPTBot ή ClaudeBot στα logs σας ή θέλετε έναν κανόνα firewall που αφήνει να περάσουν οι crawlers αναζήτησης AI, χρειάζεστε δύο πράγματα: την ακριβή συμβολοσειρά που στέλνει κάθε crawler και έναν τρόπο να αποδείξετε ότι ένα αίτημα ήρθε από την εταιρεία που αναφέρει. Παρακάτω είναι οι συμβολοσειρές όπως τις δημοσιεύει σήμερα κάθε πάροχος, η επίσημη λίστα IP ή η μέθοδος DNS για τον καθένα και δύο scripts που μπορείτε να τρέξετε για να ελέγξετε μια διεύθυνση.
Σε αυτή τη σελίδα
- Ποιοι είναι οι user agents των GPTBot, ClaudeBot, PerplexityBot και άλλων AI crawlers;
- Ποιος crawler κάνει τι, και ποια ονόματα είναι μόνο tokens του robots.txt;
- Πού δημοσιεύουν οι πάροχοι AI crawlers τα εύρη IP τους;
- Πώς ελέγχω μια διεύθυνση IP στις επίσημες λίστες crawlers;
- Πώς επαληθεύω τον Googlebot, τον bingbot ή τον Applebot με αντίστροφο DNS;
- Γιατί ο έλεγχος του user agent δεν αρκεί για να εντοπίσετε τον GPTBot;
- Πώς βοηθά το AISeeWhy να επαληθεύσετε την κίνηση των AI crawlers;
Ποιοι είναι οι user agents των GPTBot, ClaudeBot, PerplexityBot και άλλων AI crawlers;
Έχουν αντιγραφεί από την τεκμηρίωση των ίδιων των παρόχων. Η OpenAI και η Perplexity σημειώνουν ότι οι αριθμοί έκδοσης μπορεί να αλλάξουν, η Google και η Microsoft βάζουν την τρέχουσα έκδοση του browser στη θέση του W.X.Y.Z, και η Apple λέει ότι κατά καιρούς ενημερώνει το τμήμα του browser. Αντιστοιχίζετε με το token του crawler, όπως GPTBot ή bingbot, όχι με ολόκληρη τη συμβολοσειρά.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Το άρθρο βοήθειας της Anthropic κατονομάζει τους ClaudeBot, Claude-SearchBot και Claude-User αλλά δεν δίνει πλήρεις συμβολοσειρές user agent, οπότε αντιστοιχίζετε με αυτά τα tokens. Η σελίδα crawlers της Meta δίνει συμβολοσειρές που ξεκινούν με τα tokens που φαίνονται, ακολουθούμενα από σύνδεσμο στην τεκμηρίωσή της, και λέει ότι οι συμβολοσειρές στα logs σας μπορεί να διαφέρουν ελαφρώς.
Ποιος crawler κάνει τι, και ποια ονόματα είναι μόνο tokens του robots.txt;
- Ο
GPTBotσυλλέγει περιεχόμενο που μπορεί να χρησιμοποιηθεί για την εκπαίδευση των θεμελιωδών μοντέλων της OpenAI. ΟOAI-SearchBotεμφανίζει ιστότοπους στην αναζήτηση του ChatGPT. ΟChatGPT-Userανακτά σελίδες για ενέργειες που ξεκινά ένας χρήστης, και η OpenAI λέει ότι οι κανόνες του robots.txt μπορεί να μην ισχύουν γι' αυτόν. ΟOAI-AdsBotελέγχει σελίδες που υποβάλλονται ως διαφημίσεις στο ChatGPT. - Ο
ClaudeBotσυλλέγει δεδομένα για τα μοντέλα της Anthropic, οClaude-SearchBotβελτιώνει τα αποτελέσματα αναζήτησης και οClaude-Userανακτά σελίδες όταν κάποιος κάνει μια ερώτηση στο Claude. - Ο
PerplexityBotεμφανίζει και συνδέει ιστότοπους στην αναζήτηση της Perplexity και δεν χρησιμοποιείται για εκπαίδευση θεμελιωδών μοντέλων. ΟPerplexity-Userανακτά σελίδες όταν ένας χρήστης κάνει μια ερώτηση. - Ο
meta-externalagentανιχνεύει για εκπαίδευση μοντέλων AI ή ευρετηρίαση περιεχομένου, οmeta-webindexerευρετηριάζει περιεχόμενο για την αναζήτηση του Meta AI και οmeta-externalfetcherανακτά συνδέσμους κατόπιν αιτήματος χρήστη. - Ο
CCBotείναι ο crawler του Common Crawl, ενός δημόσιου αρχείου του web.
Δύο ονόματα δεν εμφανίζονται ποτέ στα logs σας. Το Google-Extended είναι token του robots.txt που ελέγχει αν το περιεχόμενο που ανιχνεύει η Google μπορεί να χρησιμοποιηθεί για τα μοντέλα Gemini και για grounding· η Google λέει ότι δεν επηρεάζει την εισαγωγή στην Αναζήτηση Google. Το Applebot-Extended είναι, κατά την Apple, ένας δευτερεύων user agent που δεν ανιχνεύει ιστοσελίδες· αποφασίζει μόνο πώς μπορεί η Apple να χρησιμοποιήσει δεδομένα που συνέλεξε ο Applebot. Ένα αίτημα που ισχυρίζεται ότι είναι κάποιο από τα δύο δεν είναι γνήσιο.
Πού δημοσιεύουν οι πάροχοι AI crawlers τα εύρη IP τους;
Οι περισσότεροι πάροχοι δημοσιεύουν ένα αρχείο JSON με την ίδια μορφή: έναν πίνακα prefixes με αντικείμενα που έχουν ipv4Prefix ή ipv6Prefix, καθώς και ένα creationTime που δείχνει πόσο φρέσκο είναι.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonκαιhttps://openai.com/adsbot.json, ένα ανά agent. - Anthropic:
https://claude.com/crawling/bots.json, μία λίστα για τους crawlers της. Η Anthropic λέει ότι μια διεύθυνση σε αυτή τη λίστα δείχνει ότι ο crawler προέρχεται από την Anthropic, αλλά και ότι ο αποκλεισμός IP μπορεί να μην εγγυάται αξιόπιστα την εξαίρεση. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonκαιhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonγια τον Googlebot, με ξεχωριστά αρχεία για crawlers ειδικών περιπτώσεων και για ανακτήσεις που ενεργοποιεί ο χρήστης. Λειτουργεί και το αντίστροφο DNS. - Apple:
https://search.developer.apple.com/applebot.jsonή αντίστροφο DNS στοapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Για IPv4 συνιστά επίσης αντίστροφο DNS επιβεβαιωμένο με ευθύ, στοcrawl.commoncrawl.org· οι διευθύνσεις IPv6 δεν έχουν αντίστροφο DNS. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, που το Bing ζητά να ανανεώνετε καθημερινά γιατί μπορεί να αλλάξει ανά πάσα στιγμή, ή αντίστροφο DNS που τελειώνει σεsearch.msn.com. Το Bing προσφέρει επίσης δημόσιο εργαλείο Verify Bingbot. - Meta: η σελίδα crawlers της δεν δημοσιεύει λίστα IP.
Πώς ελέγχω μια διεύθυνση IP στις επίσημες λίστες crawlers;
Αυτό το script φορτώνει κάθε λίστα και αναφέρει ποια περιέχει τη διεύθυνση. Χρειάζεται μόνο Python 3 και χειρίζεται IPv4 και IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Οι λίστες αλλάζουν. Κάθε αρχείο έχει το δικό του creationTime, η Perplexity συνιστά αυτόματη ενημέρωση των κανόνων του firewall σας και το Bing ζητά να ανανεώνετε τη λίστα του καθημερινά. Αν χρησιμοποιείτε τις λίστες σε firewall, ανακτάτε τις με χρονοπρογραμματισμό αντί να τις αντιγράψετε μία φορά.
Πώς επαληθεύω τον Googlebot, τον bingbot ή τον Applebot με αντίστροφο DNS;
Η Google, η Microsoft, η Apple και το Common Crawl τεκμηριώνουν τον ίδιο έλεγχο δύο βημάτων: βρείτε το όνομα της διεύθυνσης IP, επιβεβαιώστε ότι τελειώνει στον τομέα του παρόχου, έπειτα αναζητήστε αυτό το όνομα και επιβεβαιώστε ότι επιστρέφει την ίδια IP. Και τα δύο βήματα μετρούν, γιατί όποιος ελέγχει ένα εύρος IP μπορεί να ορίσει όποιο όνομα αντίστροφου DNS θέλει, αλλά δεν μπορεί να κάνει τον τομέα του παρόχου να δείχνει πίσω σε αυτόν.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Η Google δέχεται τα googlebot.com, google.com και googleusercontent.com για τους διάφορους τύπους crawlers της· η παραπάνω συνάρτηση δέχεται μόνο το googlebot.com, που είναι αυτό που χρησιμοποιεί ο ίδιος ο Googlebot στα παραδείγματα της Google. Για τους άλλους crawlers και fetchers της Google, χρησιμοποιήστε τις λίστες JSON της. Οι αναζητήσεις DNS παίρνουν χρόνο, οπότε τρέξτε τες όταν εξετάζετε logs ή κρατήστε το αποτέλεσμα σε cache, αντί για κάθε ζωντανό αίτημα.
Γιατί ο έλεγχος του user agent δεν αρκεί για να εντοπίσετε τον GPTBot;
Ο user agent είναι header που επιλέγει ο client, οπότε οποιοσδήποτε μπορεί να στείλει GPTBot ή Googlebot. Το Common Crawl προειδοποιεί ότι κάποιοι crawlers παριστάνουν ψευδώς τον CCBot, και το Bing δημοσιεύει οδηγό για να ελέγχετε αν η κίνηση που δηλώνει bingbot προέρχεται πράγματι από το Bing. Για να εντοπίσετε αξιόπιστα τον GPTBot πρέπει να ελέγξετε και τα δύο: το token στον user agent και την IP προέλευσης στο gptbot.json. Ένα αίτημα με το token από διεύθυνση εκτός λίστας είναι μίμηση, και το μπλοκάρισμά του δεν επηρεάζει την OpenAI.
Συμβαίνει και το αντίστροφο. Αν το firewall σας επιτρέπει μόνο με βάση τον user agent, οι μιμητές μπαίνουν· αν επιτρέπει μόνο με βάση το εύρος IP, κάθε agent από το δίκτυο αυτού του παρόχου έχει την ίδια μεταχείριση, ακόμη κι αυτός που θέλατε να μπλοκάρετε. Η αντιστοίχιση και των δύο είναι ο αξιόπιστος κανόνας.
Πώς βοηθά το AISeeWhy να επαληθεύσετε την κίνηση των AI crawlers;
Ο δωρεάν έλεγχος IP AI crawlers του AISeeWhy σας λέει, χωρίς λογαριασμό, αν μια διεύθυνση IP ανήκει στον GPTBot ή σε άλλον AI crawler. Ο δωρεάν έλεγχος ιστότοπου ζητά έπειτα τη σελίδα σας ως 16 AI crawlers και crawlers μηχανών αναζήτησης δίπλα σε έναν πραγματικό browser, ώστε να βλέπετε τι θα λάμβαναν οι γνήσιοι crawlers.
Επόμενα βήματα
- robots.txt tester και έλεγχος για crawlers AI
- Έλεγχος IP των crawlers AI
- Δείτε ένα παράδειγμα πλήρους αναφοράς
- Παρακολούθηση crawlers AI
- Πλάνα και τιμές
Crawlers σε αυτό το άρθρο
Συχνές ερωτήσεις
Ποιος είναι ο user agent του GPTBot;
Η OpenAI δημοσιεύει Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot και σημειώνει ότι η έκδοση μπορεί να αλλάξει. Αντιστοιχίζετε με το GPTBot και επιβεβαιώνετε την IP στο https://openai.com/gptbot.json.
Ποιος είναι ο user agent του OAI-SearchBot;
Μια συμβολοσειρά τύπου Chrome που τελειώνει σε compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Οι διευθύνσεις του αναφέρονται στο https://openai.com/searchbot.json. Η OpenAI τον χρησιμοποιεί για να εμφανίζει ιστότοπους στην αναζήτηση του ChatGPT, δουλειά διαφορετική από του GPTBot.
Δημοσιεύει η Anthropic τις διευθύνσεις IP του ClaudeBot;
Ναι. Η Anthropic παραπέμπει στο https://claude.com/crawling/bots.json και λέει ότι μια IP προέλευσης σε αυτή τη λίστα δείχνει ότι ο crawler είναι της Anthropic. Το άρθρο βοήθειάς της κατονομάζει τα tokens των bots αλλά όχι πλήρεις συμβολοσειρές user agent.
Μπορώ να δω το Google-Extended ή το Applebot-Extended στα logs μου;
Όχι. Και τα δύο είναι tokens του robots.txt, όχι crawlers. Η Google και η Apple ανακτούν σελίδες με τον Googlebot και τον Applebot και χρησιμοποιούν αυτά τα tokens μόνο για να αποφασίσουν πώς μπορεί να χρησιμοποιηθεί το περιεχόμενο για AI.
Πού είναι η λίστα διευθύνσεων IP του bingbot;
Το Bing τη δημοσιεύει στο https://www.bing.com/toolbox/bingbot.json και ζητά να την ανανεώνετε καθημερινά. Ο δικός του οδηγός συνιστά τον έλεγχο αντίστροφου και ευθέος DNS, όπου το όνομα πρέπει να τελειώνει σε search.msn.com.
Πηγές
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot