User agents και εύρη IP των AI crawlers: GPTBot, ClaudeBot, PerplexityBot και άλλοι

Δημοσιεύθηκε

Σύντομη απάντηση

Ο GPTBot αυτοπροσδιορίζεται με user agent που περιέχει GPTBot/1.4; +https://openai.com/gptbot, και η OpenAI, η Anthropic, η Perplexity, η Google, η Microsoft, η Apple και το Common Crawl δημοσιεύουν η καθεμία μια λίστα JSON με τα εύρη IP που χρησιμοποιούν οι crawlers τους. Ένα αίτημα είναι γνήσιο μόνο όταν ταιριάζουν και τα δύο: ο user agent κατονομάζει τον crawler και η IP προέλευσης βρίσκεται στη λίστα του παρόχου ή, για τους Googlebot, bingbot, Applebot και CCBot, περνά έλεγχο αντίστροφου και ευθέος DNS. Ο user agent μόνος του δεν αποδεικνύει τίποτα, γιατί μπορεί να τον στείλει οποιοσδήποτε.

Όταν βλέπετε GPTBot ή ClaudeBot στα logs σας ή θέλετε έναν κανόνα firewall που αφήνει να περάσουν οι crawlers αναζήτησης AI, χρειάζεστε δύο πράγματα: την ακριβή συμβολοσειρά που στέλνει κάθε crawler και έναν τρόπο να αποδείξετε ότι ένα αίτημα ήρθε από την εταιρεία που αναφέρει. Παρακάτω είναι οι συμβολοσειρές όπως τις δημοσιεύει σήμερα κάθε πάροχος, η επίσημη λίστα IP ή η μέθοδος DNS για τον καθένα και δύο scripts που μπορείτε να τρέξετε για να ελέγξετε μια διεύθυνση.

Σε αυτή τη σελίδα
  1. Ποιοι είναι οι user agents των GPTBot, ClaudeBot, PerplexityBot και άλλων AI crawlers;
  2. Ποιος crawler κάνει τι, και ποια ονόματα είναι μόνο tokens του robots.txt;
  3. Πού δημοσιεύουν οι πάροχοι AI crawlers τα εύρη IP τους;
  4. Πώς ελέγχω μια διεύθυνση IP στις επίσημες λίστες crawlers;
  5. Πώς επαληθεύω τον Googlebot, τον bingbot ή τον Applebot με αντίστροφο DNS;
  6. Γιατί ο έλεγχος του user agent δεν αρκεί για να εντοπίσετε τον GPTBot;
  7. Πώς βοηθά το AISeeWhy να επαληθεύσετε την κίνηση των AI crawlers;

Ποιοι είναι οι user agents των GPTBot, ClaudeBot, PerplexityBot και άλλων AI crawlers;

Έχουν αντιγραφεί από την τεκμηρίωση των ίδιων των παρόχων. Η OpenAI και η Perplexity σημειώνουν ότι οι αριθμοί έκδοσης μπορεί να αλλάξουν, η Google και η Microsoft βάζουν την τρέχουσα έκδοση του browser στη θέση του W.X.Y.Z, και η Apple λέει ότι κατά καιρούς ενημερώνει το τμήμα του browser. Αντιστοιχίζετε με το token του crawler, όπως GPTBot ή bingbot, όχι με ολόκληρη τη συμβολοσειρά.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Το άρθρο βοήθειας της Anthropic κατονομάζει τους ClaudeBot, Claude-SearchBot και Claude-User αλλά δεν δίνει πλήρεις συμβολοσειρές user agent, οπότε αντιστοιχίζετε με αυτά τα tokens. Η σελίδα crawlers της Meta δίνει συμβολοσειρές που ξεκινούν με τα tokens που φαίνονται, ακολουθούμενα από σύνδεσμο στην τεκμηρίωσή της, και λέει ότι οι συμβολοσειρές στα logs σας μπορεί να διαφέρουν ελαφρώς.

Ποιος crawler κάνει τι, και ποια ονόματα είναι μόνο tokens του robots.txt;

Δύο ονόματα δεν εμφανίζονται ποτέ στα logs σας. Το Google-Extended είναι token του robots.txt που ελέγχει αν το περιεχόμενο που ανιχνεύει η Google μπορεί να χρησιμοποιηθεί για τα μοντέλα Gemini και για grounding· η Google λέει ότι δεν επηρεάζει την εισαγωγή στην Αναζήτηση Google. Το Applebot-Extended είναι, κατά την Apple, ένας δευτερεύων user agent που δεν ανιχνεύει ιστοσελίδες· αποφασίζει μόνο πώς μπορεί η Apple να χρησιμοποιήσει δεδομένα που συνέλεξε ο Applebot. Ένα αίτημα που ισχυρίζεται ότι είναι κάποιο από τα δύο δεν είναι γνήσιο.

Πού δημοσιεύουν οι πάροχοι AI crawlers τα εύρη IP τους;

Οι περισσότεροι πάροχοι δημοσιεύουν ένα αρχείο JSON με την ίδια μορφή: έναν πίνακα prefixes με αντικείμενα που έχουν ipv4Prefix ή ipv6Prefix, καθώς και ένα creationTime που δείχνει πόσο φρέσκο είναι.

Πώς ελέγχω μια διεύθυνση IP στις επίσημες λίστες crawlers;

Αυτό το script φορτώνει κάθε λίστα και αναφέρει ποια περιέχει τη διεύθυνση. Χρειάζεται μόνο Python 3 και χειρίζεται IPv4 και IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Οι λίστες αλλάζουν. Κάθε αρχείο έχει το δικό του creationTime, η Perplexity συνιστά αυτόματη ενημέρωση των κανόνων του firewall σας και το Bing ζητά να ανανεώνετε τη λίστα του καθημερινά. Αν χρησιμοποιείτε τις λίστες σε firewall, ανακτάτε τις με χρονοπρογραμματισμό αντί να τις αντιγράψετε μία φορά.

Πώς επαληθεύω τον Googlebot, τον bingbot ή τον Applebot με αντίστροφο DNS;

Η Google, η Microsoft, η Apple και το Common Crawl τεκμηριώνουν τον ίδιο έλεγχο δύο βημάτων: βρείτε το όνομα της διεύθυνσης IP, επιβεβαιώστε ότι τελειώνει στον τομέα του παρόχου, έπειτα αναζητήστε αυτό το όνομα και επιβεβαιώστε ότι επιστρέφει την ίδια IP. Και τα δύο βήματα μετρούν, γιατί όποιος ελέγχει ένα εύρος IP μπορεί να ορίσει όποιο όνομα αντίστροφου DNS θέλει, αλλά δεν μπορεί να κάνει τον τομέα του παρόχου να δείχνει πίσω σε αυτόν.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Η Google δέχεται τα googlebot.com, google.com και googleusercontent.com για τους διάφορους τύπους crawlers της· η παραπάνω συνάρτηση δέχεται μόνο το googlebot.com, που είναι αυτό που χρησιμοποιεί ο ίδιος ο Googlebot στα παραδείγματα της Google. Για τους άλλους crawlers και fetchers της Google, χρησιμοποιήστε τις λίστες JSON της. Οι αναζητήσεις DNS παίρνουν χρόνο, οπότε τρέξτε τες όταν εξετάζετε logs ή κρατήστε το αποτέλεσμα σε cache, αντί για κάθε ζωντανό αίτημα.

Γιατί ο έλεγχος του user agent δεν αρκεί για να εντοπίσετε τον GPTBot;

Ο user agent είναι header που επιλέγει ο client, οπότε οποιοσδήποτε μπορεί να στείλει GPTBot ή Googlebot. Το Common Crawl προειδοποιεί ότι κάποιοι crawlers παριστάνουν ψευδώς τον CCBot, και το Bing δημοσιεύει οδηγό για να ελέγχετε αν η κίνηση που δηλώνει bingbot προέρχεται πράγματι από το Bing. Για να εντοπίσετε αξιόπιστα τον GPTBot πρέπει να ελέγξετε και τα δύο: το token στον user agent και την IP προέλευσης στο gptbot.json. Ένα αίτημα με το token από διεύθυνση εκτός λίστας είναι μίμηση, και το μπλοκάρισμά του δεν επηρεάζει την OpenAI.

Συμβαίνει και το αντίστροφο. Αν το firewall σας επιτρέπει μόνο με βάση τον user agent, οι μιμητές μπαίνουν· αν επιτρέπει μόνο με βάση το εύρος IP, κάθε agent από το δίκτυο αυτού του παρόχου έχει την ίδια μεταχείριση, ακόμη κι αυτός που θέλατε να μπλοκάρετε. Η αντιστοίχιση και των δύο είναι ο αξιόπιστος κανόνας.

Πώς βοηθά το AISeeWhy να επαληθεύσετε την κίνηση των AI crawlers;

Ο δωρεάν έλεγχος IP AI crawlers του AISeeWhy σας λέει, χωρίς λογαριασμό, αν μια διεύθυνση IP ανήκει στον GPTBot ή σε άλλον AI crawler. Ο δωρεάν έλεγχος ιστότοπου ζητά έπειτα τη σελίδα σας ως 16 AI crawlers και crawlers μηχανών αναζήτησης δίπλα σε έναν πραγματικό browser, ώστε να βλέπετε τι θα λάμβαναν οι γνήσιοι crawlers.

Δωρεάν εργαλεία

Επόμενα βήματα

Crawlers σε αυτό το άρθρο

Συχνές ερωτήσεις

Ποιος είναι ο user agent του GPTBot;

Η OpenAI δημοσιεύει Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot και σημειώνει ότι η έκδοση μπορεί να αλλάξει. Αντιστοιχίζετε με το GPTBot και επιβεβαιώνετε την IP στο https://openai.com/gptbot.json.

Ποιος είναι ο user agent του OAI-SearchBot;

Μια συμβολοσειρά τύπου Chrome που τελειώνει σε compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Οι διευθύνσεις του αναφέρονται στο https://openai.com/searchbot.json. Η OpenAI τον χρησιμοποιεί για να εμφανίζει ιστότοπους στην αναζήτηση του ChatGPT, δουλειά διαφορετική από του GPTBot.

Δημοσιεύει η Anthropic τις διευθύνσεις IP του ClaudeBot;

Ναι. Η Anthropic παραπέμπει στο https://claude.com/crawling/bots.json και λέει ότι μια IP προέλευσης σε αυτή τη λίστα δείχνει ότι ο crawler είναι της Anthropic. Το άρθρο βοήθειάς της κατονομάζει τα tokens των bots αλλά όχι πλήρεις συμβολοσειρές user agent.

Μπορώ να δω το Google-Extended ή το Applebot-Extended στα logs μου;

Όχι. Και τα δύο είναι tokens του robots.txt, όχι crawlers. Η Google και η Apple ανακτούν σελίδες με τον Googlebot και τον Applebot και χρησιμοποιούν αυτά τα tokens μόνο για να αποφασίσουν πώς μπορεί να χρησιμοποιηθεί το περιεχόμενο για AI.

Πού είναι η λίστα διευθύνσεων IP του bingbot;

Το Bing τη δημοσιεύει στο https://www.bing.com/toolbox/bingbot.json και ζητά να την ανανεώνετε καθημερινά. Ο δικός του οδηγός συνιστά τον έλεγχο αντίστροφου και ευθέος DNS, όπου το όνομα πρέπει να τελειώνει σε search.msn.com.

Πηγές

Περισσότερα άρθρα