User agenty i zakresy IP crawlerów AI: GPTBot, ClaudeBot, PerplexityBot i inne

Opublikowano

Krótka odpowiedź

GPTBot przedstawia się user agentem zawierającym GPTBot/1.4; +https://openai.com/gptbot, a OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple i Common Crawl publikują listy JSON zakresów IP używanych przez ich crawlery. Żądanie jest prawdziwe tylko wtedy, gdy zgadzają się oba elementy: user agent wskazuje crawler, a źródłowy adres IP jest na liście dostawcy albo, w przypadku Googlebota, bingbota, Applebota i CCBot, przechodzi odwrotne i proste sprawdzenie DNS. Sam user agent niczego nie dowodzi, bo każdy może go wysłać.

Gdy widzisz GPTBot lub ClaudeBot w logach albo chcesz reguły firewalla, która przepuszcza crawlery wyszukiwania AI, potrzebujesz dwóch rzeczy: dokładnego ciągu, który wysyła każdy crawler, i sposobu, by udowodnić, że żądanie pochodzi od firmy, którą podaje. Poniżej są ciągi w takiej postaci, w jakiej dostawcy publikują je dziś, oficjalna lista IP lub metoda DNS dla każdego z nich i dwa skrypty do sprawdzenia adresu.

Na tej stronie
  1. Jakie są ciągi user agent GPTBot, ClaudeBot, PerplexityBot i innych crawlerów AI?
  2. Który crawler co robi i które nazwy są tylko tokenami robots.txt?
  3. Gdzie dostawcy crawlerów AI publikują swoje zakresy IP?
  4. Jak sprawdzić adres IP na oficjalnych listach crawlerów?
  5. Jak zweryfikować Googlebota, bingbota lub Applebota przez odwrotny DNS?
  6. Dlaczego sprawdzenie user agenta nie wystarczy, by wykryć GPTBot?
  7. Jak AISeeWhy pomaga weryfikować ruch crawlerów AI?

Jakie są ciągi user agent GPTBot, ClaudeBot, PerplexityBot i innych crawlerów AI?

Są skopiowane z dokumentacji samych dostawców. OpenAI i Perplexity zaznaczają, że numery wersji mogą się zmieniać, Google i Microsoft wstawiają aktualną wersję przeglądarki w miejscu W.X.Y.Z, a Apple podaje, że czasem aktualizuje część dotyczącą przeglądarki. Dopasowuj token crawlera, taki jak GPTBot lub bingbot, a nie cały ciąg.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Artykuł pomocy Anthropic wymienia ClaudeBot, Claude-SearchBot i Claude-User, ale nie podaje pełnych ciągów user agent, więc dopasowuj te tokeny. Strona crawlerów Meta podaje ciągi zaczynające się od pokazanych tokenów, po których następuje link do dokumentacji, i zaznacza, że ciągi w Twoich logach mogą się nieco różnić.

Który crawler co robi i które nazwy są tylko tokenami robots.txt?

Dwie nazwy nigdy nie pojawiają się w logach. Google-Extended to token robots.txt, który decyduje, czy treści przeszukane przez Google mogą być używane w modelach Gemini i do groundingu; Google podaje, że nie wpływa on na obecność w wyszukiwarce Google. Applebot-Extended to, słowami Apple, dodatkowy user agent, który nie przeszukuje stron; decyduje tylko o tym, jak Apple może używać danych zebranych przez Applebot. Żądanie, które podaje się za którykolwiek z nich, nie jest prawdziwe.

Gdzie dostawcy crawlerów AI publikują swoje zakresy IP?

Większość dostawców publikuje plik JSON o tej samej strukturze: tablicę prefixes z obiektami zawierającymi ipv4Prefix lub ipv6Prefix oraz pole creationTime, które mówi, jak świeży jest plik.

Jak sprawdzić adres IP na oficjalnych listach crawlerów?

Ten skrypt wczytuje każdą listę i podaje, która z nich zawiera adres. Wymaga tylko Pythona 3 i obsługuje IPv4 oraz IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Listy się zmieniają. Każdy plik ma własne creationTime, Perplexity zaleca automatyczne aktualizowanie reguł firewalla, a Bing prosi o codzienne odświeżanie swojej listy. Jeśli używasz list w firewallu, pobieraj je według harmonogramu, zamiast kopiować je raz.

Jak zweryfikować Googlebota, bingbota lub Applebota przez odwrotny DNS?

Google, Microsoft, Apple i Common Crawl dokumentują to samo dwuetapowe sprawdzenie: odczytaj nazwę adresu IP, potwierdź, że kończy się domeną dostawcy, a potem odczytaj adres tej nazwy i potwierdź, że zwraca ten sam IP. Oba kroki są ważne, bo właściciel zakresu IP może ustawić dowolną nazwę odwrotnego DNS, ale nie może sprawić, by domena dostawcy wskazywała z powrotem na niego.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google akceptuje googlebot.com, google.com i googleusercontent.com dla różnych typów swoich crawlerów; powyższa funkcja akceptuje tylko googlebot.com, którego w przykładach Google używa sam Googlebot. Dla innych crawlerów i fetcherów Google używaj jego list JSON. Zapytania DNS trwają, więc uruchamiaj je przy przeglądaniu logów albo zapisuj wynik w pamięci podręcznej, zamiast wykonywać je przy każdym żądaniu na żywo.

Dlaczego sprawdzenie user agenta nie wystarczy, by wykryć GPTBot?

User agent to nagłówek wybierany przez klienta, więc każdy może wysłać GPTBot albo Googlebot. Common Crawl ostrzega, że niektóre crawlery fałszywie podają się za CCBot, a Bing publikuje poradnik, jak sprawdzić, czy ruch podający się za bingbota naprawdę pochodzi od Binga. Wiarygodne wykrycie GPTBot wymaga sprawdzenia obu rzeczy: tokenu w user agencie i źródłowego IP w gptbot.json. Żądanie z tokenem z adresu spoza listy to podróbka, a jego zablokowanie nie dotyczy OpenAI.

Bywa też odwrotnie. Jeśli firewall dopuszcza tylko po user agencie, podróbki wchodzą; jeśli dopuszcza tylko po zakresie IP, każdy agent z sieci tego dostawcy jest traktowany tak samo, nawet ten, który chciałeś zablokować. Niezawodną regułą jest dopasowanie obu.

Jak AISeeWhy pomaga weryfikować ruch crawlerów AI?

Darmowe sprawdzenie IP crawlerów AI w AISeeWhy mówi bez zakładania konta, czy adres IP należy do GPTBot lub innego crawlera AI. Darmowe sprawdzenie strony pobiera następnie Twoją stronę jako 16 crawlerów AI i wyszukiwarek obok prawdziwej przeglądarki, więc widzisz, co dostałyby prawdziwe crawlery.

Darmowe narzędzia

Następne kroki

Crawlery w tym artykule

Najczęstsze pytania

Jaki jest user agent GPTBot?

OpenAI publikuje Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot i zaznacza, że wersja może się zmienić. Dopasowuj GPTBot i potwierdzaj IP na liście https://openai.com/gptbot.json.

Jaki jest user agent OAI-SearchBot?

Ciąg w stylu Chrome kończący się na compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Jego adresy są wymienione w https://openai.com/searchbot.json. OpenAI używa go do pokazywania witryn w wyszukiwaniu ChatGPT, czyli do innego zadania niż GPTBot.

Czy Anthropic publikuje adresy IP ClaudeBota?

Tak. Anthropic linkuje do https://claude.com/crawling/bots.json i podaje, że źródłowy IP z tej listy pokazuje, że crawler pochodzi od Anthropic. Jej artykuł pomocy wymienia tokeny botów, ale nie pełne ciągi user agent.

Czy mogę zobaczyć Google-Extended lub Applebot-Extended w logach?

Nie. Oba to tokeny robots.txt, a nie crawlery. Google i Apple pobierają strony jako Googlebot i Applebot, a tych tokenów używają tylko do ustalenia, jak treść może być wykorzystana przez AI.

Gdzie jest lista adresów IP bingbota?

Bing publikuje ją pod adresem https://www.bing.com/toolbox/bingbot.json i prosi o codzienne odświeżanie. Jego własny poradnik zaleca sprawdzenie odwrotnego i prostego DNS, przy którym nazwa musi kończyć się na search.msn.com.

Źródła

Więcej artykułów