User agenty i zakresy IP crawlerów AI: GPTBot, ClaudeBot, PerplexityBot i inne
GPTBot przedstawia się user agentem zawierającym GPTBot/1.4; +https://openai.com/gptbot, a OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple i Common Crawl publikują listy JSON zakresów IP używanych przez ich crawlery. Żądanie jest prawdziwe tylko wtedy, gdy zgadzają się oba elementy: user agent wskazuje crawler, a źródłowy adres IP jest na liście dostawcy albo, w przypadku Googlebota, bingbota, Applebota i CCBot, przechodzi odwrotne i proste sprawdzenie DNS. Sam user agent niczego nie dowodzi, bo każdy może go wysłać.
Gdy widzisz GPTBot lub ClaudeBot w logach albo chcesz reguły firewalla, która przepuszcza crawlery wyszukiwania AI, potrzebujesz dwóch rzeczy: dokładnego ciągu, który wysyła każdy crawler, i sposobu, by udowodnić, że żądanie pochodzi od firmy, którą podaje. Poniżej są ciągi w takiej postaci, w jakiej dostawcy publikują je dziś, oficjalna lista IP lub metoda DNS dla każdego z nich i dwa skrypty do sprawdzenia adresu.
Na tej stronie
- Jakie są ciągi user agent GPTBot, ClaudeBot, PerplexityBot i innych crawlerów AI?
- Który crawler co robi i które nazwy są tylko tokenami robots.txt?
- Gdzie dostawcy crawlerów AI publikują swoje zakresy IP?
- Jak sprawdzić adres IP na oficjalnych listach crawlerów?
- Jak zweryfikować Googlebota, bingbota lub Applebota przez odwrotny DNS?
- Dlaczego sprawdzenie user agenta nie wystarczy, by wykryć GPTBot?
- Jak AISeeWhy pomaga weryfikować ruch crawlerów AI?
Jakie są ciągi user agent GPTBot, ClaudeBot, PerplexityBot i innych crawlerów AI?
Są skopiowane z dokumentacji samych dostawców. OpenAI i Perplexity zaznaczają, że numery wersji mogą się zmieniać, Google i Microsoft wstawiają aktualną wersję przeglądarki w miejscu W.X.Y.Z, a Apple podaje, że czasem aktualizuje część dotyczącą przeglądarki. Dopasowuj token crawlera, taki jak GPTBot lub bingbot, a nie cały ciąg.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Artykuł pomocy Anthropic wymienia ClaudeBot, Claude-SearchBot i Claude-User, ale nie podaje pełnych ciągów user agent, więc dopasowuj te tokeny. Strona crawlerów Meta podaje ciągi zaczynające się od pokazanych tokenów, po których następuje link do dokumentacji, i zaznacza, że ciągi w Twoich logach mogą się nieco różnić.
Który crawler co robi i które nazwy są tylko tokenami robots.txt?
GPTBotzbiera treści, które mogą posłużyć do trenowania modeli bazowych OpenAI.OAI-SearchBotpokazuje witryny w wyszukiwaniu ChatGPT.ChatGPT-Userpobiera strony przy działaniach uruchamianych przez użytkownika, a OpenAI podaje, że reguły robots.txt mogą go nie dotyczyć.OAI-AdsBotsprawdza strony zgłoszone jako reklamy w ChatGPT.ClaudeBotzbiera dane dla modeli Anthropic,Claude-SearchBotpoprawia wyniki wyszukiwania, aClaude-Userpobiera strony, gdy ktoś zadaje Claude pytanie.PerplexityBotpokazuje i linkuje witryny w wyszukiwaniu Perplexity i nie służy do trenowania modeli bazowych.Perplexity-Userpobiera strony, gdy użytkownik zadaje pytanie.meta-externalagentprzeszukuje sieć na potrzeby trenowania modeli AI lub indeksowania treści,meta-webindexerindeksuje treści dla wyszukiwania Meta AI, ameta-externalfetcherpobiera linki na prośbę użytkownika.CCBotto crawler Common Crawl, publicznego archiwum sieci.
Dwie nazwy nigdy nie pojawiają się w logach. Google-Extended to token robots.txt, który decyduje, czy treści przeszukane przez Google mogą być używane w modelach Gemini i do groundingu; Google podaje, że nie wpływa on na obecność w wyszukiwarce Google. Applebot-Extended to, słowami Apple, dodatkowy user agent, który nie przeszukuje stron; decyduje tylko o tym, jak Apple może używać danych zebranych przez Applebot. Żądanie, które podaje się za którykolwiek z nich, nie jest prawdziwe.
Gdzie dostawcy crawlerów AI publikują swoje zakresy IP?
Większość dostawców publikuje plik JSON o tej samej strukturze: tablicę prefixes z obiektami zawierającymi ipv4Prefix lub ipv6Prefix oraz pole creationTime, które mówi, jak świeży jest plik.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonihttps://openai.com/adsbot.json, po jednym na agenta. - Anthropic:
https://claude.com/crawling/bots.json, jedna lista dla jej crawlerów. Anthropic podaje, że adres z tej listy pokazuje, że crawler pochodzi od Anthropic, a także że blokowanie IP może nie gwarantować skutecznej rezygnacji. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonihttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsondla Googlebota, z osobnymi plikami dla crawlerów specjalnych i pobierających na żądanie użytkownika. Działa też odwrotny DNS. - Apple:
https://search.developer.apple.com/applebot.jsonalbo odwrotny DNS wapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Dla IPv4 zaleca też odwrotny DNS potwierdzony w przód w domeniecrawl.commoncrawl.org; adresy IPv6 nie mają odwrotnego DNS. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, który Bing prosi odświeżać codziennie, bo może się zmienić w każdej chwili, albo odwrotny DNS kończący się nasearch.msn.com. Bing oferuje też publiczne narzędzie Verify Bingbot. - Meta: jej strona crawlerów nie publikuje listy IP.
Jak sprawdzić adres IP na oficjalnych listach crawlerów?
Ten skrypt wczytuje każdą listę i podaje, która z nich zawiera adres. Wymaga tylko Pythona 3 i obsługuje IPv4 oraz IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Listy się zmieniają. Każdy plik ma własne creationTime, Perplexity zaleca automatyczne aktualizowanie reguł firewalla, a Bing prosi o codzienne odświeżanie swojej listy. Jeśli używasz list w firewallu, pobieraj je według harmonogramu, zamiast kopiować je raz.
Jak zweryfikować Googlebota, bingbota lub Applebota przez odwrotny DNS?
Google, Microsoft, Apple i Common Crawl dokumentują to samo dwuetapowe sprawdzenie: odczytaj nazwę adresu IP, potwierdź, że kończy się domeną dostawcy, a potem odczytaj adres tej nazwy i potwierdź, że zwraca ten sam IP. Oba kroki są ważne, bo właściciel zakresu IP może ustawić dowolną nazwę odwrotnego DNS, ale nie może sprawić, by domena dostawcy wskazywała z powrotem na niego.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google akceptuje googlebot.com, google.com i googleusercontent.com dla różnych typów swoich crawlerów; powyższa funkcja akceptuje tylko googlebot.com, którego w przykładach Google używa sam Googlebot. Dla innych crawlerów i fetcherów Google używaj jego list JSON. Zapytania DNS trwają, więc uruchamiaj je przy przeglądaniu logów albo zapisuj wynik w pamięci podręcznej, zamiast wykonywać je przy każdym żądaniu na żywo.
Dlaczego sprawdzenie user agenta nie wystarczy, by wykryć GPTBot?
User agent to nagłówek wybierany przez klienta, więc każdy może wysłać GPTBot albo Googlebot. Common Crawl ostrzega, że niektóre crawlery fałszywie podają się za CCBot, a Bing publikuje poradnik, jak sprawdzić, czy ruch podający się za bingbota naprawdę pochodzi od Binga. Wiarygodne wykrycie GPTBot wymaga sprawdzenia obu rzeczy: tokenu w user agencie i źródłowego IP w gptbot.json. Żądanie z tokenem z adresu spoza listy to podróbka, a jego zablokowanie nie dotyczy OpenAI.
Bywa też odwrotnie. Jeśli firewall dopuszcza tylko po user agencie, podróbki wchodzą; jeśli dopuszcza tylko po zakresie IP, każdy agent z sieci tego dostawcy jest traktowany tak samo, nawet ten, który chciałeś zablokować. Niezawodną regułą jest dopasowanie obu.
Jak AISeeWhy pomaga weryfikować ruch crawlerów AI?
Darmowe sprawdzenie IP crawlerów AI w AISeeWhy mówi bez zakładania konta, czy adres IP należy do GPTBot lub innego crawlera AI. Darmowe sprawdzenie strony pobiera następnie Twoją stronę jako 16 crawlerów AI i wyszukiwarek obok prawdziwej przeglądarki, więc widzisz, co dostałyby prawdziwe crawlery.
Następne kroki
- Tester i walidator robots.txt dla crawlerów AI
- Sprawdzanie IP crawlerów AI
- Zobacz przykład pełnego raportu
- Monitoring crawlerów AI
- Plany i ceny
Crawlery w tym artykule
Najczęstsze pytania
Jaki jest user agent GPTBot?
OpenAI publikuje Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot i zaznacza, że wersja może się zmienić. Dopasowuj GPTBot i potwierdzaj IP na liście https://openai.com/gptbot.json.
Jaki jest user agent OAI-SearchBot?
Ciąg w stylu Chrome kończący się na compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Jego adresy są wymienione w https://openai.com/searchbot.json. OpenAI używa go do pokazywania witryn w wyszukiwaniu ChatGPT, czyli do innego zadania niż GPTBot.
Czy Anthropic publikuje adresy IP ClaudeBota?
Tak. Anthropic linkuje do https://claude.com/crawling/bots.json i podaje, że źródłowy IP z tej listy pokazuje, że crawler pochodzi od Anthropic. Jej artykuł pomocy wymienia tokeny botów, ale nie pełne ciągi user agent.
Czy mogę zobaczyć Google-Extended lub Applebot-Extended w logach?
Nie. Oba to tokeny robots.txt, a nie crawlery. Google i Apple pobierają strony jako Googlebot i Applebot, a tych tokenów używają tylko do ustalenia, jak treść może być wykorzystana przez AI.
Gdzie jest lista adresów IP bingbota?
Bing publikuje ją pod adresem https://www.bing.com/toolbox/bingbot.json i prosi o codzienne odświeżanie. Jego własny poradnik zaleca sprawdzenie odwrotnego i prostego DNS, przy którym nazwa musi kończyć się na search.msn.com.
Źródła
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot