User agent низове и IP диапазони на AI ботовете: GPTBot, ClaudeBot, PerplexityBot и други

Публикувано

Кратък отговор

GPTBot се представя с user agent, който съдържа GPTBot/1.4; +https://openai.com/gptbot, а OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple и Common Crawl публикуват JSON списък с IP диапазоните, които използват ботовете им. Заявката е истинска само когато съвпадат и двете неща: user agent назовава бота и IP адресът на източника е в списъка на съответния доставчик или, за Googlebot, bingbot, Applebot и CCBot, минава обратна и права DNS проверка. Сам по себе си user agent не доказва нищо, защото всеки може да го изпрати.

Когато видите GPTBot или ClaudeBot в логовете си или искате правило в защитната стена, което да пропуска AI ботовете за търсене, ви трябват две неща: точният низ, който изпраща всеки бот, и начин да докажете, че заявката идва от компанията, която назовава. По-долу са низовете такива, каквито всеки доставчик ги публикува днес, официалният IP списък или DNS методът за всеки и два скрипта, с които да проверите адрес.

На тази страница
  1. Какви са user agent низовете на GPTBot, ClaudeBot, PerplexityBot и другите AI ботове?
  2. Кой бот какво прави и кои имена са само токени в robots.txt?
  3. Къде доставчиците на AI ботове публикуват IP диапазоните си?
  4. Как да проверя IP адрес спрямо официалните списъци на ботовете?
  5. Как да проверя Googlebot, bingbot или Applebot с обратен DNS?
  6. Защо проверката на user agent не е достатъчна, за да разпознаете GPTBot?
  7. Как AISeeWhy може да помогне за проверка на трафика от AI ботове?

Какви са user agent низовете на GPTBot, ClaudeBot, PerplexityBot и другите AI ботове?

Те са копирани от собствената документация на доставчиците. OpenAI и Perplexity отбелязват, че номерата на версиите може да се променят, Google и Microsoft поставят текущата версия на браузъра там, където е W.X.Y.Z, а Apple казва, че от време на време обновява частта за браузъра. Съпоставяйте по токена на бота, например GPTBot или bingbot, а не по целия низ.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Помощната статия на Anthropic назовава ClaudeBot, Claude-SearchBot и Claude-User, но не дава пълни user agent низове, затова съпоставяйте по тези токени. Страницата за ботовете на Meta изброява низове, които започват с показаните токени, последвани от връзка към документацията ѝ, и казва, че низовете в логовете ви може леко да се различават.

Кой бот какво прави и кои имена са само токени в robots.txt?

Две имена никога не се появяват в логовете ви. Google-Extended е токен в robots.txt, който определя дали съдържанието, обходено от Google, може да се използва за моделите Gemini и за grounding; Google казва, че той не влияе на включването в Google Search. Applebot-Extended е, по думите на Apple, вторичен user agent, който не обхожда уеб страници; той само решава как Apple може да използва данните, събрани от Applebot. Заявка, която твърди, че е някой от двата, не е истинска.

Къде доставчиците на AI ботове публикуват IP диапазоните си?

Повечето доставчици публикуват JSON файл с една и съща структура: масив prefixes от обекти с ipv4Prefix или ipv6Prefix, плюс creationTime, което показва колко е актуален.

Как да проверя IP адрес спрямо официалните списъци на ботовете?

Този скрипт зарежда всеки списък и съобщава кой от тях съдържа адреса. Нужен му е само Python 3 и работи с IPv4 и IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Списъците се променят. Всеки файл носи собствено creationTime, Perplexity препоръчва автоматично обновяване на правилата на защитната стена, а Bing иска списъкът му да се обновява ежедневно. Ако използвате списъците в защитна стена, изтегляйте ги по график, вместо да ги копирате веднъж.

Как да проверя Googlebot, bingbot или Applebot с обратен DNS?

Google, Microsoft, Apple и Common Crawl документират една и съща проверка в две стъпки: намерете името на IP адреса, потвърдете, че завършва на домейна на доставчика, след това намерете IP адреса на това име и потвърдете, че е същият. И двете стъпки са важни, защото който контролира IP диапазон, може да зададе какъвто си иска обратен DNS запис, но не може да накара домейна на доставчика да сочи обратно към него.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google приема googlebot.com, google.com и googleusercontent.com за различните си типове ботове; функцията по-горе приема само googlebot.com, което използва самият Googlebot в примерите на Google. За другите ботове и инструменти за изтегляне на Google използвайте JSON списъците му. DNS заявките отнемат време, затова ги изпълнявайте при преглед на логовете или кеширайте резултата, вместо да ги правите при всяка заявка в реално време.

Защо проверката на user agent не е достатъчна, за да разпознаете GPTBot?

User agent е заглавка, която клиентът избира, така че всеки може да изпрати GPTBot или Googlebot. Common Crawl предупреждава, че някои ботове невярно се представят за CCBot, а Bing публикува ръководство как да проверите дали трафикът, който твърди, че е bingbot, наистина идва от Bing. Надеждното разпознаване на GPTBot означава да проверите и двете: токена в user agent и IP адреса на източника в gptbot.json. Заявка с токена от адрес извън списъка е имитатор и блокирането ѝ не засяга OpenAI.

Случва се и обратното. Ако защитната ви стена разрешава само по user agent, имитаторите влизат; ако разрешава само по IP диапазон, всеки агент от мрежата на този доставчик получава същото отношение, дори такъв, който сте искали да блокирате. Съпоставянето и на двете е надеждното правило.

Как AISeeWhy може да помогне за проверка на трафика от AI ботове?

Безплатната проверка на IP за AI ботове на AISeeWhy ви казва без профил дали даден IP адрес принадлежи на GPTBot или на друг AI бот. След това безплатната проверка на сайта изисква страницата ви като 16 AI бота и бота на търсачки успоредно с истински браузър, така че да видите какво биха получили истинските ботове.

Безплатни инструменти

Следващи стъпки

Ботове в тази статия

Често задавани въпроси

Какъв е user agent на GPTBot?

OpenAI публикува Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot и отбелязва, че версията може да се промени. Съпоставяйте по GPTBot и потвърждавайте IP адреса спрямо https://openai.com/gptbot.json.

Какъв е user agent на OAI-SearchBot?

Низ в стила на Chrome, който завършва на compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Адресите му са изброени в https://openai.com/searchbot.json. OpenAI го използва, за да показва сайтове в търсенето на ChatGPT, което е различна задача от тази на GPTBot.

Публикува ли Anthropic IP адресите на ClaudeBot?

Да. Anthropic дава връзка към https://claude.com/crawling/bots.json и казва, че IP адрес на източника от този списък показва, че ботът е от Anthropic. Помощната ѝ статия назовава токените на ботовете, но не и пълните user agent низове.

Мога ли да видя Google-Extended или Applebot-Extended в логовете си?

Не. И двата са токени в robots.txt, а не ботове. Google и Apple изтеглят страниците с Googlebot и Applebot и използват тези токени само за да решат как съдържанието може да се използва за AI.

Къде е списъкът с IP адреси на bingbot?

Bing го публикува на https://www.bing.com/toolbox/bingbot.json и иска да го обновявате ежедневно. Собственото му ръководство препоръчва обратна и права DNS проверка, при която името трябва да завършва на search.msn.com.

Източници

Още статии