User agent и диапазоны IP AI-краулеров: GPTBot, ClaudeBot, PerplexityBot и другие

Опубликовано

Короткий ответ

GPTBot представляется user agent, содержащим GPTBot/1.4; +https://openai.com/gptbot, а OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple и Common Crawl публикуют JSON-списки диапазонов IP своих краулеров. Запрос настоящий, только когда совпадает и то и другое: user agent называет краулера, а IP-адрес источника есть в списке этого поставщика или, для Googlebot, bingbot, Applebot и CCBot, проходит обратную и прямую проверку DNS. Один user agent ничего не доказывает, потому что отправить его может кто угодно.

Когда вы видите GPTBot или ClaudeBot в логах или хотите правило файрвола, пропускающее краулеры AI-поиска, нужны две вещи: точная строка, которую отправляет каждый краулер, и способ доказать, что запрос пришёл от названной в ней компании. Ниже — строки в том виде, в каком их сегодня публикует каждый поставщик, официальный список IP или метод DNS для каждого и два скрипта для проверки адреса.

На этой странице
  1. Какие строки user agent у GPTBot, ClaudeBot, PerplexityBot и других AI-краулеров?
  2. Какой краулер что делает и какие имена — лишь токены robots.txt?
  3. Где поставщики AI-краулеров публикуют свои диапазоны IP?
  4. Как проверить IP-адрес по официальным спискам краулеров?
  5. Как проверить Googlebot, bingbot или Applebot через обратный DNS?
  6. Почему проверки user agent недостаточно, чтобы распознать GPTBot?
  7. Как AISeeWhy помогает проверять трафик AI-краулеров?

Какие строки user agent у GPTBot, ClaudeBot, PerplexityBot и других AI-краулеров?

Они скопированы из документации самих поставщиков. OpenAI и Perplexity отмечают, что номера версий могут меняться, Google и Microsoft подставляют текущую версию браузера на место W.X.Y.Z, а Apple сообщает, что время от времени обновляет браузерную часть. Сопоставляйте по токену краулера, например GPTBot или bingbot, а не по всей строке.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Справочная статья Anthropic называет ClaudeBot, Claude-SearchBot и Claude-User, но не приводит полных строк user agent, поэтому сопоставляйте по этим токенам. Страница краулеров Meta перечисляет строки, которые начинаются с показанных токенов, за которыми следует ссылка на её документацию, и сообщает, что строки в ваших логах могут немного отличаться.

Какой краулер что делает и какие имена — лишь токены robots.txt?

Два имени никогда не появляются в ваших логах. Google-Extended — токен robots.txt, который управляет тем, может ли контент, просканированный Google, использоваться для моделей Gemini и привязки ответов к источникам; Google сообщает, что на включение в Google Поиск он не влияет. Applebot-Extended, по словам Apple, — вторичный user agent, который не сканирует веб-страницы; он лишь определяет, как Apple может использовать данные, собранные Applebot. Запрос, который выдаёт себя за любой из них, не настоящий.

Где поставщики AI-краулеров публикуют свои диапазоны IP?

Большинство поставщиков публикуют JSON-файл одинаковой структуры: массив prefixes из объектов с ipv4Prefix или ipv6Prefix, а также creationTime, по которому видно, насколько он свежий.

Как проверить IP-адрес по официальным спискам краулеров?

Этот скрипт загружает каждый список и сообщает, в каком из них есть адрес. Ему нужен только Python 3, и он работает с IPv4 и IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Списки меняются. В каждом файле есть свой creationTime, Perplexity рекомендует автоматизировать обновление правил файрвола, а Bing просит обновлять свой список ежедневно. Если вы используете списки в файрволе, загружайте их по расписанию, а не копируйте один раз.

Как проверить Googlebot, bingbot или Applebot через обратный DNS?

Google, Microsoft, Apple и Common Crawl описывают одну и ту же проверку в два шага: найти имя по IP-адресу, убедиться, что оно оканчивается доменом поставщика, затем найти адрес по этому имени и убедиться, что возвращается тот же IP. Важны оба шага, потому что владелец диапазона IP может задать любое имя обратного DNS, но не может заставить домен поставщика указывать обратно на свой адрес.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google принимает googlebot.com, google.com и googleusercontent.com для разных типов своих краулеров; функция выше принимает только googlebot.com, который использует сам Googlebot в примерах Google. Для других краулеров и загрузчиков Google используйте его JSON-списки. Запросы DNS занимают время, поэтому выполняйте их при разборе логов или кэшируйте результат, а не делайте на каждом живом запросе.

Почему проверки user agent недостаточно, чтобы распознать GPTBot?

User agent — заголовок, который выбирает клиент, поэтому отправить GPTBot или Googlebot может кто угодно. Common Crawl предупреждает, что некоторые краулеры ложно выдают себя за CCBot, а Bing публикует руководство по проверке того, действительно ли трафик, называющий себя bingbot, приходит от Bing. Надёжно распознать GPTBot — значит проверить оба признака: токен в user agent и IP-адрес источника в gptbot.json. Запрос с этим токеном с адреса не из списка — подделка, и его блокировка на OpenAI никак не влияет.

Бывает и обратное. Если файрвол пропускает только по user agent, подделки проходят; если только по диапазону IP, любой агент из сети этого поставщика получает такое же отношение, даже тот, которого вы хотели заблокировать. Надёжное правило — проверять оба признака.

Как AISeeWhy помогает проверять трафик AI-краулеров?

Бесплатная проверка IP AI-краулеров в AISeeWhy без аккаунта сообщает, принадлежит ли IP-адрес GPTBot или другому AI-краулеру. А бесплатная проверка сайта запрашивает вашу страницу как 16 AI- и поисковых краулеров рядом с настоящим браузером, так что видно, что получили бы настоящие краулеры.

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Частые вопросы

Какой user agent у GPTBot?

OpenAI публикует Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot и отмечает, что версия может меняться. Сопоставляйте по GPTBot и проверяйте IP по https://openai.com/gptbot.json.

Какой user agent у OAI-SearchBot?

Строка в стиле Chrome, оканчивающаяся на compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Его адреса перечислены в https://openai.com/searchbot.json. OpenAI использует его, чтобы показывать сайты в поиске ChatGPT, и это другая задача, чем у GPTBot.

Публикует ли Anthropic IP-адреса ClaudeBot?

Да. Anthropic даёт ссылку на https://claude.com/crawling/bots.json и сообщает, что IP-адрес источника из этого списка показывает, что краулер от Anthropic. Её справочная статья называет токены ботов, но не полные строки user agent.

Могу ли я увидеть Google-Extended или Applebot-Extended в своих логах?

Нет. Оба — токены robots.txt, а не краулеры. Google и Apple загружают страницы с помощью Googlebot и Applebot и используют эти токены лишь для решения, как контент может использоваться для AI.

Где список IP-адресов bingbot?

Bing публикует его по адресу https://www.bing.com/toolbox/bingbot.json и просит обновлять ежедневно. Его собственное руководство рекомендует обратную и прямую проверку DNS, при которой имя должно оканчиваться на search.msn.com.

Источники

Другие статьи