User agent і діапазони IP AI-краулерів: GPTBot, ClaudeBot, PerplexityBot та інші

Опубліковано

Коротка відповідь

GPTBot представляється user agent, що містить GPTBot/1.4; +https://openai.com/gptbot, а OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple і Common Crawl публікують JSON-списки діапазонів IP, які використовують їхні краулери. Запит справжній, лише коли збігається і те, і те: user agent називає краулер, а IP-адреса джерела є у списку цього постачальника або, для Googlebot, bingbot, Applebot і CCBot, проходить зворотну й пряму перевірку DNS. Сам user agent нічого не доводить, бо надіслати його може будь-хто.

Коли ви бачите GPTBot чи ClaudeBot у логах або хочете правило файрвола, яке пропускає AI-пошукові краулери, потрібні дві речі: точний рядок, який надсилає кожен краулер, і спосіб довести, що запит прийшов від компанії, яку він називає. Нижче — рядки в тому вигляді, в якому їх сьогодні публікує кожен постачальник, офіційний список IP або метод DNS для кожного і два скрипти, якими можна перевірити адресу.

На цій сторінці
  1. Які рядки user agent у GPTBot, ClaudeBot, PerplexityBot та інших AI-краулерів?
  2. Який краулер що робить і які назви — лише токени robots.txt?
  3. Де постачальники AI-краулерів публікують свої діапазони IP?
  4. Як перевірити IP-адресу за офіційними списками краулерів?
  5. Як перевірити Googlebot, bingbot чи Applebot через зворотний DNS?
  6. Чому перевірки user agent недостатньо, щоб виявити GPTBot?
  7. Як AISeeWhy допомагає перевірити трафік AI-краулерів?

Які рядки user agent у GPTBot, ClaudeBot, PerplexityBot та інших AI-краулерів?

Їх скопійовано з документації самих постачальників. OpenAI і Perplexity зазначають, що номери версій можуть змінюватися, Google і Microsoft підставляють поточну версію браузера там, де стоїть W.X.Y.Z, а Apple каже, що час від часу оновлює браузерну частину. Зіставляйте за токеном краулера, як-от GPTBot чи bingbot, а не за всім рядком.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Довідкова стаття Anthropic називає ClaudeBot, Claude-SearchBot і Claude-User, але не наводить повних рядків user agent, тож зіставляйте за цими токенами. Сторінка краулерів Meta перелічує рядки, що починаються з показаних токенів, після яких іде посилання на її документацію, і зазначає, що рядки у ваших логах можуть трохи відрізнятися.

Який краулер що робить і які назви — лише токени robots.txt?

Дві назви ніколи не з’являються у ваших логах. Google-Extended — токен robots.txt, який визначає, чи можна використовувати контент, просканований Google, для моделей Gemini і обґрунтування відповідей (grounding); Google зазначає, що він не впливає на включення в Google Search. Applebot-Extended, словами Apple, — додатковий user agent, який не сканує вебсторінки; він лише визначає, як Apple може використовувати дані, зібрані Applebot. Запит, що видає себе за будь-який із них, несправжній.

Де постачальники AI-краулерів публікують свої діапазони IP?

Більшість постачальників публікують JSON-файл однакової структури: масив prefixes з об’єктами з ipv4Prefix або ipv6Prefix, а також creationTime, що показує, наскільки він свіжий.

Як перевірити IP-адресу за офіційними списками краулерів?

Цей скрипт завантажує кожен список і повідомляє, у якому з них є адреса. Йому потрібен лише Python 3, і він обробляє IPv4 та IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Списки змінюються. Кожен файл має власний creationTime, Perplexity радить автоматизувати оновлення правил файрвола, а Bing просить оновлювати свій список щодня. Якщо використовуєте списки у файрволі, завантажуйте їх за розкладом, а не копіюйте один раз.

Як перевірити Googlebot, bingbot чи Applebot через зворотний DNS?

Google, Microsoft, Apple і Common Crawl описують ту саму двокрокову перевірку: визначте ім’я за IP-адресою, переконайтеся, що воно закінчується доменом постачальника, потім визначте IP за цим ім’ям і переконайтеся, що повертається та сама адреса. Важливі обидва кроки, бо той, хто контролює діапазон IP, може задати будь-яке зворотне DNS-ім’я, але не може змусити домен постачальника вказувати назад на свою адресу.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google приймає googlebot.com, google.com і googleusercontent.com для різних типів своїх краулерів; функція вище приймає лише googlebot.com, який використовує сам Googlebot у прикладах Google. Для інших краулерів і завантажувачів Google використовуйте його JSON-списки. DNS-запити займають час, тож виконуйте їх під час аналізу логів або кешуйте результат, а не робіть на кожен живий запит.

Чому перевірки user agent недостатньо, щоб виявити GPTBot?

User agent — це заголовок, який вибирає клієнт, тож надіслати GPTBot чи Googlebot може будь-хто. Common Crawl попереджає, що деякі краулери неправдиво видають себе за CCBot, а Bing публікує посібник, як перевірити, чи трафік, що називає себе bingbot, справді йде від Bing. Надійно виявити GPTBot означає перевірити обидва: токен у user agent і IP-адресу джерела в gptbot.json. Запит із токеном з адреси поза списком — імітатор, і його блокування ніяк не зачіпає OpenAI.

Буває й навпаки. Якщо файрвол дозволяє лише за user agent, імітатори проходять; якщо лише за діапазоном IP, будь-який агент із мережі цього постачальника отримує те саме ставлення, навіть той, який ви хотіли заблокувати. Надійне правило — зіставляти обидва.

Як AISeeWhy допомагає перевірити трафік AI-краулерів?

Безкоштовна перевірка IP AI-краулерів від AISeeWhy без акаунта показує, чи належить IP-адреса GPTBot чи іншому AI-краулеру. Безкоштовна перевірка сайту потім запитує вашу сторінку як 16 AI- і пошукових краулерів поруч зі справжнім браузером, тож ви бачите, що отримали б справжні краулери.

Безкоштовні інструменти

Що далі

Краулери в цій статті

Поширені запитання

Який user agent у GPTBot?

OpenAI публікує Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot і зазначає, що версія може змінитися. Зіставляйте за GPTBot і перевіряйте IP за https://openai.com/gptbot.json.

Який user agent в OAI-SearchBot?

Рядок у стилі Chrome, що закінчується на compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Його адреси перелічено в https://openai.com/searchbot.json. OpenAI використовує його, щоб показувати сайти в пошуку ChatGPT, а це інше завдання, ніж у GPTBot.

Чи публікує Anthropic IP-адреси ClaudeBot?

Так. Anthropic посилається на https://claude.com/crawling/bots.json і зазначає, що IP-адреса джерела з цього списку показує, що краулер від Anthropic. Її довідкова стаття називає токени ботів, але не повні рядки user agent.

Чи можна побачити Google-Extended або Applebot-Extended у логах?

Ні. Обидва — токени robots.txt, а не краулери. Google і Apple завантажують сторінки через Googlebot і Applebot і використовують ці токени лише для того, щоб визначити, як контент можна використовувати для AI.

Де список IP-адрес bingbot?

Bing публікує його за адресою https://www.bing.com/toolbox/bingbot.json і просить оновлювати щодня. Його власний посібник радить зворотну й пряму перевірку DNS, де ім’я має закінчуватися на search.msn.com.

Джерела

Інші статті