User agent і діапазони IP AI-краулерів: GPTBot, ClaudeBot, PerplexityBot та інші
GPTBot представляється user agent, що містить GPTBot/1.4; +https://openai.com/gptbot, а OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple і Common Crawl публікують JSON-списки діапазонів IP, які використовують їхні краулери. Запит справжній, лише коли збігається і те, і те: user agent називає краулер, а IP-адреса джерела є у списку цього постачальника або, для Googlebot, bingbot, Applebot і CCBot, проходить зворотну й пряму перевірку DNS. Сам user agent нічого не доводить, бо надіслати його може будь-хто.
Коли ви бачите GPTBot чи ClaudeBot у логах або хочете правило файрвола, яке пропускає AI-пошукові краулери, потрібні дві речі: точний рядок, який надсилає кожен краулер, і спосіб довести, що запит прийшов від компанії, яку він називає. Нижче — рядки в тому вигляді, в якому їх сьогодні публікує кожен постачальник, офіційний список IP або метод DNS для кожного і два скрипти, якими можна перевірити адресу.
На цій сторінці
- Які рядки user agent у GPTBot, ClaudeBot, PerplexityBot та інших AI-краулерів?
- Який краулер що робить і які назви — лише токени robots.txt?
- Де постачальники AI-краулерів публікують свої діапазони IP?
- Як перевірити IP-адресу за офіційними списками краулерів?
- Як перевірити Googlebot, bingbot чи Applebot через зворотний DNS?
- Чому перевірки user agent недостатньо, щоб виявити GPTBot?
- Як AISeeWhy допомагає перевірити трафік AI-краулерів?
Які рядки user agent у GPTBot, ClaudeBot, PerplexityBot та інших AI-краулерів?
Їх скопійовано з документації самих постачальників. OpenAI і Perplexity зазначають, що номери версій можуть змінюватися, Google і Microsoft підставляють поточну версію браузера там, де стоїть W.X.Y.Z, а Apple каже, що час від часу оновлює браузерну частину. Зіставляйте за токеном краулера, як-от GPTBot чи bingbot, а не за всім рядком.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Довідкова стаття Anthropic називає ClaudeBot, Claude-SearchBot і Claude-User, але не наводить повних рядків user agent, тож зіставляйте за цими токенами. Сторінка краулерів Meta перелічує рядки, що починаються з показаних токенів, після яких іде посилання на її документацію, і зазначає, що рядки у ваших логах можуть трохи відрізнятися.
Який краулер що робить і які назви — лише токени robots.txt?
GPTBotзбирає контент, який може використовуватися для навчання базових моделей OpenAI.OAI-SearchBotпоказує сайти в пошуку ChatGPT.ChatGPT-Userзавантажує сторінки для дій, які запускає користувач, і OpenAI зазначає, що правила robots.txt до нього можуть не застосовуватися.OAI-AdsBotперевіряє сторінки, подані як реклама в ChatGPT.ClaudeBotзбирає дані для моделей Anthropic,Claude-SearchBotпокращує результати пошуку, аClaude-Userзавантажує сторінки, коли людина ставить Claude запитання.PerplexityBotпоказує сайти й дає на них посилання в пошуку Perplexity і не використовується для навчання базових моделей.Perplexity-Userзавантажує сторінки, коли користувач ставить запитання.meta-externalagentсканує для навчання AI-моделей або індексації контенту,meta-webindexerіндексує контент для пошуку Meta AI, аmeta-externalfetcherзавантажує посилання на запит користувача.CCBot— краулер Common Crawl, публічного вебархіву.
Дві назви ніколи не з’являються у ваших логах. Google-Extended — токен robots.txt, який визначає, чи можна використовувати контент, просканований Google, для моделей Gemini і обґрунтування відповідей (grounding); Google зазначає, що він не впливає на включення в Google Search. Applebot-Extended, словами Apple, — додатковий user agent, який не сканує вебсторінки; він лише визначає, як Apple може використовувати дані, зібрані Applebot. Запит, що видає себе за будь-який із них, несправжній.
Де постачальники AI-краулерів публікують свої діапазони IP?
Більшість постачальників публікують JSON-файл однакової структури: масив prefixes з об’єктами з ipv4Prefix або ipv6Prefix, а також creationTime, що показує, наскільки він свіжий.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonіhttps://openai.com/adsbot.json, по одному на агента. - Anthropic:
https://claude.com/crawling/bots.json, один список для всіх її краулерів. Anthropic зазначає, що адреса з цього списку показує, що краулер від Anthropic, а також що блокування за IP може не гарантувати надійної відмови. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonіhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonдля Googlebot, з окремими файлами для спеціальних краулерів і завантажувачів, що запускаються користувачами. Зворотний DNS теж працює. - Apple:
https://search.developer.apple.com/applebot.jsonабо зворотний DNS уapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Для IPv4 також рекомендує зворотний DNS із прямим підтвердженням уcrawl.commoncrawl.org; для адрес IPv6 зворотного DNS немає. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, який Bing просить оновлювати щодня, бо він може змінитися будь-коли, або зворотний DNS, що закінчується наsearch.msn.com. Bing також пропонує публічний інструмент Verify Bingbot. - Meta: її сторінка краулерів не публікує списку IP.
Як перевірити IP-адресу за офіційними списками краулерів?
Цей скрипт завантажує кожен список і повідомляє, у якому з них є адреса. Йому потрібен лише Python 3, і він обробляє IPv4 та IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Списки змінюються. Кожен файл має власний creationTime, Perplexity радить автоматизувати оновлення правил файрвола, а Bing просить оновлювати свій список щодня. Якщо використовуєте списки у файрволі, завантажуйте їх за розкладом, а не копіюйте один раз.
Як перевірити Googlebot, bingbot чи Applebot через зворотний DNS?
Google, Microsoft, Apple і Common Crawl описують ту саму двокрокову перевірку: визначте ім’я за IP-адресою, переконайтеся, що воно закінчується доменом постачальника, потім визначте IP за цим ім’ям і переконайтеся, що повертається та сама адреса. Важливі обидва кроки, бо той, хто контролює діапазон IP, може задати будь-яке зворотне DNS-ім’я, але не може змусити домен постачальника вказувати назад на свою адресу.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google приймає googlebot.com, google.com і googleusercontent.com для різних типів своїх краулерів; функція вище приймає лише googlebot.com, який використовує сам Googlebot у прикладах Google. Для інших краулерів і завантажувачів Google використовуйте його JSON-списки. DNS-запити займають час, тож виконуйте їх під час аналізу логів або кешуйте результат, а не робіть на кожен живий запит.
Чому перевірки user agent недостатньо, щоб виявити GPTBot?
User agent — це заголовок, який вибирає клієнт, тож надіслати GPTBot чи Googlebot може будь-хто. Common Crawl попереджає, що деякі краулери неправдиво видають себе за CCBot, а Bing публікує посібник, як перевірити, чи трафік, що називає себе bingbot, справді йде від Bing. Надійно виявити GPTBot означає перевірити обидва: токен у user agent і IP-адресу джерела в gptbot.json. Запит із токеном з адреси поза списком — імітатор, і його блокування ніяк не зачіпає OpenAI.
Буває й навпаки. Якщо файрвол дозволяє лише за user agent, імітатори проходять; якщо лише за діапазоном IP, будь-який агент із мережі цього постачальника отримує те саме ставлення, навіть той, який ви хотіли заблокувати. Надійне правило — зіставляти обидва.
Як AISeeWhy допомагає перевірити трафік AI-краулерів?
Безкоштовна перевірка IP AI-краулерів від AISeeWhy без акаунта показує, чи належить IP-адреса GPTBot чи іншому AI-краулеру. Безкоштовна перевірка сайту потім запитує вашу сторінку як 16 AI- і пошукових краулерів поруч зі справжнім браузером, тож ви бачите, що отримали б справжні краулери.
Що далі
- Тестер і перевірка robots.txt для ШІ-краулерів
- Перевірка IP ШІ-краулерів
- Переглянути приклад повного звіту
- Моніторинг AI-краулерів
- Тарифи та ціни
Краулери в цій статті
Поширені запитання
Який user agent у GPTBot?
OpenAI публікує Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot і зазначає, що версія може змінитися. Зіставляйте за GPTBot і перевіряйте IP за https://openai.com/gptbot.json.
Який user agent в OAI-SearchBot?
Рядок у стилі Chrome, що закінчується на compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Його адреси перелічено в https://openai.com/searchbot.json. OpenAI використовує його, щоб показувати сайти в пошуку ChatGPT, а це інше завдання, ніж у GPTBot.
Чи публікує Anthropic IP-адреси ClaudeBot?
Так. Anthropic посилається на https://claude.com/crawling/bots.json і зазначає, що IP-адреса джерела з цього списку показує, що краулер від Anthropic. Її довідкова стаття називає токени ботів, але не повні рядки user agent.
Чи можна побачити Google-Extended або Applebot-Extended у логах?
Ні. Обидва — токени robots.txt, а не краулери. Google і Apple завантажують сторінки через Googlebot і Applebot і використовують ці токени лише для того, щоб визначити, як контент можна використовувати для AI.
Де список IP-адрес bingbot?
Bing публікує його за адресою https://www.bing.com/toolbox/bingbot.json і просить оновлювати щодня. Його власний посібник радить зворотну й пряму перевірку DNS, де ім’я має закінчуватися на search.msn.com.
Джерела
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot