User agent и IP опсези на AI краулерите: GPTBot, ClaudeBot, PerplexityBot и други

Објавено

Краток одговор

GPTBot се претставува со user agent што содржи GPTBot/1.4; +https://openai.com/gptbot, а OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple и Common Crawl објавуваат JSON-листа со IP опсезите што ги користат нивните краулери. Барањето е вистинско само кога се совпаѓаат двете: user agent го именува краулерот, а изворната IP адреса е во листата на тој производител или, за Googlebot, bingbot, Applebot и CCBot, поминува обратна и директна DNS-проверка. Самиот user agent не докажува ништо, бидејќи секој може да го испрати.

Кога ќе видите GPTBot или ClaudeBot во дневниците или сакате правило во заштитниот ѕид што ги пушта AI краулерите за пребарување, ви требаат две работи: точната низа што ја праќа секој краулер и начин да докажете дека барањето дошло од компанијата што ја именува. Подолу се низите онака како што секој производител ги објавува денес, официјалната IP листа или DNS-методот за секој и две скрипти што можете да ги пуштите за да проверите адреса.

На оваа страница
  1. Кои се низите user agent на GPTBot, ClaudeBot, PerplexityBot и другите AI краулери?
  2. Кој краулер што прави и кои имиња се само ознаки за robots.txt?
  3. Каде производителите на AI краулери ги објавуваат своите IP опсези?
  4. Како да проверам IP адреса наспроти официјалните листи на краулери?
  5. Како да ги верификувам Googlebot, bingbot или Applebot со обратен DNS?
  6. Зошто проверката на user agent не е доволна за да се открие GPTBot?
  7. Како AISeeWhy може да помогне во верификацијата на сообраќајот од AI краулери?

Кои се низите user agent на GPTBot, ClaudeBot, PerplexityBot и другите AI краулери?

Овие се копирани од документацијата на самите производители. OpenAI и Perplexity напоменуваат дека броевите на верзиите може да се менуваат, Google и Microsoft ја ставаат тековната верзија на прелистувачот таму каде што стои W.X.Y.Z, а Apple наведува дека повремено го ажурира делот за прелистувачот. Совпаѓајте според ознаката на краулерот, како GPTBot или bingbot, а не според целата низа.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Статијата за помош на Anthropic ги именува ClaudeBot, Claude-SearchBot и Claude-User, но не ги печати целосните низи user agent, па совпаѓајте според тие ознаки. Страницата на Meta за краулери наведува низи што почнуваат со прикажаните ознаки, по кои следи врска до нејзината документација, и наведува дека низите во вашите дневници може малку да се разликуваат.

Кој краулер што прави и кои имиња се само ознаки за robots.txt?

Две имиња никогаш не се појавуваат во вашите дневници. Google-Extended е ознака за robots.txt што контролира дали содржината што Google ја обиколува може да се користи за моделите Gemini и за поткрепа на одговорите; Google наведува дека тоа не влијае на вклученоста во Google Search. Applebot-Extended е, според зборовите на Apple, секундарен user agent што не обиколува веб-страници; тој само одлучува како Apple може да ги користи податоците што ги собрал Applebot. Барање што тврди дека е кој било од нив не е вистинско.

Каде производителите на AI краулери ги објавуваат своите IP опсези?

Повеќето производители објавуваат JSON-датотека со иста форма: низа prefixes со објекти со ipv4Prefix или ipv6Prefix, плус creationTime што ви кажува колку е свежа.

Како да проверам IP адреса наспроти официјалните листи на краулери?

Оваа скрипта ја вчитува секоја листа и пријавува која ја содржи адресата. Потребен ѝ е само Python 3 и работи со IPv4 и IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Листите се менуваат. Секоја датотека има свој creationTime, Perplexity препорачува автоматско ажурирање на правилата во заштитниот ѕид, а Bing бара да ја освежувате неговата листа секој ден. Ако ги користите листите во заштитен ѕид, преземајте ги по распоред наместо да ги копирате еднаш.

Како да ги верификувам Googlebot, bingbot или Applebot со обратен DNS?

Google, Microsoft, Apple и Common Crawl ја документираат истата проверка во два чекора: побарајте го името на IP адресата, потврдете дека завршува на доменот на производителот, а потоа побарајте го тоа име и потврдете дека ја враќа истата IP адреса. Двата чекора се важни, бидејќи кој и да контролира IP опсег може да постави какво сака име во обратниот DNS, но не може да направи доменот на производителот да покажува назад кон него.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google ги прифаќа googlebot.com, google.com и googleusercontent.com за сите видови свои краулери; функцијата погоре прифаќа само googlebot.com, што го користи самиот Googlebot во примерите на Google. За другите краулери и алатки за преземање на Google користете ги неговите JSON-листи. DNS-барањата одземаат време, па пуштајте ги кога ги прегледувате дневниците или кеширајте го резултатот, наместо при секое живо барање.

Зошто проверката на user agent не е доволна за да се открие GPTBot?

User agent е заглавие што го избира клиентот, па секој може да испрати GPTBot или Googlebot. Common Crawl предупредува дека некои краулери лажно тврдат дека се CCBot, а Bing објавува водич за проверка дали сообраќајот што тврди дека е bingbot навистина доаѓа од Bing. Сигурното откривање на GPTBot значи проверка на двете: ознаката во user agent и изворната IP адреса во gptbot.json. Барање со ознаката од адреса што не е на листата е имитатор, а неговото блокирање не влијае на OpenAI.

Се случува и обратното. Ако вашиот заштитен ѕид дозволува само според user agent, имитаторите влегуваат; ако дозволува само според IP опсег, секој агент од мрежата на тој производител добива ист третман, дури и оној што сакавте да го блокирате. Совпаѓањето на двете е правилото на кое може да се потпрете.

Како AISeeWhy може да помогне во верификацијата на сообраќајот од AI краулери?

Бесплатната проверка на IP адреси на AI краулери на AISeeWhy ви кажува, без сметка, дали IP адресата му припаѓа на GPTBot или на друг AI краулер. Бесплатната проверка на сајтот потоа ја бара вашата страница како 16 AI краулери и краулери за пребарување покрај вистински прелистувач, за да видите што би добиле вистинските краулери.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Кој е user agent на GPTBot?

OpenAI објавува Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot и напоменува дека верзијата може да се промени. Совпаѓајте според GPTBot и потврдете ја IP адресата наспроти https://openai.com/gptbot.json.

Кој е user agent на OAI-SearchBot?

Низа во стилот на Chrome што завршува на compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Неговите адреси се наведени во https://openai.com/searchbot.json. OpenAI го користи за прикажување сајтови во пребарувањето на ChatGPT, што е различна задача од онаа на GPTBot.

Дали Anthropic ги објавува IP адресите на ClaudeBot?

Да. Anthropic упатува на https://claude.com/crawling/bots.json и наведува дека изворна IP адреса од таа листа покажува дека краулерот е од Anthropic. Неговата статија за помош ги именува ознаките на ботовите, но не и целосните низи user agent.

Можам ли да ги видам Google-Extended или Applebot-Extended во моите дневници?

Не. И двата се ознаки за robots.txt, а не краулери. Google и Apple ги преземаат страниците со Googlebot и Applebot и ги користат овие ознаки само за да одлучат како содржината смее да се користи за AI.

Каде е листата на IP адреси на bingbot?

Bing ја објавува на https://www.bing.com/toolbox/bingbot.json и бара да ја освежувате секој ден. Неговиот водич ја препорачува обратната и директната DNS-проверка, при која името мора да завршува на search.msn.com.

Извори

Уште статии