DI robotų user agent ir IP intervalai: GPTBot, ClaudeBot, PerplexityBot ir kiti

Paskelbta

Trumpas atsakymas

GPTBot prisistato user agent eilute, kurioje yra GPTBot/1.4; +https://openai.com/gptbot, o OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple ir Common Crawl skelbia JSON sąrašą IP intervalų, kuriuos naudoja jų robotai. Užklausa tikra tik tada, kai sutampa abu dalykai: user agent nurodo robotą, o šaltinio IP yra to tiekėjo sąraše arba, Googlebot, bingbot, Applebot ir CCBot atveju, praeina atvirkštinę ir tiesioginę DNS patikrą. Vien user agent nieko neįrodo, nes jį gali siųsti bet kas.

Kai žurnaluose matote GPTBot ar ClaudeBot arba norite ugniasienės taisyklės, praleidžiančios DI paieškos robotus, jums reikia dviejų dalykų: tikslios eilutės, kurią siunčia kiekvienas robotas, ir būdo įrodyti, kad užklausa atėjo iš įmonės, kurią ji nurodo. Toliau pateiktos eilutės, kaip kiekvienas tiekėjas jas skelbia šiandien, oficialus IP sąrašas ar DNS metodas kiekvienam ir du scenarijai, kuriais galite patikrinti adresą.

Šiame puslapyje
  1. Kokios yra GPTBot, ClaudeBot, PerplexityBot ir kitų DI robotų user agent eilutės?
  2. Kuris robotas ką daro ir kurie pavadinimai yra tik robots.txt žymenys?
  3. Kur DI robotų tiekėjai skelbia savo IP intervalus?
  4. Kaip patikrinti IP adresą pagal oficialius robotų sąrašus?
  5. Kaip patvirtinti Googlebot, bingbot ar Applebot atvirkštiniu DNS?
  6. Kodėl user agent patikros nepakanka GPTBot atpažinti?
  7. Kaip AISeeWhy gali padėti patvirtinti DI robotų srautą?

Kokios yra GPTBot, ClaudeBot, PerplexityBot ir kitų DI robotų user agent eilutės?

Jos nukopijuotos iš pačių tiekėjų dokumentacijos. OpenAI ir Perplexity pažymi, kad versijų numeriai gali keistis, Google ir Microsoft vietoje W.X.Y.Z įrašo dabartinę naršyklės versiją, o Apple teigia retkarčiais atnaujinanti naršyklės dalį. Lyginkite pagal roboto žymenį, pvz., GPTBot ar bingbot, o ne pagal visą eilutę.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic pagalbos straipsnyje nurodyti ClaudeBot, Claude-SearchBot ir Claude-User, bet nepateiktos pilnos user agent eilutės, todėl lyginkite pagal šiuos žymenis. Meta robotų puslapyje pateikiamos eilutės, prasidedančios parodytais žymenimis, po kurių eina nuoroda į jos dokumentaciją, ir teigiama, kad jūsų žurnaluose rodomos eilutės gali šiek tiek skirtis.

Kuris robotas ką daro ir kurie pavadinimai yra tik robots.txt žymenys?

Du pavadinimai jūsų žurnaluose niekada nepasirodo. Google-Extended yra robots.txt žymuo, valdantis, ar Google nuskaitytas turinys gali būti naudojamas Gemini modeliams ir atsakymų pagrindimui; Google teigia, kad jis neturi įtakos įtraukimui į Google paiešką. Applebot-Extended, Apple žodžiais, yra antrinis user agent, kuris nenuskaito tinklalapių; jis tik lemia, kaip Apple gali naudoti Applebot surinktus duomenis. Užklausa, prisistatanti kuriuo nors iš jų, nėra tikra.

Kur DI robotų tiekėjai skelbia savo IP intervalus?

Dauguma tiekėjų skelbia tokios pačios formos JSON failą: prefixes objektų masyvą su ipv4Prefix arba ipv6Prefix ir creationTime, rodantį, koks naujas failas.

Kaip patikrinti IP adresą pagal oficialius robotų sąrašus?

Šis scenarijus įkelia kiekvieną sąrašą ir praneša, kuriame yra adresas. Jam reikia tik Python 3, ir jis veikia su IPv4 ir IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Sąrašai keičiasi. Kiekvienas failas turi savo creationTime, Perplexity rekomenduoja automatizuoti ugniasienės taisyklių atnaujinimą, o Bing prašo savo sąrašą atnaujinti kasdien. Jei sąrašus naudojate ugniasienėje, atsisiųskite juos pagal grafiką, o ne nukopijuokite vieną kartą.

Kaip patvirtinti Googlebot, bingbot ar Applebot atvirkštiniu DNS?

Google, Microsoft, Apple ir Common Crawl dokumentuoja tą pačią dviejų žingsnių patikrą: suraskite IP adreso vardą, įsitikinkite, kad jis baigiasi tiekėjo domenu, tada suraskite tą vardą ir įsitikinkite, kad jis grąžina tą patį IP. Svarbūs abu žingsniai, nes IP intervalą valdantis asmuo gali nustatyti bet kokį atvirkštinio DNS vardą, bet negali priversti tiekėjo domeno rodyti atgal į jį.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google priima googlebot.com, google.com ir googleusercontent.com savo robotų tipams; aukščiau pateikta funkcija priima tik googlebot.com, kurį pats Googlebot naudoja Google pavyzdžiuose. Kitiems Google robotams ir atsisiuntimo įrankiams naudokite jos JSON sąrašus. DNS užklausos užtrunka, todėl jas vykdykite peržiūrėdami žurnalus arba talpinkite rezultatą, o ne kiekvienai gyvai užklausai.

Kodėl user agent patikros nepakanka GPTBot atpažinti?

User agent yra antraštė, kurią pasirenka klientas, todėl GPTBot ar Googlebot gali siųsti bet kas. Common Crawl įspėja, kad kai kurie robotai melagingai prisistato kaip CCBot, o Bing skelbia vadovą, kaip patikrinti, ar srautas, prisistatantis kaip bingbot, tikrai ateina iš Bing. Patikimai atpažinti GPTBot reiškia patikrinti abu dalykus: žymenį user agent ir šaltinio IP gptbot.json. Užklausa su žymeniu iš sąraše nesančio adreso yra imitatorius, o jos blokavimas OpenAI neturi įtakos.

Būna ir atvirkščiai. Jei jūsų ugniasienė leidžia tik user agent, įeina imitatoriai; jei leidžia tik IP intervalą, kiekvienas agentas iš to tiekėjo tinklo sulaukia to paties traktavimo, net ir tas, kurį norėjote blokuoti. Abiejų atitiktis yra patikima taisyklė.

Kaip AISeeWhy gali padėti patvirtinti DI robotų srautą?

Nemokama AISeeWhy DI robotų IP patikra be paskyros parodo, ar IP adresas priklauso GPTBot ar kitam DI robotui. Tada nemokama svetainės patikra užklausia jūsų puslapio kaip 16 DI ir paieškos robotų šalia tikros naršyklės, todėl galite pamatyti, ką gautų tikri robotai.

Nemokami įrankiai

Kiti žingsniai

Šiame straipsnyje minimi robotai

Dažniausiai užduodami klausimai

Koks yra GPTBot user agent?

OpenAI skelbia Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ir pažymi, kad versija gali keistis. Lyginkite pagal GPTBot ir patikrinkite IP pagal https://openai.com/gptbot.json.

Koks yra OAI-SearchBot user agent?

Chrome stiliaus eilutė, kuri baigiasi compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Jo adresai pateikti https://openai.com/searchbot.json. OpenAI jį naudoja svetainėms rodyti ChatGPT paieškoje, o tai kitas darbas nei GPTBot.

Ar Anthropic skelbia ClaudeBot IP adresus?

Taip. Anthropic pateikia nuorodą į https://claude.com/crawling/bots.json ir teigia, kad šaltinio IP šiame sąraše rodo, jog robotas yra iš Anthropic. Jos pagalbos straipsnyje nurodyti robotų žymenys, bet ne pilnos user agent eilutės.

Ar galiu matyti Google-Extended ar Applebot-Extended savo žurnaluose?

Ne. Abu yra robots.txt žymenys, o ne robotai. Google ir Apple puslapius atsisiunčia su Googlebot ir Applebot ir šiuos žymenis naudoja tik spręsdamos, kaip turinys gali būti naudojamas DI.

Kur yra bingbot IP adresų sąrašas?

Bing jį skelbia adresu https://www.bing.com/toolbox/bingbot.json ir prašo atnaujinti kasdien. Jos vadove rekomenduojama atvirkštinė ir tiesioginė DNS patikra, kai vardas turi baigtis search.msn.com.

Šaltiniai

Daugiau straipsnių