MI rāpuļprogrammu user-agent un IP diapazoni: GPTBot, ClaudeBot, PerplexityBot un citas

Publicēts

Īsa atbilde

GPTBot sevi identificē ar user-agent, kas satur GPTBot/1.4; +https://openai.com/gptbot, un OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple un Common Crawl katrs publicē JSON sarakstu ar IP diapazoniem, ko izmanto to rāpuļprogrammas. Pieprasījums ir īsts tikai tad, ja sakrīt abi: user-agent nosauc rāpuļprogrammu, un avota IP ir šī piegādātāja sarakstā vai, Googlebot, bingbot, Applebot un CCBot gadījumā, iztur reverso un tiešo DNS pārbaudi. User-agent pats par sevi neko nepierāda, jo to var nosūtīt jebkurš.

Kad žurnālos redzat GPTBot vai ClaudeBot vai vēlaties ugunsmūra noteikumu, kas ielaiž MI meklēšanas rāpuļprogrammas, jums vajag divas lietas: precīzu virkni, ko sūta katra rāpuļprogramma, un veidu, kā pierādīt, ka pieprasījums nāk no uzņēmuma, ko tā nosauc. Tālāk ir virknes tādas, kādas tās šodien publicē katrs piegādātājs, oficiālais IP saraksts vai DNS metode katrai un divi skripti, ar kuriem varat pārbaudīt adresi.

Šajā lapā
  1. Kādas ir GPTBot, ClaudeBot, PerplexityBot un citu MI rāpuļprogrammu user-agent virknes?
  2. Kura rāpuļprogramma ko dara, un kuri nosaukumi ir tikai robots.txt marķieri?
  3. Kur MI rāpuļprogrammu piegādātāji publicē savus IP diapazonus?
  4. Kā pārbaudīt IP adresi pret oficiālajiem rāpuļprogrammu sarakstiem?
  5. Kā verificēt Googlebot, bingbot vai Applebot ar reverso DNS?
  6. Kāpēc user-agent pārbaude nav pietiekama GPTBot noteikšanai?
  7. Kā AISeeWhy var palīdzēt verificēt MI rāpuļprogrammu datplūsmu?

Kādas ir GPTBot, ClaudeBot, PerplexityBot un citu MI rāpuļprogrammu user-agent virknes?

Tās ir nokopētas no pašu piegādātāju dokumentācijas. OpenAI un Perplexity norāda, ka versiju numuri var mainīties, Google un Microsoft vietā W.X.Y.Z liek pašreizējo pārlūka versiju, un Apple norāda, ka laiku pa laikam atjaunina pārlūka daļu. Salīdziniet pēc rāpuļprogrammas marķiera, piemēram, GPTBot vai bingbot, nevis pēc visas virknes.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic palīdzības rakstā nosauktas ClaudeBot, Claude-SearchBot un Claude-User, bet pilnas user-agent virknes nav dotas, tāpēc salīdziniet pēc šiem marķieriem. Meta rāpuļprogrammu lapā uzskaitītas virknes, kas sākas ar parādītajiem marķieriem, kam seko saite uz tās dokumentāciju, un norādīts, ka virknes jūsu žurnālos var nedaudz atšķirties.

Kura rāpuļprogramma ko dara, un kuri nosaukumi ir tikai robots.txt marķieri?

Divi nosaukumi jūsu žurnālos nekad neparādās. Google-Extended ir robots.txt marķieris, kas nosaka, vai Google apstaigāto saturu drīkst izmantot Gemini modeļiem un grounding; Google norāda, ka tas neietekmē iekļaušanu Google Search. Applebot-Extended ir, Apple vārdiem, sekundārs user-agent, kas neapstaigā tīmekļa lapas; tas tikai nosaka, kā Apple drīkst izmantot Applebot savāktos datus. Pieprasījums, kas uzdodas par kādu no tiem, nav īsts.

Kur MI rāpuļprogrammu piegādātāji publicē savus IP diapazonus?

Vairums piegādātāju publicē vienādas struktūras JSON failu: masīvu prefixes ar objektiem, kuros ir ipv4Prefix vai ipv6Prefix, un creationTime, kas parāda, cik tas ir svaigs.

Kā pārbaudīt IP adresi pret oficiālajiem rāpuļprogrammu sarakstiem?

Šis skripts ielādē katru sarakstu un parāda, kurā no tiem ir adrese. Tam vajag tikai Python 3, un tas apstrādā IPv4 un IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Saraksti mainās. Katram failam ir savs creationTime, Perplexity iesaka automatizēt ugunsmūra noteikumu atjaunināšanu, un Bing lūdz tā sarakstu atsvaidzināt katru dienu. Ja izmantojat sarakstus ugunsmūrī, ielādējiet tos pēc grafika, nevis nokopējiet vienreiz.

Kā verificēt Googlebot, bingbot vai Applebot ar reverso DNS?

Google, Microsoft, Apple un Common Crawl dokumentē vienu un to pašu divu soļu pārbaudi: noskaidrojiet IP adreses nosaukumu, pārliecinieties, ka tas beidzas ar piegādātāja domēnu, pēc tam noskaidrojiet šī nosaukuma adresi un pārliecinieties, ka tā ir tā pati IP. Abi soļi ir svarīgi, jo tas, kurš kontrolē IP diapazonu, var iestatīt jebkuru reversā DNS nosaukumu, bet nevar likt piegādātāja domēnam norādīt atpakaļ uz to.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google savām rāpuļprogrammām pieņem googlebot.com, google.com un googleusercontent.com; iepriekšējā funkcija pieņem tikai googlebot.com, ko Google piemēros izmanto pats Googlebot. Citām Google rāpuļprogrammām un ielādētājiem izmantojiet tās JSON sarakstus. DNS vaicājumi aizņem laiku, tāpēc palaidiet tos, pārskatot žurnālus, vai kešojiet rezultātu, nevis veiciet tos katram dzīvajam pieprasījumam.

Kāpēc user-agent pārbaude nav pietiekama GPTBot noteikšanai?

User-agent ir galvene, ko izvēlas klients, tāpēc jebkurš var nosūtīt GPTBot vai Googlebot. Common Crawl brīdina, ka dažas rāpuļprogrammas nepatiesi uzdodas par CCBot, un Bing publicē ceļvedi, kā pārbaudīt, vai datplūsma, kas uzdodas par bingbot, patiešām nāk no Bing. Uzticama GPTBot noteikšana nozīmē pārbaudīt abus: marķieri user-agent un avota IP gptbot.json. Pieprasījums ar šo marķieri no nesarakstītas adreses ir atdarinātājs, un tā bloķēšana OpenAI neietekmē.

Notiek arī pretējais. Ja jūsu ugunsmūris atļauj tikai pēc user-agent, atdarinātāji tiek iekšā; ja tas atļauj tikai pēc IP diapazona, jebkurš aģents no šī piegādātāja tīkla saņem to pašu attieksmi, arī tas, kuru gribējāt bloķēt. Uzticamais noteikums ir salīdzināt abus.

Kā AISeeWhy var palīdzēt verificēt MI rāpuļprogrammu datplūsmu?

Bezmaksas AISeeWhy MI rāpuļprogrammu IP pārbaude bez konta pasaka, vai IP adrese pieder GPTBot vai citai MI rāpuļprogrammai. Bezmaksas vietnes pārbaude pēc tam pieprasa jūsu lapu kā 16 MI un meklētāju rāpuļprogrammas blakus īstam pārlūkam, lai jūs redzētu, ko saņemtu īstās rāpuļprogrammas.

Bezmaksas rīki

Nākamie soļi

Šajā rakstā minētās rāpuļprogrammas

Biežāk uzdotie jautājumi

Kāds ir GPTBot user-agent?

OpenAI publicē Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot un norāda, ka versija var mainīties. Salīdziniet pēc GPTBot un pārbaudiet IP pret https://openai.com/gptbot.json.

Kāds ir OAI-SearchBot user-agent?

Chrome stila virkne, kas beidzas ar compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Tās adreses ir uzskaitītas https://openai.com/searchbot.json. OpenAI to izmanto, lai parādītu vietnes ChatGPT meklēšanā, un tas ir cits uzdevums nekā GPTBot.

Vai Anthropic publicē ClaudeBot IP adreses?

Jā. Anthropic norāda saiti uz https://claude.com/crawling/bots.json un raksta, ka avota IP šajā sarakstā parāda, ka rāpuļprogramma ir no Anthropic. Tās palīdzības rakstā nosaukti robotu marķieri, bet ne pilnas user-agent virknes.

Vai varu redzēt Google-Extended vai Applebot-Extended savos žurnālos?

Nē. Abi ir robots.txt marķieri, nevis rāpuļprogrammas. Google un Apple ielādē lapas ar Googlebot un Applebot un izmanto šos marķierus tikai, lai izlemtu, kā saturu drīkst izmantot MI.

Kur atrodams bingbot IP adrešu saraksts?

Bing to publicē adresē https://www.bing.com/toolbox/bingbot.json un lūdz to atsvaidzināt katru dienu. Tā paša ceļvedis iesaka reverso un tiešo DNS pārbaudi, kurā nosaukumam jābeidzas ar search.msn.com.

Avoti

Citi raksti