User agent-ët dhe gamat IP të zvarritësve AI: GPTBot, ClaudeBot, PerplexityBot dhe të tjerë

Publikuar

Përgjigje e shkurtër

GPTBot identifikohet me një user agent që përmban GPTBot/1.4; +https://openai.com/gptbot, dhe OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple dhe Common Crawl publikojnë secili një listë JSON me gamat IP që përdorin zvarritësit e tyre. Një kërkesë është e vërtetë vetëm kur përputhen të dyja: user agent-i emërton zvarritësin dhe IP-ja burimore është në listën e atij ofruesi, ose, për Googlebot, bingbot, Applebot dhe CCBot, kalon një kontroll DNS të kundërt dhe të drejtë. Vetëm user agent-i nuk provon asgjë, sepse kushdo mund ta dërgojë.

Kur shihni GPTBot ose ClaudeBot në logjet tuaja, ose doni një rregull firewall-i që i lë të kalojnë zvarritësit e kërkimit me AI, ju duhen dy gjëra: vargu i saktë që dërgon çdo zvarritës dhe një mënyrë për të provuar që një kërkesë vjen nga kompania që emërton. Më poshtë janë vargjet siç i publikon sot çdo ofrues, lista zyrtare IP ose metoda DNS për secilin dhe dy skripte që mund t'i ekzekutoni për të kontrolluar një adresë.

Në këtë faqe
  1. Cilat janë vargjet user agent të GPTBot, ClaudeBot, PerplexityBot dhe zvarritësve të tjerë AI?
  2. Cili zvarritës bën çfarë dhe cilët emra janë vetëm tokenë të robots.txt?
  3. Ku i publikojnë ofruesit e zvarritësve AI gamat e tyre IP?
  4. Si ta kontrolloj një adresë IP kundrejt listave zyrtare të zvarritësve?
  5. Si t'i verifikoj Googlebot, bingbot ose Applebot me DNS të kundërt?
  6. Pse kontrolli i user agent-it nuk mjafton për të zbuluar GPTBot?
  7. Si mund të ndihmojë AISeeWhy për të verifikuar trafikun e zvarritësve AI?

Cilat janë vargjet user agent të GPTBot, ClaudeBot, PerplexityBot dhe zvarritësve të tjerë AI?

Këto janë kopjuar nga dokumentacioni i vetë ofruesve. OpenAI dhe Perplexity vërejnë se numrat e versioneve mund të ndryshojnë, Google dhe Microsoft vendosin versionin aktual të shfletuesit aty ku shfaqet W.X.Y.Z, dhe Apple thotë se herë pas here e përditëson pjesën e shfletuesit. Përputhni sipas tokenit të zvarritësit, si GPTBot ose bingbot, jo sipas gjithë vargut.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Artikulli i ndihmës i Anthropic përmend ClaudeBot, Claude-SearchBot dhe Claude-User, por nuk i jep vargjet e plota user agent, ndaj përputhni sipas këtyre tokenëve. Faqja e zvarritësve të Meta rendit vargje që fillojnë me tokenët e treguar, të ndjekur nga një lidhje drejt dokumentacionit të saj, dhe thotë se vargjet që shfaqen në logjet tuaja mund të ndryshojnë pak.

Cili zvarritës bën çfarë dhe cilët emra janë vetëm tokenë të robots.txt?

Dy emra nuk shfaqen kurrë në logjet tuaja. Google-Extended është një token i robots.txt që kontrollon nëse përmbajtja që zvarrit Google mund të përdoret për modelet Gemini dhe për grounding; Google thotë se nuk ndikon në përfshirjen në Google Search. Applebot-Extended është, me fjalët e Apple, një user agent dytësor që nuk zvarrit faqe web; ai vetëm vendos si mund t'i përdorë Apple të dhënat që mblodhi Applebot. Një kërkesë që pretendon të jetë njëri prej tyre nuk është e vërtetë.

Ku i publikojnë ofruesit e zvarritësve AI gamat e tyre IP?

Shumica e ofruesve publikojnë një skedar JSON me të njëjtën formë: një varg prefixes me objekte që kanë ipv4Prefix ose ipv6Prefix, plus një creationTime që ju tregon sa i freskët është.

Si ta kontrolloj një adresë IP kundrejt listave zyrtare të zvarritësve?

Ky skript ngarkon çdo listë dhe raporton cila prej tyre e përmban adresën. I duhet vetëm Python 3 dhe trajton IPv4 dhe IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Listat ndryshojnë. Çdo skedar ka creationTime e vet, Perplexity rekomandon automatizimin e përditësimeve të rregullave të firewall-it dhe Bing ju kërkon ta rifreskoni listën e tij çdo ditë. Nëse i përdorni listat në një firewall, merrini sipas një orari dhe mos i kopjoni vetëm një herë.

Si t'i verifikoj Googlebot, bingbot ose Applebot me DNS të kundërt?

Google, Microsoft, Apple dhe Common Crawl dokumentojnë të njëjtin kontroll me dy hapa: kërkoni emrin e adresës IP, konfirmoni që mbaron me domenin e ofruesit, pastaj kërkoni atë emër dhe konfirmoni që kthen të njëjtën IP. Të dy hapat kanë rëndësi, sepse kushdo që kontrollon një gamë IP mund të caktojë çfarëdo emri DNS të kundërt, por nuk mund ta bëjë domenin e ofruesit të tregojë drejt saj.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google pranon googlebot.com, google.com dhe googleusercontent.com për llojet e ndryshme të zvarritësve; funksioni i mësipërm pranon vetëm googlebot.com, që është ai që përdor vetë Googlebot në shembujt e Google. Për zvarritësit dhe marrjet e tjera të Google, përdorni listat e tij JSON. Kërkimet DNS marrin kohë, ndaj ekzekutojini kur shqyrtoni logjet ose ruajeni rezultatin në cache, në vend që t'i bëni për çdo kërkesë live.

Pse kontrolli i user agent-it nuk mjafton për të zbuluar GPTBot?

User agent-i është një header që e zgjedh klienti, ndaj kushdo mund të dërgojë GPTBot ose Googlebot. Common Crawl paralajmëron se disa zvarritës pretendojnë rrejshëm të jenë CCBot, dhe Bing publikon një udhëzues për të kontrolluar nëse trafiku që pretendon të jetë bingbot vjen vërtet nga Bing. Zbulimi i besueshëm i GPTBot do të thotë t'i kontrolloni të dyja: tokenin në user agent dhe IP-në burimore në gptbot.json. Një kërkesë me tokenin nga një adresë që nuk është në listë është imitues, dhe bllokimi i saj nuk ndikon te OpenAI.

Ndodh edhe e kundërta. Nëse firewall-i juaj lejon vetëm një user agent, imituesit hyjnë; nëse lejon vetëm një gamë IP, çdo agjent nga rrjeti i atij ofruesi merr të njëjtin trajtim, edhe ai që donit ta bllokonit. Përputhja e të dyjave është rregulli i besueshëm.

Si mund të ndihmojë AISeeWhy për të verifikuar trafikun e zvarritësve AI?

Kontrolli falas i IP-së së zvarritësve AI në AISeeWhy ju tregon, pa llogari, nëse një adresë IP i përket GPTBot ose një zvarritësi tjetër AI. Kontrolli falas i sajtit pastaj e kërkon faqen tuaj si 16 zvarritës AI dhe kërkimi krahas një shfletuesi real, që të shihni çfarë do të merrnin zvarritësit e vërtetë.

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

Cili është user agent-i i GPTBot?

OpenAI publikon Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot dhe vëren se versioni mund të ndryshojë. Përputhni sipas GPTBot dhe konfirmoni IP-në kundrejt https://openai.com/gptbot.json.

Cili është user agent-i i OAI-SearchBot?

Një varg në stilin e Chrome që mbaron me compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Adresat e tij renditen në https://openai.com/searchbot.json. OpenAI e përdor për të nxjerrë sajtet në kërkimin e ChatGPT, që është punë tjetër nga ajo e GPTBot.

A i publikon Anthropic adresat IP të ClaudeBot?

Po. Anthropic lidh me https://claude.com/crawling/bots.json dhe thotë se një IP burimore në atë listë tregon që zvarritësi është nga Anthropic. Artikulli i tij i ndihmës përmend tokenët e botëve, por jo vargjet e plota user agent.

A mund t'i shoh Google-Extended ose Applebot-Extended në logjet e mia?

Jo. Të dy janë tokenë të robots.txt, jo zvarritës. Google dhe Apple i marrin faqet me Googlebot dhe Applebot dhe këta tokenë i përdorin vetëm për të vendosur si mund të përdoret përmbajtja për AI.

Ku është lista e adresave IP të bingbot?

Bing e publikon në https://www.bing.com/toolbox/bingbot.json dhe ju kërkon ta rifreskoni çdo ditë. Udhëzuesi i tij rekomandon kontrollin DNS të kundërt dhe të drejtë, ku emri duhet të mbarojë me search.msn.com.

Burimet

Më shumë artikuj