DI robotų user agent ir IP intervalai: GPTBot, ClaudeBot, PerplexityBot ir kiti
GPTBot prisistato user agent eilute, kurioje yra GPTBot/1.4; +https://openai.com/gptbot, o OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple ir Common Crawl skelbia JSON sąrašą IP intervalų, kuriuos naudoja jų robotai. Užklausa tikra tik tada, kai sutampa abu dalykai: user agent nurodo robotą, o šaltinio IP yra to tiekėjo sąraše arba, Googlebot, bingbot, Applebot ir CCBot atveju, praeina atvirkštinę ir tiesioginę DNS patikrą. Vien user agent nieko neįrodo, nes jį gali siųsti bet kas.
Kai žurnaluose matote GPTBot ar ClaudeBot arba norite ugniasienės taisyklės, praleidžiančios DI paieškos robotus, jums reikia dviejų dalykų: tikslios eilutės, kurią siunčia kiekvienas robotas, ir būdo įrodyti, kad užklausa atėjo iš įmonės, kurią ji nurodo. Toliau pateiktos eilutės, kaip kiekvienas tiekėjas jas skelbia šiandien, oficialus IP sąrašas ar DNS metodas kiekvienam ir du scenarijai, kuriais galite patikrinti adresą.
Šiame puslapyje
- Kokios yra GPTBot, ClaudeBot, PerplexityBot ir kitų DI robotų user agent eilutės?
- Kuris robotas ką daro ir kurie pavadinimai yra tik robots.txt žymenys?
- Kur DI robotų tiekėjai skelbia savo IP intervalus?
- Kaip patikrinti IP adresą pagal oficialius robotų sąrašus?
- Kaip patvirtinti Googlebot, bingbot ar Applebot atvirkštiniu DNS?
- Kodėl user agent patikros nepakanka GPTBot atpažinti?
- Kaip AISeeWhy gali padėti patvirtinti DI robotų srautą?
Kokios yra GPTBot, ClaudeBot, PerplexityBot ir kitų DI robotų user agent eilutės?
Jos nukopijuotos iš pačių tiekėjų dokumentacijos. OpenAI ir Perplexity pažymi, kad versijų numeriai gali keistis, Google ir Microsoft vietoje W.X.Y.Z įrašo dabartinę naršyklės versiją, o Apple teigia retkarčiais atnaujinanti naršyklės dalį. Lyginkite pagal roboto žymenį, pvz., GPTBot ar bingbot, o ne pagal visą eilutę.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic pagalbos straipsnyje nurodyti ClaudeBot, Claude-SearchBot ir Claude-User, bet nepateiktos pilnos user agent eilutės, todėl lyginkite pagal šiuos žymenis. Meta robotų puslapyje pateikiamos eilutės, prasidedančios parodytais žymenimis, po kurių eina nuoroda į jos dokumentaciją, ir teigiama, kad jūsų žurnaluose rodomos eilutės gali šiek tiek skirtis.
Kuris robotas ką daro ir kurie pavadinimai yra tik robots.txt žymenys?
GPTBotrenka turinį, kuris gali būti naudojamas OpenAI baziniams modeliams mokyti.OAI-SearchBotrodo svetaines ChatGPT paieškoje.ChatGPT-Useratsisiunčia puslapius naudotojo pradėtiems veiksmams, o OpenAI teigia, kad robots.txt taisyklės jam gali būti netaikomos.OAI-AdsBottikrina puslapius, pateiktus kaip ChatGPT reklama.ClaudeBotrenka duomenis Anthropic modeliams,Claude-SearchBotgerina paieškos rezultatus, oClaude-Useratsisiunčia puslapius, kai žmogus užduoda Claude klausimą.PerplexityBotrodo ir susieja svetaines Perplexity paieškoje ir nenaudojamas baziniams modeliams mokyti.Perplexity-Useratsisiunčia puslapius, kai naudotojas užduoda klausimą.meta-externalagentnuskaito svetaines DI modeliams mokyti ar turiniui indeksuoti,meta-webindexerindeksuoja turinį Meta AI paieškai, ometa-externalfetcheratsisiunčia nuorodas naudotojo prašymu.CCBotyra Common Crawl, viešojo interneto archyvo, robotas.
Du pavadinimai jūsų žurnaluose niekada nepasirodo. Google-Extended yra robots.txt žymuo, valdantis, ar Google nuskaitytas turinys gali būti naudojamas Gemini modeliams ir atsakymų pagrindimui; Google teigia, kad jis neturi įtakos įtraukimui į Google paiešką. Applebot-Extended, Apple žodžiais, yra antrinis user agent, kuris nenuskaito tinklalapių; jis tik lemia, kaip Apple gali naudoti Applebot surinktus duomenis. Užklausa, prisistatanti kuriuo nors iš jų, nėra tikra.
Kur DI robotų tiekėjai skelbia savo IP intervalus?
Dauguma tiekėjų skelbia tokios pačios formos JSON failą: prefixes objektų masyvą su ipv4Prefix arba ipv6Prefix ir creationTime, rodantį, koks naujas failas.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonirhttps://openai.com/adsbot.json, po vieną kiekvienam agentui. - Anthropic:
https://claude.com/crawling/bots.json, vienas sąrašas visiems jos robotams. Anthropic teigia, kad adresas šiame sąraše rodo, jog robotas yra iš Anthropic, bet taip pat, kad IP blokavimas gali patikimai neužtikrinti atsisakymo. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonirhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonGooglebot, su atskirais failais specialios paskirties robotams ir naudotojų inicijuotiems atsisiuntimams. Veikia ir atvirkštinis DNS. - Apple:
https://search.developer.apple.com/applebot.jsonarba atvirkštinis DNSapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. IPv4 adresams ji taip pat rekomenduoja tiesiogine užklausa patvirtintą atvirkštinį DNS pocrawl.commoncrawl.org; IPv6 adresai atvirkštinio DNS neturi. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, kurį Bing prašo atnaujinti kasdien, nes jis gali pasikeisti bet kada, arba atvirkštinis DNS, besibaigiantissearch.msn.com. Bing taip pat siūlo viešą įrankį Verify Bingbot. - Meta: jos robotų puslapyje IP sąrašas neskelbiamas.
Kaip patikrinti IP adresą pagal oficialius robotų sąrašus?
Šis scenarijus įkelia kiekvieną sąrašą ir praneša, kuriame yra adresas. Jam reikia tik Python 3, ir jis veikia su IPv4 ir IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Sąrašai keičiasi. Kiekvienas failas turi savo creationTime, Perplexity rekomenduoja automatizuoti ugniasienės taisyklių atnaujinimą, o Bing prašo savo sąrašą atnaujinti kasdien. Jei sąrašus naudojate ugniasienėje, atsisiųskite juos pagal grafiką, o ne nukopijuokite vieną kartą.
Kaip patvirtinti Googlebot, bingbot ar Applebot atvirkštiniu DNS?
Google, Microsoft, Apple ir Common Crawl dokumentuoja tą pačią dviejų žingsnių patikrą: suraskite IP adreso vardą, įsitikinkite, kad jis baigiasi tiekėjo domenu, tada suraskite tą vardą ir įsitikinkite, kad jis grąžina tą patį IP. Svarbūs abu žingsniai, nes IP intervalą valdantis asmuo gali nustatyti bet kokį atvirkštinio DNS vardą, bet negali priversti tiekėjo domeno rodyti atgal į jį.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google priima googlebot.com, google.com ir googleusercontent.com savo robotų tipams; aukščiau pateikta funkcija priima tik googlebot.com, kurį pats Googlebot naudoja Google pavyzdžiuose. Kitiems Google robotams ir atsisiuntimo įrankiams naudokite jos JSON sąrašus. DNS užklausos užtrunka, todėl jas vykdykite peržiūrėdami žurnalus arba talpinkite rezultatą, o ne kiekvienai gyvai užklausai.
Kodėl user agent patikros nepakanka GPTBot atpažinti?
User agent yra antraštė, kurią pasirenka klientas, todėl GPTBot ar Googlebot gali siųsti bet kas. Common Crawl įspėja, kad kai kurie robotai melagingai prisistato kaip CCBot, o Bing skelbia vadovą, kaip patikrinti, ar srautas, prisistatantis kaip bingbot, tikrai ateina iš Bing. Patikimai atpažinti GPTBot reiškia patikrinti abu dalykus: žymenį user agent ir šaltinio IP gptbot.json. Užklausa su žymeniu iš sąraše nesančio adreso yra imitatorius, o jos blokavimas OpenAI neturi įtakos.
Būna ir atvirkščiai. Jei jūsų ugniasienė leidžia tik user agent, įeina imitatoriai; jei leidžia tik IP intervalą, kiekvienas agentas iš to tiekėjo tinklo sulaukia to paties traktavimo, net ir tas, kurį norėjote blokuoti. Abiejų atitiktis yra patikima taisyklė.
Kaip AISeeWhy gali padėti patvirtinti DI robotų srautą?
Nemokama AISeeWhy DI robotų IP patikra be paskyros parodo, ar IP adresas priklauso GPTBot ar kitam DI robotui. Tada nemokama svetainės patikra užklausia jūsų puslapio kaip 16 DI ir paieškos robotų šalia tikros naršyklės, todėl galite pamatyti, ką gautų tikri robotai.
Kiti žingsniai
- robots.txt testeris ir tikrinimas DI robotams
- DI robotų IP patikra
- Peržiūrėkite pilnos ataskaitos pavyzdį
- DI robotų stebėsena
- Planai ir kainos
Šiame straipsnyje minimi robotai
Dažniausiai užduodami klausimai
Koks yra GPTBot user agent?
OpenAI skelbia Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot ir pažymi, kad versija gali keistis. Lyginkite pagal GPTBot ir patikrinkite IP pagal https://openai.com/gptbot.json.
Koks yra OAI-SearchBot user agent?
Chrome stiliaus eilutė, kuri baigiasi compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Jo adresai pateikti https://openai.com/searchbot.json. OpenAI jį naudoja svetainėms rodyti ChatGPT paieškoje, o tai kitas darbas nei GPTBot.
Ar Anthropic skelbia ClaudeBot IP adresus?
Taip. Anthropic pateikia nuorodą į https://claude.com/crawling/bots.json ir teigia, kad šaltinio IP šiame sąraše rodo, jog robotas yra iš Anthropic. Jos pagalbos straipsnyje nurodyti robotų žymenys, bet ne pilnos user agent eilutės.
Ar galiu matyti Google-Extended ar Applebot-Extended savo žurnaluose?
Ne. Abu yra robots.txt žymenys, o ne robotai. Google ir Apple puslapius atsisiunčia su Googlebot ir Applebot ir šiuos žymenis naudoja tik spręsdamos, kaip turinys gali būti naudojamas DI.
Kur yra bingbot IP adresų sąrašas?
Bing jį skelbia adresu https://www.bing.com/toolbox/bingbot.json ir prašo atnaujinti kasdien. Jos vadove rekomenduojama atvirkštinė ir tiesioginė DNS patikra, kai vardas turi baigtis search.msn.com.
Šaltiniai
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot