MI rāpuļprogrammu user-agent un IP diapazoni: GPTBot, ClaudeBot, PerplexityBot un citas
GPTBot sevi identificē ar user-agent, kas satur GPTBot/1.4; +https://openai.com/gptbot, un OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple un Common Crawl katrs publicē JSON sarakstu ar IP diapazoniem, ko izmanto to rāpuļprogrammas. Pieprasījums ir īsts tikai tad, ja sakrīt abi: user-agent nosauc rāpuļprogrammu, un avota IP ir šī piegādātāja sarakstā vai, Googlebot, bingbot, Applebot un CCBot gadījumā, iztur reverso un tiešo DNS pārbaudi. User-agent pats par sevi neko nepierāda, jo to var nosūtīt jebkurš.
Kad žurnālos redzat GPTBot vai ClaudeBot vai vēlaties ugunsmūra noteikumu, kas ielaiž MI meklēšanas rāpuļprogrammas, jums vajag divas lietas: precīzu virkni, ko sūta katra rāpuļprogramma, un veidu, kā pierādīt, ka pieprasījums nāk no uzņēmuma, ko tā nosauc. Tālāk ir virknes tādas, kādas tās šodien publicē katrs piegādātājs, oficiālais IP saraksts vai DNS metode katrai un divi skripti, ar kuriem varat pārbaudīt adresi.
Šajā lapā
- Kādas ir GPTBot, ClaudeBot, PerplexityBot un citu MI rāpuļprogrammu user-agent virknes?
- Kura rāpuļprogramma ko dara, un kuri nosaukumi ir tikai robots.txt marķieri?
- Kur MI rāpuļprogrammu piegādātāji publicē savus IP diapazonus?
- Kā pārbaudīt IP adresi pret oficiālajiem rāpuļprogrammu sarakstiem?
- Kā verificēt Googlebot, bingbot vai Applebot ar reverso DNS?
- Kāpēc user-agent pārbaude nav pietiekama GPTBot noteikšanai?
- Kā AISeeWhy var palīdzēt verificēt MI rāpuļprogrammu datplūsmu?
Kādas ir GPTBot, ClaudeBot, PerplexityBot un citu MI rāpuļprogrammu user-agent virknes?
Tās ir nokopētas no pašu piegādātāju dokumentācijas. OpenAI un Perplexity norāda, ka versiju numuri var mainīties, Google un Microsoft vietā W.X.Y.Z liek pašreizējo pārlūka versiju, un Apple norāda, ka laiku pa laikam atjaunina pārlūka daļu. Salīdziniet pēc rāpuļprogrammas marķiera, piemēram, GPTBot vai bingbot, nevis pēc visas virknes.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic palīdzības rakstā nosauktas ClaudeBot, Claude-SearchBot un Claude-User, bet pilnas user-agent virknes nav dotas, tāpēc salīdziniet pēc šiem marķieriem. Meta rāpuļprogrammu lapā uzskaitītas virknes, kas sākas ar parādītajiem marķieriem, kam seko saite uz tās dokumentāciju, un norādīts, ka virknes jūsu žurnālos var nedaudz atšķirties.
Kura rāpuļprogramma ko dara, un kuri nosaukumi ir tikai robots.txt marķieri?
GPTBotvāc saturu, ko var izmantot OpenAI pamatmodeļu apmācībai.OAI-SearchBotparāda vietnes ChatGPT meklēšanā.ChatGPT-Userielādē lapas lietotāja uzsāktām darbībām, un OpenAI norāda, ka robots.txt kārtulas uz to var neattiekties.OAI-AdsBotpārbauda lapas, kas iesniegtas kā ChatGPT reklāmas.ClaudeBotvāc datus Anthropic modeļiem,Claude-SearchBotuzlabo meklēšanas rezultātus, unClaude-Userielādē lapas, kad cilvēks uzdod Claude jautājumu.PerplexityBotparāda un saista vietnes Perplexity meklēšanā un netiek izmantota pamatmodeļu apmācībai.Perplexity-Userielādē lapas, kad lietotājs uzdod jautājumu.meta-externalagentapstaigā MI modeļu apmācībai vai satura indeksēšanai,meta-webindexerindeksē saturu Meta AI meklēšanai, unmeta-externalfetcherielādē saites pēc lietotāja pieprasījuma.CCBotir Common Crawl, publiska tīmekļa arhīva, rāpuļprogramma.
Divi nosaukumi jūsu žurnālos nekad neparādās. Google-Extended ir robots.txt marķieris, kas nosaka, vai Google apstaigāto saturu drīkst izmantot Gemini modeļiem un grounding; Google norāda, ka tas neietekmē iekļaušanu Google Search. Applebot-Extended ir, Apple vārdiem, sekundārs user-agent, kas neapstaigā tīmekļa lapas; tas tikai nosaka, kā Apple drīkst izmantot Applebot savāktos datus. Pieprasījums, kas uzdodas par kādu no tiem, nav īsts.
Kur MI rāpuļprogrammu piegādātāji publicē savus IP diapazonus?
Vairums piegādātāju publicē vienādas struktūras JSON failu: masīvu prefixes ar objektiem, kuros ir ipv4Prefix vai ipv6Prefix, un creationTime, kas parāda, cik tas ir svaigs.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonunhttps://openai.com/adsbot.json, pa vienam katram aģentam. - Anthropic:
https://claude.com/crawling/bots.json, viens saraksts tās rāpuļprogrammām. Anthropic norāda, ka adrese šajā sarakstā parāda, ka rāpuļprogramma nāk no Anthropic, un arī to, ka IP bloķēšana var droši negarantēt atteikšanos. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonunhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonGooglebot, ar atsevišķiem failiem īpašo gadījumu rāpuļprogrammām un lietotāju izraisītām ielādēm. Darbojas arī reversais DNS. - Apple:
https://search.developer.apple.com/applebot.jsonvai reversais DNSapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. IPv4 adresēm tas iesaka arī ar tiešo vaicājumu apstiprinātu reverso DNS zemcrawl.commoncrawl.org; IPv6 adresēm reversā DNS nav. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, ko Bing lūdz atsvaidzināt katru dienu, jo tas var mainīties jebkurā brīdī, vai reversais DNS, kas beidzas arsearch.msn.com. Bing piedāvā arī publisku rīku Verify Bingbot. - Meta: tās rāpuļprogrammu lapā IP saraksts nav publicēts.
Kā pārbaudīt IP adresi pret oficiālajiem rāpuļprogrammu sarakstiem?
Šis skripts ielādē katru sarakstu un parāda, kurā no tiem ir adrese. Tam vajag tikai Python 3, un tas apstrādā IPv4 un IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Saraksti mainās. Katram failam ir savs creationTime, Perplexity iesaka automatizēt ugunsmūra noteikumu atjaunināšanu, un Bing lūdz tā sarakstu atsvaidzināt katru dienu. Ja izmantojat sarakstus ugunsmūrī, ielādējiet tos pēc grafika, nevis nokopējiet vienreiz.
Kā verificēt Googlebot, bingbot vai Applebot ar reverso DNS?
Google, Microsoft, Apple un Common Crawl dokumentē vienu un to pašu divu soļu pārbaudi: noskaidrojiet IP adreses nosaukumu, pārliecinieties, ka tas beidzas ar piegādātāja domēnu, pēc tam noskaidrojiet šī nosaukuma adresi un pārliecinieties, ka tā ir tā pati IP. Abi soļi ir svarīgi, jo tas, kurš kontrolē IP diapazonu, var iestatīt jebkuru reversā DNS nosaukumu, bet nevar likt piegādātāja domēnam norādīt atpakaļ uz to.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google savām rāpuļprogrammām pieņem googlebot.com, google.com un googleusercontent.com; iepriekšējā funkcija pieņem tikai googlebot.com, ko Google piemēros izmanto pats Googlebot. Citām Google rāpuļprogrammām un ielādētājiem izmantojiet tās JSON sarakstus. DNS vaicājumi aizņem laiku, tāpēc palaidiet tos, pārskatot žurnālus, vai kešojiet rezultātu, nevis veiciet tos katram dzīvajam pieprasījumam.
Kāpēc user-agent pārbaude nav pietiekama GPTBot noteikšanai?
User-agent ir galvene, ko izvēlas klients, tāpēc jebkurš var nosūtīt GPTBot vai Googlebot. Common Crawl brīdina, ka dažas rāpuļprogrammas nepatiesi uzdodas par CCBot, un Bing publicē ceļvedi, kā pārbaudīt, vai datplūsma, kas uzdodas par bingbot, patiešām nāk no Bing. Uzticama GPTBot noteikšana nozīmē pārbaudīt abus: marķieri user-agent un avota IP gptbot.json. Pieprasījums ar šo marķieri no nesarakstītas adreses ir atdarinātājs, un tā bloķēšana OpenAI neietekmē.
Notiek arī pretējais. Ja jūsu ugunsmūris atļauj tikai pēc user-agent, atdarinātāji tiek iekšā; ja tas atļauj tikai pēc IP diapazona, jebkurš aģents no šī piegādātāja tīkla saņem to pašu attieksmi, arī tas, kuru gribējāt bloķēt. Uzticamais noteikums ir salīdzināt abus.
Kā AISeeWhy var palīdzēt verificēt MI rāpuļprogrammu datplūsmu?
Bezmaksas AISeeWhy MI rāpuļprogrammu IP pārbaude bez konta pasaka, vai IP adrese pieder GPTBot vai citai MI rāpuļprogrammai. Bezmaksas vietnes pārbaude pēc tam pieprasa jūsu lapu kā 16 MI un meklētāju rāpuļprogrammas blakus īstam pārlūkam, lai jūs redzētu, ko saņemtu īstās rāpuļprogrammas.
Nākamie soļi
- robots.txt testeris un pārbaude MI rāpuļprogrammām
- MI rāpuļprogrammu IP pārbaude
- Apskatiet pilna pārskata piemēru
- MI rāpuļprogrammu uzraudzība
- Plāni un cenas
Šajā rakstā minētās rāpuļprogrammas
Biežāk uzdotie jautājumi
Kāds ir GPTBot user-agent?
OpenAI publicē Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot un norāda, ka versija var mainīties. Salīdziniet pēc GPTBot un pārbaudiet IP pret https://openai.com/gptbot.json.
Kāds ir OAI-SearchBot user-agent?
Chrome stila virkne, kas beidzas ar compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Tās adreses ir uzskaitītas https://openai.com/searchbot.json. OpenAI to izmanto, lai parādītu vietnes ChatGPT meklēšanā, un tas ir cits uzdevums nekā GPTBot.
Vai Anthropic publicē ClaudeBot IP adreses?
Jā. Anthropic norāda saiti uz https://claude.com/crawling/bots.json un raksta, ka avota IP šajā sarakstā parāda, ka rāpuļprogramma ir no Anthropic. Tās palīdzības rakstā nosaukti robotu marķieri, bet ne pilnas user-agent virknes.
Vai varu redzēt Google-Extended vai Applebot-Extended savos žurnālos?
Nē. Abi ir robots.txt marķieri, nevis rāpuļprogrammas. Google un Apple ielādē lapas ar Googlebot un Applebot un izmanto šos marķierus tikai, lai izlemtu, kā saturu drīkst izmantot MI.
Kur atrodams bingbot IP adrešu saraksts?
Bing to publicē adresē https://www.bing.com/toolbox/bingbot.json un lūdz to atsvaidzināt katru dienu. Tā paša ceļvedis iesaka reverso un tiešo DNS pārbaudi, kurā nosaukumam jābeidzas ar search.msn.com.
Avoti
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot