AI ռոբոտների user agent-ներ և IP տիրույթներ. GPTBot, ClaudeBot, PerplexityBot և այլն
GPTBot-ը ներկայանում է GPTBot/1.4; +https://openai.com/gptbot պարունակող user agent-ով, իսկ OpenAI-ը, Anthropic-ը, Perplexity-ն, Google-ը, Microsoft-ը, Apple-ը և Common Crawl-ը յուրաքանչյուրը հրապարակում են իրենց ռոբոտների օգտագործած IP տիրույթների JSON ցանկ։ Հարցումն իրական է միայն երբ երկուսն էլ համընկնում են. user agent-ը նշում է ռոբոտին, իսկ աղբյուր IP-ն այդ մատակարարի ցանկում է, կամ, Googlebot-ի, bingbot-ի, Applebot-ի և CCBot-ի դեպքում, անցնում է հակադարձ և ուղիղ DNS ստուգումը։ Միայն user agent-ը ոչինչ չի ապացուցում, քանի որ ցանկացած մեկը կարող է այն ուղարկել։
Երբ ձեր լոգերում տեսնում եք GPTBot կամ ClaudeBot, կամ ցանկանում եք ֆայրվոլի կանոն, որը ներս կթողնի AI որոնողական ռոբոտներին, ձեզ երկու բան է պետք. յուրաքանչյուր ռոբոտի ուղարկած ճշգրիտ տողը և եղանակ՝ ապացուցելու, որ հարցումը եկել է իր նշած ընկերությունից։ Ստորև ներկայացված են տողերն այնպես, ինչպես յուրաքանչյուր մատակարար դրանք հրապարակում է այսօր, յուրաքանչյուրի պաշտոնական IP ցանկը կամ DNS մեթոդը, և երկու սկրիպտ, որոնք կարող եք գործարկել հասցե ստուգելու համար։
Այս էջում
- Որո՞նք են GPTBot-ի, ClaudeBot-ի, PerplexityBot-ի և այլ AI ռոբոտների user agent տողերը
- Ո՞ր ռոբոտն ինչ է անում, և ո՞ր անուններն են միայն robots.txt-ի նշաններ
- Որտե՞ղ են AI ռոբոտների մատակարարները հրապարակում իրենց IP տիրույթները
- Ինչպե՞ս ստուգել IP հասցեն ռոբոտների պաշտոնական ցանկերով
- Ինչպե՞ս ստուգել Googlebot-ը, bingbot-ը կամ Applebot-ը հակադարձ DNS-ով
- Ինչո՞ւ user agent-ի ստուգումը բավարար չէ GPTBot-ը հայտնաբերելու համար
- Ինչպե՞ս կարող է AISeeWhy-ն օգնել ստուգել AI ռոբոտների տրաֆիկը
Որո՞նք են GPTBot-ի, ClaudeBot-ի, PerplexityBot-ի և այլ AI ռոբոտների user agent տողերը
Սրանք պատճենված են մատակարարների սեփական փաստաթղթերից։ OpenAI-ը և Perplexity-ն նշում են, որ տարբերակների համարները կարող են փոխվել, Google-ը և Microsoft-ը W.X.Y.Z-ի տեղում դնում են բրաուզերի ընթացիկ տարբերակը, իսկ Apple-ն ասում է, որ երբեմն թարմացնում է բրաուզերի մասը։ Համընկնեցրեք ըստ ռոբոտի նշանի, օրինակ՝ GPTBot կամ bingbot, ոչ թե ամբողջ տողի։
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic-ի օգնության հոդվածը նշում է ClaudeBot, Claude-SearchBot և Claude-User նշանները, բայց ամբողջական user agent տողեր չի բերում, ուստի համընկնեցրեք ըստ այդ նշանների։ Meta-ի ռոբոտների էջը թվարկում է տողեր, որոնք սկսվում են ցուցադրված նշաններով, որոնց հաջորդում է իր փաստաթղթերի հղումը, և ասում է, որ ձեր լոգերում երևացող տողերը կարող են մի փոքր տարբերվել։
Ո՞ր ռոբոտն ինչ է անում, և ո՞ր անուններն են միայն robots.txt-ի նշաններ
GPTBot-ը հավաքում է բովանդակություն, որը կարող է օգտագործվել OpenAI-ի հիմնային մոդելների ուսուցման համար։OAI-SearchBot-ը կայքերը ցուցադրում է ChatGPT-ի որոնման մեջ։ChatGPT-User-ը բեռնում է էջեր օգտատիրոջ նախաձեռնած գործողությունների համար, և OpenAI-ն ասում է, որ robots.txt-ի կանոնները կարող են նրա վրա չտարածվել։OAI-AdsBot-ը ստուգում է ChatGPT-ի գովազդների համար ներկայացված էջերը։ClaudeBot-ը տվյալներ է հավաքում Anthropic-ի մոդելների համար,Claude-SearchBot-ը բարելավում է որոնման արդյունքները, իսկClaude-User-ը բեռնում է էջեր, երբ մարդը Claude-ին հարց է տալիս։PerplexityBot-ը կայքերը ցուցադրում և հղում է Perplexity-ի որոնման մեջ և չի օգտագործվում հիմնային մոդելների ուսուցման համար։Perplexity-User-ը բեռնում է էջեր, երբ օգտատերը հարց է տալիս։meta-externalagent-ը այցելում է էջեր AI մոդելների ուսուցման կամ բովանդակության ինդեքսավորման համար,meta-webindexer-ը ինդեքսավորում է բովանդակություն Meta AI որոնման համար, իսկmeta-externalfetcher-ը բեռնում է հղումներ օգտատիրոջ խնդրանքով։CCBot-ը Common Crawl-ի ռոբոտն է, որը համացանցի հանրային արխիվ է։
Երկու անուն երբեք չեն հայտնվում ձեր լոգերում։ Google-Extended-ը robots.txt-ի նշան է, որը կառավարում է, թե արդյոք Google-ի այցելած բովանդակությունը կարող է օգտագործվել Gemini մոդելների և grounding-ի համար. Google-ն ասում է, որ այն չի ազդում Google Search-ում ներառվելու վրա։ Applebot-Extended-ը, Apple-ի բառերով, երկրորդական user agent է, որը վեբ էջեր չի այցելում. այն միայն որոշում է, թե ինչպես կարող է Apple-ն օգտագործել Applebot-ի հավաքած տվյալները։ Հարցումը, որը ներկայանում է դրանցից որևէ մեկի անունով, իսկական չէ։
Որտե՞ղ են AI ռոբոտների մատակարարները հրապարակում իրենց IP տիրույթները
Մատակարարների մեծ մասը հրապարակում է նույն կառուցվածքով JSON ֆայլ. prefixes զանգված՝ ipv4Prefix կամ ipv6Prefix պարունակող օբյեկտներով, գումարած creationTime, որը ցույց է տալիս, թե որքան թարմ է այն։
- OpenAI.
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonևhttps://openai.com/adsbot.json՝ մեկական յուրաքանչյուր գործակալի համար։ - Anthropic.
https://claude.com/crawling/bots.json՝ մեկ ցանկ իր ռոբոտների համար։ Anthropic-ն ասում է, որ այս ցանկի հասցեն ցույց է տալիս, որ ռոբոտը Anthropic-ից է, ինչպես նաև, որ IP-ով արգելափակումը կարող է հուսալիորեն չերաշխավորել հրաժարումը։ - Perplexity.
https://www.perplexity.ai/perplexitybot.jsonևhttps://www.perplexity.ai/perplexity-user.json։ - Google.
https://developers.google.com/static/crawling/ipranges/common-crawlers.json՝ Googlebot-ի համար, առանձին ֆայլերով հատուկ ռոբոտների և օգտատիրոջ նախաձեռնած բեռնումների համար։ Աշխատում է նաև հակադարձ DNS-ը։ - Apple.
https://search.developer.apple.com/applebot.jsonկամ հակադարձ DNSapplebot.apple.com-ում։ - Common Crawl.
https://index.commoncrawl.org/ccbot.json։ IPv4-ի համար այն նաև խորհուրդ է տալիս ուղիղ ստուգմամբ հաստատված հակադարձ DNScrawl.commoncrawl.org-ի ներքո. IPv6 հասցեները հակադարձ DNS չունեն։ - Microsoft.
https://www.bing.com/toolbox/bingbot.json, որը Bing-ը խնդրում է թարմացնել ամեն օր, քանի որ այն կարող է փոխվել ցանկացած պահի, կամsearch.msn.com-ով ավարտվող հակադարձ DNS։ Bing-ն առաջարկում է նաև հանրային Verify Bingbot գործիք։ - Meta. նրա ռոբոտների էջը IP ցանկ չի հրապարակում։
Ինչպե՞ս ստուգել IP հասցեն ռոբոտների պաշտոնական ցանկերով
Այս սկրիպտը բեռնում է յուրաքանչյուր ցանկ և հայտնում, թե որն է պարունակում հասցեն։ Նրան պետք է միայն Python 3, և այն աշխատում է IPv4-ի և IPv6-ի հետ։
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Ցանկերը փոխվում են։ Յուրաքանչյուր ֆայլ ունի իր creationTime-ը, Perplexity-ն խորհուրդ է տալիս ավտոմատացնել ձեր ֆայրվոլի կանոնների թարմացումը, իսկ Bing-ը խնդրում է թարմացնել իր ցանկը ամեն օր։ Եթե ցանկերն օգտագործում եք ֆայրվոլում, բեռնեք դրանք ժամանակացույցով, այլ ոչ թե մեկ անգամ պատճենեք։
Ինչպե՞ս ստուգել Googlebot-ը, bingbot-ը կամ Applebot-ը հակադարձ DNS-ով
Google-ը, Microsoft-ը, Apple-ը և Common Crawl-ը փաստաթղթավորում են նույն երկքայլ ստուգումը. գտեք IP հասցեի անունը, հաստատեք, որ այն ավարտվում է մատակարարի դոմենով, ապա գտեք այդ անունը և հաստատեք, որ այն վերադարձնում է նույն IP-ն։ Երկու քայլն էլ կարևոր են, քանի որ IP տիրույթը վերահսկողը կարող է սահմանել ցանկացած հակադարձ DNS անուն, բայց չի կարող ստիպել մատակարարի դոմենին հետ ցույց տալ իրեն։
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google-ն ընդունում է googlebot.com, google.com և googleusercontent.com դոմենները իր ռոբոտների տարբեր տեսակների համար. վերևի ֆունկցիան ընդունում է միայն googlebot.com-ը, որն օգտագործում է հենց Googlebot-ը Google-ի օրինակներում։ Google-ի մյուս ռոբոտների և բեռնիչների համար օգտագործեք նրա JSON ցանկերը։ DNS հարցումները ժամանակ են պահանջում, ուստի դրանք գործարկեք լոգերը վերանայելիս կամ արդյունքը քեշավորեք, այլ ոչ թե յուրաքանչյուր կենդանի հարցման ժամանակ։
Ինչո՞ւ user agent-ի ստուգումը բավարար չէ GPTBot-ը հայտնաբերելու համար
User agent-ը վերնագիր է, որը ընտրում է հաճախորդը, ուստի ցանկացած մեկը կարող է ուղարկել GPTBot կամ Googlebot։ Common Crawl-ը զգուշացնում է, որ որոշ ռոբոտներ կեղծ ներկայանում են որպես CCBot, իսկ Bing-ը հրապարակում է ուղեցույց՝ ստուգելու, թե արդյոք bingbot ներկայացող տրաֆիկն իսկապես Bing-ից է։ GPTBot-ի հուսալի հայտնաբերումը նշանակում է ստուգել երկուսն էլ. user agent-ի նշանը և աղբյուր IP-ն gptbot.json-ում։ Նշանով, բայց ցանկում չեղած հասցեից եկող հարցումը նմանակող է, և դրա արգելափակումը չի ազդում OpenAI-ի վրա։
Պատահում է նաև հակառակը։ Եթե ձեր ֆայրվոլը թույլատրում է միայն ըստ user agent-ի, նմանակողները ներս են մտնում. եթե այն թույլատրում է միայն ըստ IP տիրույթի, այդ մատակարարի ցանցից ցանկացած գործակալ ստանում է նույն վերաբերմունքը, նույնիսկ այն, որը մտադիր էիք արգելափակել։ Երկուսով համընկնեցնելը հուսալի կանոնն է։
Ինչպե՞ս կարող է AISeeWhy-ն օգնել ստուգել AI ռոբոտների տրաֆիկը
AISeeWhy-ի AI ռոբոտների անվճար IP ստուգումը առանց հաշվի ձեզ ասում է, թե արդյոք IP հասցեն պատկանում է GPTBot-ին կամ այլ AI ռոբոտի։ Այնուհետև կայքի անվճար ստուգումը պահանջում է ձեր էջը 16 AI և որոնողական ռոբոտների անունից՝ իրական բրաուզերի կողքին, որպեսզի տեսնեք, թե ինչ կստանային իսկական ռոբոտները։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Ո՞րն է GPTBot-ի user agent-ը
OpenAI-ը հրապարակում է Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot տողը և նշում, որ տարբերակը կարող է փոխվել։ Համընկնեցրեք ըստ GPTBot-ի և հաստատեք IP-ն https://openai.com/gptbot.json-ով։
Ո՞րն է OAI-SearchBot-ի user agent-ը
Chrome-ի ոճի տող, որն ավարտվում է compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot-ով։ Նրա հասցեները թվարկված են https://openai.com/searchbot.json-ում։ OpenAI-ն այն օգտագործում է կայքերը ChatGPT-ի որոնման մեջ ցուցադրելու համար, ինչը GPTBot-ի գործից տարբեր խնդիր է։
Anthropic-ը հրապարակո՞ւմ է ClaudeBot-ի IP հասցեները
Այո։ Anthropic-ը հղում է https://claude.com/crawling/bots.json-ին և ասում, որ այդ ցանկում գտնվող աղբյուր IP-ն ցույց է տալիս, որ ռոբոտը Anthropic-ից է։ Նրա օգնության հոդվածը նշում է բոտերի նշանները, բայց ոչ ամբողջական user agent տողերը։
Կարո՞ղ եմ Google-Extended-ը կամ Applebot-Extended-ը տեսնել իմ լոգերում
Ոչ։ Երկուսն էլ robots.txt-ի նշաններ են, ոչ թե ռոբոտներ։ Google-ը և Apple-ը էջերը բեռնում են Googlebot-ով և Applebot-ով և այս նշաններն օգտագործում են միայն որոշելու, թե ինչպես կարող է բովանդակությունն օգտագործվել AI-ի համար։
Որտե՞ղ է bingbot-ի IP հասցեների ցանկը
Bing-ը այն հրապարակում է https://www.bing.com/toolbox/bingbot.json հասցեում և խնդրում է թարմացնել այն ամեն օր։ Նրա սեփական ուղեցույցը խորհուրդ է տալիս հակադարձ և ուղիղ DNS ստուգում, որտեղ անունը պետք է ավարտվի search.msn.com-ով։
Աղբյուրներ
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot