AI კრაულერების user agent-ები და IP დიაპაზონები: GPTBot, ClaudeBot, PerplexityBot და სხვა
GPTBot თავს user agent-ით აცნობს, რომელიც შეიცავს GPTBot/1.4; +https://openai.com/gptbot-ს, ხოლო OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple და Common Crawl თითოეული აქვეყნებს JSON სიას იმ IP დიაპაზონებით, რომლებსაც მათი კრაულერები იყენებენ. მოთხოვნა ნამდვილია მხოლოდ მაშინ, როცა ორივე ემთხვევა: user agent კრაულერს ასახელებს და წყაროს IP ამ მომწოდებლის სიაშია, ან, Googlebot-ის, bingbot-ის, Applebot-ისა და CCBot-ისთვის, უკუ და პირდაპირ DNS შემოწმებას გადის. მხოლოდ user agent არაფერს ამტკიცებს, რადგან მისი გაგზავნა ნებისმიერს შეუძლია.
როცა ლოგებში GPTBot-ს ან ClaudeBot-ს ხედავთ, ან გინდათ ფაირვოლის წესი, რომელიც AI საძიებო კრაულერებს გაატარებს, ორი რამ გჭირდებათ: ზუსტი სტრიქონი, რომელსაც თითოეული კრაულერი აგზავნის, და გზა იმის დასამტკიცებლად, რომ მოთხოვნა მართლაც იმ კომპანიიდან მოვიდა, რომელსაც ასახელებს. ქვემოთ მოცემულია სტრიქონები ისე, როგორც თითოეული მომწოდებელი მათ დღეს აქვეყნებს, თითოეულის ოფიციალური IP სია ან DNS მეთოდი და ორი სკრიპტი მისამართის შესამოწმებლად.
ამ გვერდზე
- როგორია GPTBot-ის, ClaudeBot-ის, PerplexityBot-ისა და სხვა AI კრაულერების user agent სტრიქონები?
- რომელი კრაულერი რას აკეთებს და რომელი სახელებია მხოლოდ robots.txt-ის ტოკენები?
- სად აქვეყნებენ AI კრაულერების მომწოდებლები თავიანთ IP დიაპაზონებს?
- როგორ შევამოწმო IP მისამართი კრაულერების ოფიციალური სიების მიხედვით?
- როგორ გადავამოწმო Googlebot, bingbot ან Applebot უკუ DNS-ით?
- რატომ არ არის user agent-ის შემოწმება საკმარისი GPTBot-ის ამოსაცნობად?
- როგორ დაგეხმარებათ AISeeWhy AI კრაულერების ტრაფიკის გადამოწმებაში?
როგორია GPTBot-ის, ClaudeBot-ის, PerplexityBot-ისა და სხვა AI კრაულერების user agent სტრიქონები?
ისინი მომწოდებლების საკუთარი დოკუმენტაციიდანაა გადმოტანილი. OpenAI და Perplexity აღნიშნავენ, რომ ვერსიის ნომრები შეიძლება შეიცვალოს, Google და Microsoft W.X.Y.Z-ის ადგილას ბრაუზერის მიმდინარე ვერსიას სვამენ, ხოლო Apple ამბობს, რომ ბრაუზერის ნაწილს დროდადრო ანახლებს. დაამთხვიეთ კრაულერის ტოკენი, მაგალითად GPTBot ან bingbot, და არა მთელი სტრიქონი.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic-ის დახმარების სტატია ასახელებს ClaudeBot-ს, Claude-SearchBot-სა და Claude-User-ს, მაგრამ სრულ user agent სტრიქონებს არ აქვეყნებს, ამიტომ ეს ტოკენები დაამთხვიეთ. Meta-ის კრაულერების გვერდზე მოცემულია სტრიქონები, რომლებიც ნაჩვენები ტოკენებით იწყება და შემდეგ მის დოკუმენტაციაზე ბმული მოსდევს, და ნათქვამია, რომ თქვენს ლოგებში სტრიქონები შეიძლება ოდნავ განსხვავდებოდეს.
რომელი კრაულერი რას აკეთებს და რომელი სახელებია მხოლოდ robots.txt-ის ტოკენები?
GPTBotაგროვებს კონტენტს, რომელიც შეიძლება OpenAI-ის საბაზისო მოდელების სასწავლად გამოიყენონ.OAI-SearchBotსაიტებს ChatGPT-ის ძიებაში აჩენს.ChatGPT-Userგვერდებს იღებს მომხმარებლის მიერ დაწყებული მოქმედებებისთვის, და OpenAI-ის თქმით, robots.txt-ის წესები მასზე შეიძლება არ ვრცელდებოდეს.OAI-AdsBotამოწმებს გვერდებს, რომლებიც ChatGPT-ის რეკლამად არის გაგზავნილი.ClaudeBotმონაცემებს Anthropic-ის მოდელებისთვის აგროვებს,Claude-SearchBotსაძიებო შედეგებს აუმჯობესებს, ხოლოClaude-Userგვერდებს იღებს, როცა ადამიანი Claude-ს კითხვას უსვამს.PerplexityBotსაიტებს Perplexity-ის ძიებაში აჩენს და მათზე ბმულებს უთითებს და საბაზისო მოდელების სასწავლად არ გამოიყენება.Perplexity-Userგვერდებს იღებს, როცა მომხმარებელი კითხვას სვამს.meta-externalagentკრაულინგს AI მოდელების სწავლებისთვის ან კონტენტის ინდექსირებისთვის ახორციელებს,meta-webindexerკონტენტს Meta AI-ის ძიებისთვის აინდექსებს, ხოლოmeta-externalfetcherბმულებს მომხმარებლის მოთხოვნით იღებს.CCBotარის Common Crawl-ის, საჯარო ვებარქივის, კრაულერი.
ორი სახელი თქვენს ლოგებში არასდროს გამოჩნდება. Google-Extended არის robots.txt-ის ტოკენი, რომელიც აკონტროლებს, შეიძლება თუ არა Google-ის მიერ კრაულინგით მიღებული კონტენტი Gemini-ის მოდელებისა და grounding-ისთვის გამოიყენონ; Google-ის თქმით, ის Google Search-ში მოხვედრაზე გავლენას არ ახდენს. Applebot-Extended, Apple-ის სიტყვებით, მეორეული user agent-ია, რომელიც ვებგვერდებს არ კრაულავს; ის მხოლოდ წყვეტს, როგორ შეუძლია Apple-ს Applebot-ის მიერ შეგროვებული მონაცემების გამოყენება. მოთხოვნა, რომელიც რომელიმე მათგანად აცხადებს თავს, ნამდვილი არ არის.
სად აქვეყნებენ AI კრაულერების მომწოდებლები თავიანთ IP დიაპაზონებს?
მომწოდებლების უმეტესობა ერთნაირი სტრუქტურის JSON ფაილს აქვეყნებს: prefixes მასივი ობიექტებით, რომლებსაც ipv4Prefix ან ipv6Prefix აქვთ, და creationTime, რომელიც გეუბნებათ, რამდენად ახალია ფაილი.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonდაhttps://openai.com/adsbot.json, თითო თითოეული აგენტისთვის. - Anthropic:
https://claude.com/crawling/bots.json, ერთი სია ყველა მისი კრაულერისთვის. Anthropic-ის თქმით, ამ სიაში არსებული მისამართი აჩვენებს, რომ კრაულერი Anthropic-იდანაა, და ასევე, რომ IP-ით დაბლოკვა შეიძლება უარის თქმას საიმედოდ ვერ უზრუნველყოფდეს. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonდაhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonGooglebot-ისთვის, ცალკე ფაილებით სპეციალური კრაულერებისა და მომხმარებლის მიერ ინიცირებული ფეტჩერებისთვის. უკუ DNS-იც მუშაობს. - Apple:
https://search.developer.apple.com/applebot.json, ან უკუ DNSapplebot.apple.com-ში. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. IPv4-ისთვის ის ასევე გირჩევთ პირდაპირი მოთხოვნით დადასტურებულ უკუ DNS-სcrawl.commoncrawl.org-ის ქვეშ; IPv6 მისამართებს უკუ DNS არ აქვთ. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, რომლის ყოველდღიურ განახლებასაც Bing გთხოვთ, რადგან ის ნებისმიერ დროს შეიძლება შეიცვალოს, ან უკუ DNS, რომელიცsearch.msn.com-ით მთავრდება. Bing ასევე გთავაზობთ საჯარო ხელსაწყოს Verify Bingbot. - Meta: მისი კრაულერების გვერდი IP სიას არ აქვეყნებს.
როგორ შევამოწმო IP მისამართი კრაულერების ოფიციალური სიების მიხედვით?
ეს სკრიპტი თითოეულ სიას ჩატვირთავს და გეტყვით, რომელი შეიცავს მისამართს. მას მხოლოდ Python 3 სჭირდება და IPv4-საც და IPv6-საც ამუშავებს.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF სიები იცვლება. თითოეულ ფაილს საკუთარი creationTime აქვს, Perplexity გირჩევთ ფაირვოლის წესების განახლების ავტომატიზაციას, ხოლო Bing გთხოვთ, მისი სია ყოველდღე განაახლოთ. თუ სიებს ფაირვოლში იყენებთ, ისინი გრაფიკით ჩამოტვირთეთ და არა ერთხელ დააკოპირეთ.
როგორ გადავამოწმო Googlebot, bingbot ან Applebot უკუ DNS-ით?
Google, Microsoft, Apple და Common Crawl ერთსა და იმავე ორნაბიჯიან შემოწმებას აღწერენ: მოიძიეთ IP მისამართის სახელი, დარწმუნდით, რომ ის მომწოდებლის დომენით მთავრდება, შემდეგ მოიძიეთ ეს სახელი და დარწმუნდით, რომ ის იმავე IP-ს აბრუნებს. ორივე ნაბიჯი მნიშვნელოვანია, რადგან ვინც IP დიაპაზონს აკონტროლებს, ნებისმიერ უკუ DNS სახელს დააყენებს, მაგრამ მომწოდებლის დომენს მასზე ვერ მიუთითებინებს.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google თავისი კრაულერების ტიპებისთვის იღებს googlebot.com-ს, google.com-სა და googleusercontent.com-ს; ზემოთ მოცემული ფუნქცია მხოლოდ googlebot.com-ს იღებს, რასაც Google-ის მაგალითებში თავად Googlebot იყენებს. Google-ის სხვა კრაულერებისა და ფეტჩერებისთვის მისი JSON სიები გამოიყენეთ. DNS მოთხოვნებს დრო სჭირდება, ამიტომ გაუშვით ისინი ლოგების განხილვისას ან შედეგი დაქეშეთ, და არა ყოველ ცოცხალ მოთხოვნაზე.
რატომ არ არის user agent-ის შემოწმება საკმარისი GPTBot-ის ამოსაცნობად?
user agent ჰედერია, რომელსაც კლიენტი თავად ირჩევს, ამიტომ GPTBot-ის ან Googlebot-ის გაგზავნა ნებისმიერს შეუძლია. Common Crawl აფრთხილებს, რომ ზოგი კრაულერი ცრუდ აცხადებს თავს CCBot-ად, ხოლო Bing აქვეყნებს სახელმძღვანელოს იმის შესამოწმებლად, მართლა Bing-იდან მოდის თუ არა ტრაფიკი, რომელიც bingbot-ად აცხადებს თავს. GPTBot-ის საიმედოდ ამოცნობა ორივეს შემოწმებას ნიშნავს: ტოკენს user agent-ში და წყაროს IP-ს gptbot.json-ში. მოთხოვნა ტოკენით, მაგრამ სიაში არარსებული მისამართიდან, იმიტატორია, და მისი დაბლოკვა OpenAI-ზე გავლენას არ ახდენს.
საპირისპიროც ხდება. თუ თქვენი ფაირვოლი მხოლოდ user agent-ს უშვებს, იმიტატორები შემოდიან; თუ მხოლოდ IP დიაპაზონს უშვებს, ამ მომწოდებლის ქსელიდან ნებისმიერი აგენტი ერთნაირად მოიქცევა, მათ შორის ის, რომლის დაბლოკვაც გინდოდათ. ორივეს დამთხვევა საიმედო წესია.
როგორ დაგეხმარებათ AISeeWhy AI კრაულერების ტრაფიკის გადამოწმებაში?
AISeeWhy-ის უფასო AI კრაულერების IP შემოწმება ანგარიშის გარეშე გეტყვით, ეკუთვნის თუ არა IP მისამართი GPTBot-ს ან სხვა AI კრაულერს. შემდეგ უფასო საიტის შემოწმება თქვენს გვერდს 16 AI და საძიებო კრაულერის სახელით ითხოვს რეალური ბრაუზერის გვერდით, ასე რომ ხედავთ, რას მიიღებდნენ ნამდვილი კრაულერები.
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- AI კრაულერების IP შემოწმება
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
როგორია GPTBot-ის user agent?
OpenAI აქვეყნებს Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot-ს და აღნიშნავს, რომ ვერსია შეიძლება შეიცვალოს. დაამთხვიეთ GPTBot და IP გადაამოწმეთ https://openai.com/gptbot.json-ით.
როგორია OAI-SearchBot-ის user agent?
Chrome-ის სტილის სტრიქონი, რომელიც compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot-ით მთავრდება. მისი მისამართები https://openai.com/searchbot.json-შია. OpenAI მას ChatGPT-ის ძიებაში საიტების გამოსაჩენად იყენებს, რაც GPTBot-ის ამოცანისგან განსხვავებულია.
აქვეყნებს თუ არა Anthropic ClaudeBot-ის IP მისამართებს?
დიახ. Anthropic მიუთითებს https://claude.com/crawling/bots.json-ზე და ამბობს, რომ ამ სიაში არსებული წყაროს IP აჩვენებს, რომ კრაულერი Anthropic-იდანაა. მისი დახმარების სტატია ბოტების ტოკენებს ასახელებს, მაგრამ სრულ user agent სტრიქონებს არა.
შემიძლია Google-Extended-ის ან Applebot-Extended-ის ნახვა ლოგებში?
არა. ორივე robots.txt-ის ტოკენია და არა კრაულერი. Google და Apple გვერდებს Googlebot-ითა და Applebot-ით იღებენ და ამ ტოკენებს მხოლოდ იმის გადასაწყვეტად იყენებენ, როგორ შეიძლება კონტენტის გამოყენება AI-სთვის.
სად არის bingbot-ის IP მისამართების სია?
Bing მას აქვეყნებს https://www.bing.com/toolbox/bingbot.json-ზე და გთხოვთ, ყოველდღე განაახლოთ. მისი საკუთარი სახელმძღვანელო გირჩევთ უკუ და პირდაპირ DNS შემოწმებას, სადაც სახელი search.msn.com-ით უნდა მთავრდებოდეს.
წყაროები
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot