AI კრაულერების user agent-ები და IP დიაპაზონები: GPTBot, ClaudeBot, PerplexityBot და სხვა

გამოქვეყნდა

მოკლე პასუხი

GPTBot თავს user agent-ით აცნობს, რომელიც შეიცავს GPTBot/1.4; +https://openai.com/gptbot-ს, ხოლო OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple და Common Crawl თითოეული აქვეყნებს JSON სიას იმ IP დიაპაზონებით, რომლებსაც მათი კრაულერები იყენებენ. მოთხოვნა ნამდვილია მხოლოდ მაშინ, როცა ორივე ემთხვევა: user agent კრაულერს ასახელებს და წყაროს IP ამ მომწოდებლის სიაშია, ან, Googlebot-ის, bingbot-ის, Applebot-ისა და CCBot-ისთვის, უკუ და პირდაპირ DNS შემოწმებას გადის. მხოლოდ user agent არაფერს ამტკიცებს, რადგან მისი გაგზავნა ნებისმიერს შეუძლია.

როცა ლოგებში GPTBot-ს ან ClaudeBot-ს ხედავთ, ან გინდათ ფაირვოლის წესი, რომელიც AI საძიებო კრაულერებს გაატარებს, ორი რამ გჭირდებათ: ზუსტი სტრიქონი, რომელსაც თითოეული კრაულერი აგზავნის, და გზა იმის დასამტკიცებლად, რომ მოთხოვნა მართლაც იმ კომპანიიდან მოვიდა, რომელსაც ასახელებს. ქვემოთ მოცემულია სტრიქონები ისე, როგორც თითოეული მომწოდებელი მათ დღეს აქვეყნებს, თითოეულის ოფიციალური IP სია ან DNS მეთოდი და ორი სკრიპტი მისამართის შესამოწმებლად.

ამ გვერდზე
  1. როგორია GPTBot-ის, ClaudeBot-ის, PerplexityBot-ისა და სხვა AI კრაულერების user agent სტრიქონები?
  2. რომელი კრაულერი რას აკეთებს და რომელი სახელებია მხოლოდ robots.txt-ის ტოკენები?
  3. სად აქვეყნებენ AI კრაულერების მომწოდებლები თავიანთ IP დიაპაზონებს?
  4. როგორ შევამოწმო IP მისამართი კრაულერების ოფიციალური სიების მიხედვით?
  5. როგორ გადავამოწმო Googlebot, bingbot ან Applebot უკუ DNS-ით?
  6. რატომ არ არის user agent-ის შემოწმება საკმარისი GPTBot-ის ამოსაცნობად?
  7. როგორ დაგეხმარებათ AISeeWhy AI კრაულერების ტრაფიკის გადამოწმებაში?

როგორია GPTBot-ის, ClaudeBot-ის, PerplexityBot-ისა და სხვა AI კრაულერების user agent სტრიქონები?

ისინი მომწოდებლების საკუთარი დოკუმენტაციიდანაა გადმოტანილი. OpenAI და Perplexity აღნიშნავენ, რომ ვერსიის ნომრები შეიძლება შეიცვალოს, Google და Microsoft W.X.Y.Z-ის ადგილას ბრაუზერის მიმდინარე ვერსიას სვამენ, ხოლო Apple ამბობს, რომ ბრაუზერის ნაწილს დროდადრო ანახლებს. დაამთხვიეთ კრაულერის ტოკენი, მაგალითად GPTBot ან bingbot, და არა მთელი სტრიქონი.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic-ის დახმარების სტატია ასახელებს ClaudeBot-ს, Claude-SearchBot-სა და Claude-User-ს, მაგრამ სრულ user agent სტრიქონებს არ აქვეყნებს, ამიტომ ეს ტოკენები დაამთხვიეთ. Meta-ის კრაულერების გვერდზე მოცემულია სტრიქონები, რომლებიც ნაჩვენები ტოკენებით იწყება და შემდეგ მის დოკუმენტაციაზე ბმული მოსდევს, და ნათქვამია, რომ თქვენს ლოგებში სტრიქონები შეიძლება ოდნავ განსხვავდებოდეს.

რომელი კრაულერი რას აკეთებს და რომელი სახელებია მხოლოდ robots.txt-ის ტოკენები?

ორი სახელი თქვენს ლოგებში არასდროს გამოჩნდება. Google-Extended არის robots.txt-ის ტოკენი, რომელიც აკონტროლებს, შეიძლება თუ არა Google-ის მიერ კრაულინგით მიღებული კონტენტი Gemini-ის მოდელებისა და grounding-ისთვის გამოიყენონ; Google-ის თქმით, ის Google Search-ში მოხვედრაზე გავლენას არ ახდენს. Applebot-Extended, Apple-ის სიტყვებით, მეორეული user agent-ია, რომელიც ვებგვერდებს არ კრაულავს; ის მხოლოდ წყვეტს, როგორ შეუძლია Apple-ს Applebot-ის მიერ შეგროვებული მონაცემების გამოყენება. მოთხოვნა, რომელიც რომელიმე მათგანად აცხადებს თავს, ნამდვილი არ არის.

სად აქვეყნებენ AI კრაულერების მომწოდებლები თავიანთ IP დიაპაზონებს?

მომწოდებლების უმეტესობა ერთნაირი სტრუქტურის JSON ფაილს აქვეყნებს: prefixes მასივი ობიექტებით, რომლებსაც ipv4Prefix ან ipv6Prefix აქვთ, და creationTime, რომელიც გეუბნებათ, რამდენად ახალია ფაილი.

როგორ შევამოწმო IP მისამართი კრაულერების ოფიციალური სიების მიხედვით?

ეს სკრიპტი თითოეულ სიას ჩატვირთავს და გეტყვით, რომელი შეიცავს მისამართს. მას მხოლოდ Python 3 სჭირდება და IPv4-საც და IPv6-საც ამუშავებს.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

სიები იცვლება. თითოეულ ფაილს საკუთარი creationTime აქვს, Perplexity გირჩევთ ფაირვოლის წესების განახლების ავტომატიზაციას, ხოლო Bing გთხოვთ, მისი სია ყოველდღე განაახლოთ. თუ სიებს ფაირვოლში იყენებთ, ისინი გრაფიკით ჩამოტვირთეთ და არა ერთხელ დააკოპირეთ.

როგორ გადავამოწმო Googlebot, bingbot ან Applebot უკუ DNS-ით?

Google, Microsoft, Apple და Common Crawl ერთსა და იმავე ორნაბიჯიან შემოწმებას აღწერენ: მოიძიეთ IP მისამართის სახელი, დარწმუნდით, რომ ის მომწოდებლის დომენით მთავრდება, შემდეგ მოიძიეთ ეს სახელი და დარწმუნდით, რომ ის იმავე IP-ს აბრუნებს. ორივე ნაბიჯი მნიშვნელოვანია, რადგან ვინც IP დიაპაზონს აკონტროლებს, ნებისმიერ უკუ DNS სახელს დააყენებს, მაგრამ მომწოდებლის დომენს მასზე ვერ მიუთითებინებს.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google თავისი კრაულერების ტიპებისთვის იღებს googlebot.com-ს, google.com-სა და googleusercontent.com-ს; ზემოთ მოცემული ფუნქცია მხოლოდ googlebot.com-ს იღებს, რასაც Google-ის მაგალითებში თავად Googlebot იყენებს. Google-ის სხვა კრაულერებისა და ფეტჩერებისთვის მისი JSON სიები გამოიყენეთ. DNS მოთხოვნებს დრო სჭირდება, ამიტომ გაუშვით ისინი ლოგების განხილვისას ან შედეგი დაქეშეთ, და არა ყოველ ცოცხალ მოთხოვნაზე.

რატომ არ არის user agent-ის შემოწმება საკმარისი GPTBot-ის ამოსაცნობად?

user agent ჰედერია, რომელსაც კლიენტი თავად ირჩევს, ამიტომ GPTBot-ის ან Googlebot-ის გაგზავნა ნებისმიერს შეუძლია. Common Crawl აფრთხილებს, რომ ზოგი კრაულერი ცრუდ აცხადებს თავს CCBot-ად, ხოლო Bing აქვეყნებს სახელმძღვანელოს იმის შესამოწმებლად, მართლა Bing-იდან მოდის თუ არა ტრაფიკი, რომელიც bingbot-ად აცხადებს თავს. GPTBot-ის საიმედოდ ამოცნობა ორივეს შემოწმებას ნიშნავს: ტოკენს user agent-ში და წყაროს IP-ს gptbot.json-ში. მოთხოვნა ტოკენით, მაგრამ სიაში არარსებული მისამართიდან, იმიტატორია, და მისი დაბლოკვა OpenAI-ზე გავლენას არ ახდენს.

საპირისპიროც ხდება. თუ თქვენი ფაირვოლი მხოლოდ user agent-ს უშვებს, იმიტატორები შემოდიან; თუ მხოლოდ IP დიაპაზონს უშვებს, ამ მომწოდებლის ქსელიდან ნებისმიერი აგენტი ერთნაირად მოიქცევა, მათ შორის ის, რომლის დაბლოკვაც გინდოდათ. ორივეს დამთხვევა საიმედო წესია.

როგორ დაგეხმარებათ AISeeWhy AI კრაულერების ტრაფიკის გადამოწმებაში?

AISeeWhy-ის უფასო AI კრაულერების IP შემოწმება ანგარიშის გარეშე გეტყვით, ეკუთვნის თუ არა IP მისამართი GPTBot-ს ან სხვა AI კრაულერს. შემდეგ უფასო საიტის შემოწმება თქვენს გვერდს 16 AI და საძიებო კრაულერის სახელით ითხოვს რეალური ბრაუზერის გვერდით, ასე რომ ხედავთ, რას მიიღებდნენ ნამდვილი კრაულერები.

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

როგორია GPTBot-ის user agent?

OpenAI აქვეყნებს Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot-ს და აღნიშნავს, რომ ვერსია შეიძლება შეიცვალოს. დაამთხვიეთ GPTBot და IP გადაამოწმეთ https://openai.com/gptbot.json-ით.

როგორია OAI-SearchBot-ის user agent?

Chrome-ის სტილის სტრიქონი, რომელიც compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot-ით მთავრდება. მისი მისამართები https://openai.com/searchbot.json-შია. OpenAI მას ChatGPT-ის ძიებაში საიტების გამოსაჩენად იყენებს, რაც GPTBot-ის ამოცანისგან განსხვავებულია.

აქვეყნებს თუ არა Anthropic ClaudeBot-ის IP მისამართებს?

დიახ. Anthropic მიუთითებს https://claude.com/crawling/bots.json-ზე და ამბობს, რომ ამ სიაში არსებული წყაროს IP აჩვენებს, რომ კრაულერი Anthropic-იდანაა. მისი დახმარების სტატია ბოტების ტოკენებს ასახელებს, მაგრამ სრულ user agent სტრიქონებს არა.

შემიძლია Google-Extended-ის ან Applebot-Extended-ის ნახვა ლოგებში?

არა. ორივე robots.txt-ის ტოკენია და არა კრაულერი. Google და Apple გვერდებს Googlebot-ითა და Applebot-ით იღებენ და ამ ტოკენებს მხოლოდ იმის გადასაწყვეტად იყენებენ, როგორ შეიძლება კონტენტის გამოყენება AI-სთვის.

სად არის bingbot-ის IP მისამართების სია?

Bing მას აქვეყნებს https://www.bing.com/toolbox/bingbot.json-ზე და გთხოვთ, ყოველდღე განაახლოთ. მისი საკუთარი სახელმძღვანელო გირჩევთ უკუ და პირდაპირ DNS შემოწმებას, სადაც სახელი search.msn.com-ით უნდა მთავრდებოდეს.

წყაროები

სხვა სტატიები