როგორ ვიპოვოთ AI კრაულერები სერვერის ლოგებში

გამოქვეყნდა

მოკლე პასუხი

მოძებნეთ access ლოგის user agent ველში ისეთი ტოკენები, როგორიცაა GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot და PerplexityBot, შემდეგ კი ნახეთ, რა სტატუსის კოდები მიიღეს მათ. მხოლოდ user agent არაფერს ამტკიცებს, ამიტომ ყოველი წყაროს IP შეადარეთ მომწოდებლის გამოქვეყნებულ IP სიას, Google-ისა და Apple-ისთვის კი გადაამოწმეთ reverse და forward DNS-ით.

robots.txt ამბობს, რას სთხოვთ კრაულერებს. access ლოგი კი აჩვენებს, რა მოხდა სინამდვილეში: რომელი AI კრაულერები მოვიდნენ, რომელი გვერდები მოითხოვეს და რა უპასუხა თქვენმა სერვერმა. ეს ყველაზე პირდაპირი მტკიცებულებაა, რაც გაქვთ, და მას მხოლოდ ლოგ-ფაილები და ტერმინალი სჭირდება. ქვემოთ მოცემული მაგალითები იყენებს combined ლოგის ფორმატს, რომელიც nginx-სა და Apache-ში ნაგულისხმევია.

ამ გვერდზე
  1. როგორ გამოიყურება AI კრაულერის ვიზიტი access ლოგში?
  2. როგორ დავთვალო AI კრაულერების ვიზიტები?
  3. რა მიიღო სინამდვილეში თითოეულმა კრაულერმა?
  4. როგორ გადავამოწმო, რომ ვიზიტი ნამდვილად OpenAI-დან, Anthropic-იდან ან Perplexity-დან მოვიდა?
  5. როგორ გადავამოწმო Googlebot, Applebot და CCBot?
  6. როგორ გამოიყურება ყალბი AI კრაულერები?
  7. რას ვერ გეტყვით ლოგები?

როგორ გამოიყურება AI კრაულერის ვიზიტი access ლოგში?

combined ფორმატში თითოეული ხაზი შეიცავს კლიენტის IP-ს, დროს, მოთხოვნის ხაზს, სტატუსის კოდს, პასუხის ზომას, referrer-სა და user agent-ს. nginx მას ასე განსაზღვრავს: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", Apache-ის combined ფორმატს კი იგივე ველები აქვს. OpenAI-ის სასწავლო კრაულერის ვიზიტი ასე გამოიყურება:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

საძიებელი ტოკენები ისაა, რასაც მომწოდებლები აღწერენ: GPTBot, OAI-SearchBot და ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot და Claude-User (Anthropic); PerplexityBot და Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer და CCBot. Google-Extended-ს ან Applebot-Extended-ს ვერასდროს ნახავთ. Google-ის თქმით, Google-Extended-ს ცალკე user agent სტრიქონი არ აქვს, Apple-ის თქმით კი Applebot-Extended კრაულინგს არ აკეთებს; ორივე მხოლოდ robots.txt-ის ტოკენია.

როგორ დავთვალო AI კრაულერების ვიზიტები?

თუ თითოეულ ხაზს ორმაგი ბრჭყალის მიხედვით დაყოფთ, user agent მე-6 ველში აღმოჩნდება. მხოლოდ ამ ველის შემოწმება აცილებს ცრუ დამთხვევებს URL-ებიდან, რომლებიც შემთხვევით ბოტის სახელს შეიცავს. ეს ბრძანება ითვლის ვიზიტებს თითოეული კრაულერისთვის მიმდინარე ლოგში და როტირებულ, შეკუმშულ ლოგებში:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache-ისთვის გზა შეცვალეთ, ხშირად ეს არის /var/log/apache2/access.log* ან /var/log/httpd/access_log*. zcat -f კითხულობს როგორც ჩვეულებრივ, ისე gzip-ით შეკუმშულ ფაილებს. თუ მოსალოდნელი კრაულერი არ ჩანს, ეს თავისთავად ბლოკის მტკიცებულება არ არის: შესაძლოა, ის უბრალოდ არ მოსულა იმ პერიოდში, რომელსაც თქვენი ლოგები მოიცავს.

რა მიიღო სინამდვილეში თითოეულმა კრაულერმა?

ვიზიტებზე მნიშვნელოვანი პასუხებია. კრაულერი, რომელიც ყოველ მოთხოვნაზე 403-ს იღებს, მოვიდა, მაგრამ ვერაფერი წაიკითხა. ეს ბრძანებები აჩვენებს სტატუსის კოდებს, ყველაზე ხშირად მოთხოვნილ გზებს და ის, მოითხოვა თუ არა კრაულერმა robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

სასურველია, რომ უმეტესად 200 იყოს. ბევრი 403 ან 429 ფაირვოლის წესზე ან მოთხოვნების ლიმიტზე მიუთითებს. robots.txt-ზე 5xx პასუხები სერიოზული პრობლემაა: RFC 9309-ის მიხედვით, კრაულერმა, რომელიც robots.txt-ზე სერვერის შეცდომას იღებს, უნდა ჩათვალოს, რომ მთელი საიტი აკრძალულია.

თუ თქვენი საიტი CDN-ის უკან დგას, ორი რამ იცვლება. მოთხოვნები, რომლებსაც CDN ბლოკავს, origin სერვერამდე ვერ აღწევს, ამიტომ მის ლოგებში საერთოდ არ ჩანს; ამის ნაცვლად შეამოწმეთ თავად CDN-ის უსაფრთხოების მოვლენები. ამასთან, თუ ვიზიტორის IP-ს არ აღადგენთ, origin სერვერი CDN-ის მისამართს ჩაწერს. მაგალითად, Cloudflare ორიგინალ IP-ს CF-Connecting-IP ჰედერში აგზავნის, ნაგულისხმევად კი ლოგში Cloudflare-ის IP იწერება.

როგორ გადავამოწმო, რომ ვიზიტი ნამდვილად OpenAI-დან, Anthropic-იდან ან Perplexity-დან მოვიდა?

ეს მომწოდებლები აქვეყნებენ IP დიაპაზონებს, რომლებსაც მათი აგენტები იყენებენ: OpenAI openai.com/gptbot.json-ზე, openai.com/searchbot.json-სა და openai.com/chatgpt-user.json-ზე; Anthropic claude.com/crawling/bots.json-ზე; Perplexity perplexity.ai/perplexitybot.json-სა და perplexity.ai/perplexity-user.json-ზე. Anthropic-ის თქმით, თუ წყაროს IP მის სიაშია, ეს ნიშნავს, რომ კრაულერი Anthropic-იდან მოდის. ამ სამიდან არცერთი reverse DNS-ით გადამოწმებას არ აღწერს, ამიტომ სიები გამოიყენეთ.

ფაილებს ერთნაირი სტრუქტურა აქვთ, prefixes სია ipv4Prefix ან ipv6Prefix ჩანაწერებით, ამიტომ ერთი პატარა სკრიპტი IP-ს ნებისმიერ მათგანთან ამოწმებს:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

იმ IP-ების სანახავად, რომლებიც თავს კონკრეტულ კრაულერად ასაღებდნენ, ლოგზე გაუშვით awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' და შედეგი გაატარეთ sort | uniq -c | sort -rn-ში. თითოეული შეადარეთ შესაბამის სიას. სიები იცვლება, ამიტომ ძველი ასლის შენახვის ნაცვლად ყოველ ჯერზე ახალი ჩამოტვირთეთ.

როგორ გადავამოწმო Googlebot, Applebot და CCBot?

Google, Apple და Common Crawl აღწერენ reverse და forward DNS შემოწმებას. მოძებნეთ IP-ის ჰოსტის სახელი, შეამოწმეთ მისი დომენი, შემდეგ მოძებნეთ ეს ჰოსტის სახელი და დარწმუნდით, რომ ის იმავე IP-ზე მიუთითებს:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google-ისთვის ჰოსტის სახელი კრაულერის მიხედვით უნდა მთავრდებოდეს googlebot.com-ით, google.com-ით ან googleusercontent.com-ით; Google ასევე აქვეყნებს თავის დიაპაზონებს, Googlebot-ისას common-crawlers.json-ში. Apple-ისთვის ის უნდა იყოს applebot.apple.com-ში, დიაპაზონები კი applebot.json-შია. Common Crawl-ისთვის ის უნდა იყოს crawl.commoncrawl.org-ის ქვეშ, და Common Crawl აფრთხილებს, რომ სხვა კრაულერები CCBot-ის სახელს ყალბად იყენებენ.

როგორ გამოიყურება ყალბი AI კრაულერები?

სკრეიპერები ფილტრების გვერდის ასავლელად ხშირად ცნობილი კრაულერის user agent-ს სესხულობენ. ტიპური ნიშნები:

საპირისპირო პრობლემაც არსებობს: კრაულერი, რომელიც ჩვეულებრივი ბრაუზერის user agent-ს იყენებს, ლოგის ხაზით საერთოდ ვერ ამოიცნობა. 2025 წელს Cloudflare-მა განაცხადა, რომ შენიშნა Perplexity-ის კრაულინგი გამოუცხადებელი, ბრაუზერის მსგავსი user agent-ებით, მისი გამოქვეყნებული დიაპაზონების გარეთ არსებული IP-ებიდან; Perplexity ამ ვერსიას არ დაეთანხმა და ტრაფიკის ნაწილი მესამე მხარის სერვისს მიაწერა. მხოლოდ ლოგებით ასეთი შემთხვევების გარკვევა შეუძლებელია, ამიტომაა გამოქვეყნებული IP დიაპაზონებით გადამოწმება მნიშვნელოვანი ორივე მიმართულებით.

რას ვერ გეტყვით ლოგები?

ლოგები აჩვენებს, რა მივიდა თქვენს სერვერამდე. ისინი არ აჩვენებს, რა დაბლოკა თქვენმა CDN-მა origin-მდე, შეიცავდა თუ არა 200-ით დაბრუნებული გვერდი ტექსტს თუ მხოლოდ სკრიპტების გარსს, ან დაუშვებდით თუ არა კრაულერს, დღეს რომ მოსულიყო. ისინი მხოლოდ იმ პერიოდს მოიცავს, რასაც ინახავთ, ხოლო მცირე ტრაფიკის მქონე საიტებზე AI კრაულერები შეიძლება იშვიათად მოდიოდნენ.

AISeeWhy-ის ანგარიშში შეგიძლიათ ატვირთოთ access ლოგი combined ფორმატში (ჩვეულებრივი ან .gz, 50 MB-მდე); ის ანალიზდება და იშლება, თითოეული AI კრაულერის მოთხოვნები კი ითვლება სტატუსის კოდებით და მოწმდება მომწოდებლების გამოქვეყნებულ IP დიაპაზონებთან.

უფასო ხელსაწყოები

შემდეგი ნაბიჯები

ამ სტატიაში ნახსენები კრაულერები

ხშირად დასმული კითხვები

რატომ არ ჩანს Google-Extended ჩემს ლოგებში?

Google-ის თქმით, Google-Extended-ს ცალკე user agent სტრიქონი არ აქვს. კრაულინგს Google-ის არსებული კრაულერები აკეთებენ, ტოკენი კი მხოლოდ იმას მართავს, როგორ შეიძლება კონტენტის გამოყენება. იგივე ეხება Applebot-Extended-ს, რომელიც Apple-ის თქმით კრაულინგს არ აკეთებს.

შემიძლია ვენდო user agent-ს ჩემს ლოგებში?

არა. ნებისმიერს შეუძლია ნებისმიერი user agent-ის გაგზავნა. განიხილეთ ის, როგორც განცხადება, და დაადასტურეთ მომწოდებლის გამოქვეყნებული IP დიაპაზონებით ან, Google-ის, Apple-ისა და Common Crawl-ის შემთხვევაში, reverse და forward DNS შემოწმებით.

ჩემს ლოგებში AI კრაულერების ვიზიტები არ ჩანს. დაბლოკილი ვარ?

აუცილებლად არა. შესაძლოა, კრაულერი ჯერ არ მოსულა, თქვენმა CDN-მა ის origin-მდე დაბლოკა, ან თქვენი ლოგები მხოლოდ CDN-ის IP მისამართებს წერს. შეამოწმეთ CDN-ის უსაფრთხოების მოვლენები და გატესტეთ გვერდი თითოეული კრაულერის user agent-ით.

ChatGPT-User-ის ტრაფიკი კრაულერია?

OpenAI-ის თქმით, ChatGPT-User გამოიყენება მომხმარებლის გარკვეული ქმედებებისთვის და არა ვების ავტომატური კრაულინგისთვის. მისი ვიზიტები, როგორც წესი, მაშინ ხდება, როცა ადამიანი ChatGPT-ს რომელიმე გვერდზე ეკითხება, ამიტომ ისინი მცირე რაოდენობით მოდის.

წყაროები

სხვა სტატიები