Si t'i kontrolloni log-et e serverit për zvarritës AI

Publikuar

Përgjigje e shkurtër

Kërkoni në fushën e user agent-it të log-ut të qasjes token-ë si GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot dhe PerplexityBot, pastaj shikoni kodet e statusit që morën. User agent-i vetëm nuk provon asgjë, ndaj kontrolloni çdo IP burimi kundrejt listës IP që publikon ofruesi, ose me DNS të kundërt dhe të drejtë për Google dhe Apple.

robots.txt thotë çfarë u kërkoni zvarritësve të bëjnë. Log-u i qasjes tregon çfarë ndodhi realisht: cilët zvarritës AI erdhën, cilat faqe kërkuan dhe çfarë u përgjigj serveri juaj. Kjo është prova më e drejtpërdrejtë që keni, dhe nuk kërkon gjë tjetër përveç skedarëve të log-ut dhe një terminali. Shembujt më poshtë përdorin formatin combined që nginx dhe Apache përdorin si parazgjedhje.

Në këtë faqe
  1. Si duket në log-un e qasjes një vizitë nga një zvarritës AI?
  2. Si t'i numëroj vizitat e zvarritësve AI?
  3. Çfarë mori realisht secili zvarritës?
  4. Si ta verifikoj që një vizitë erdhi vërtet nga OpenAI, Anthropic ose Perplexity?
  5. Si t'i verifikoj Googlebot, Applebot dhe CCBot?
  6. Si duken zvarritësit AI të rremë?
  7. Çfarë nuk mund t'ju tregojnë log-et?

Si duket në log-un e qasjes një vizitë nga një zvarritës AI?

Në formatin combined, çdo rresht mban IP-në e klientit, kohën, rreshtin e kërkesës, kodin e statusit, madhësinë e përgjigjes, referrer-in dhe user agent-in. nginx e përkufizon si $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", dhe formati combined i Apache ka të njëjtat fusha. Një vizitë nga zvarritësi i trajnimit i OpenAI duket kështu:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Token-ët që duhen kërkuar janë ata që dokumentojnë ofruesit: GPTBot, OAI-SearchBot dhe ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot dhe Claude-User (Anthropic); PerplexityBot dhe Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer dhe CCBot. Google-Extended ose Applebot-Extended nuk do t'i shihni kurrë. Google thotë se Google-Extended nuk ka varg të veçantë user agent, dhe Apple thotë se Applebot-Extended nuk zvarrit; të dy janë vetëm token-ë robots.txt.

Si t'i numëroj vizitat e zvarritësve AI?

Kur çdo rresht ndahet sipas karakterit të thonjëzave dyfishe, user agent-i bie në fushën 6. Përputhja vetëm e asaj fushe shmang goditjet e rreme nga URL-të që rastësisht përmbajnë emrin e një boti. Kjo numëron vizitat për çdo zvarritës në log-un aktual dhe në ato të rrotulluara e të kompresuara:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Përshtateni shtegun për Apache, shpesh /var/log/apache2/access.log* ose /var/log/httpd/access_log*. zcat -f lexon si skedarët e thjeshtë ashtu edhe ata gzip. Nëse mungon një zvarritës që e prisni, kjo vetëm nuk provon bllokim: thjesht mund të mos ketë ardhur në periudhën që mbulojnë log-et tuaja.

Çfarë mori realisht secili zvarritës?

Vizitat kanë më pak rëndësi se përgjigjet. Një zvarritës që merr 403 në çdo kërkesë ka ardhur, por nuk ka lexuar asgjë. Këto komanda tregojnë kodet e statusit, shtigjet më të kërkuara dhe nëse zvarritësi e mori robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Ajo që doni është kryesisht 200. Shumë 403 ose 429 tregojnë një rregull firewall-i ose kufizim kërkesash. Përgjigjet 5xx për robots.txt janë serioze: sipas RFC 9309, një zvarritës që merr gabim serveri për robots.txt duhet të supozojë që i gjithë sajti është i ndaluar.

Nëse sajti juaj qëndron pas një CDN-je, ndryshojnë dy gjëra. Kërkesat që i bllokon CDN-ja nuk arrijnë kurrë te serveri origjinë, ndaj nuk shfaqen fare në log-et e tij; kontrolloni në vend të kësaj ngjarjet e sigurisë së vetë CDN-së. Dhe nëse nuk e riktheni IP-në e vizitorit, serveri origjinë regjistron adresën e CDN-së. Cloudflare, për shembull, e dërgon IP-në origjinale në header-in CF-Connecting-IP dhe si parazgjedhje regjistrohet një IP e Cloudflare.

Si ta verifikoj që një vizitë erdhi vërtet nga OpenAI, Anthropic ose Perplexity?

Këta ofrues publikojnë gamat IP që përdorin agjentët e tyre: OpenAI te openai.com/gptbot.json, openai.com/searchbot.json dhe openai.com/chatgpt-user.json; Anthropic te claude.com/crawling/bots.json; Perplexity te perplexity.ai/perplexitybot.json dhe perplexity.ai/perplexity-user.json. Anthropic thotë se një IP burimi në listën e tij tregon që zvarritësi vjen nga Anthropic. Asnjëri nga këta tre nuk dokumenton verifikim me reverse DNS, ndaj përdorni listat.

Skedarët kanë të njëjtën formë, një listë prefixes me hyrje ipv4Prefix ose ipv6Prefix, ndaj një skript i vogël kontrollon një IP kundrejt secilit prej tyre:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Për të renditur IP-të që pretenduan një zvarritës të caktuar, ekzekutoni awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' mbi log-un dhe kalojeni përmes sort | uniq -c | sort -rn. Kontrollojeni secilën kundrejt listës përkatëse. Listat ndryshojnë, ndaj merrini të freskëta në vend që të mbani një kopje të vjetër.

Si t'i verifikoj Googlebot, Applebot dhe CCBot?

Google, Apple dhe Common Crawl dokumentojnë një kontroll me DNS të kundërt dhe të drejtë. Gjeni hostname-in e IP-së, kontrolloni domenin e tij, pastaj kërkoni atë hostname dhe konfirmoni që tregon prapë te e njëjta IP:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Për Google, hostname-i duhet të mbarojë me googlebot.com, google.com ose googleusercontent.com, sipas zvarritësit; Google publikon edhe gamat e veta, me Googlebot te common-crawlers.json. Për Apple duhet të jetë në applebot.apple.com, me gamat te applebot.json. Për Common Crawl duhet të jetë nën crawl.commoncrawl.org, dhe Common Crawl paralajmëron se zvarritës të tjerë e përdorin rrejshëm emrin CCBot.

Si duken zvarritësit AI të rremë?

Scraper-ët shpesh huazojnë user agent-in e një zvarritësi të njohur për të kaluar filtrat. Shenjat tipike:

Ekziston edhe problemi i kundërt: një zvarritës që përdor user agent-in e një shfletuesi të zakonshëm nuk mund të identifikohet fare nga rreshti i log-ut. Në 2025 Cloudflare deklaroi se kishte vënë re Perplexity duke zvarritur me user agent-ë të padeklaruar, si të shfletuesve, nga IP jashtë gamave të tij të publikuara; Perplexity e kundërshtoi këtë version dhe një pjesë të trafikut ia atribuoi një shërbimi të palës së tretë. Log-et vetëm nuk mund t'i zgjidhin raste të tilla, prandaj verifikimi sipas gamave IP të publikuara ka rëndësi në të dy drejtimet.

Çfarë nuk mund t'ju tregojnë log-et?

Log-et tregojnë çfarë arriti te serveri juaj. Ato nuk tregojnë çfarë bllokoi CDN-ja para serverit origjinë, nëse një faqe që ktheu 200 përmbante tekstin apo vetëm një guaskë skriptesh, ose nëse një zvarritës do të lejohej po të vinte sot. Ato mbulojnë gjithashtu vetëm periudhën që ruani, dhe sajtet e qeta mund t'i shohin rrallë zvarritësit AI.

Në një llogari AISeeWhy mund të ngarkoni një log qasjeje në formatin combined (i thjeshtë ose .gz, deri në 50 MB); ai analizohet dhe fshihet, dhe kërkesat e çdo zvarritësi AI numërohen me kodet e tyre të statusit dhe kontrollohen kundrejt gamave IP që publikojnë ofruesit.

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

Pse nuk e shoh Google-Extended në log-et e mia?

Google thotë se Google-Extended nuk ka varg të veçantë user agent. Zvarritjen e bëjnë zvarritësit ekzistues të Google, dhe token-i kontrollon vetëm si mund të përdoret përmbajtja. E njëjta gjë vlen për Applebot-Extended, që sipas Apple nuk zvarrit.

A mund t'i besoj user agent-it në log-et e mia?

Jo. Kushdo mund të dërgojë çfarëdo user agent-i. Trajtojeni si pretendim dhe konfirmojeni me gamat IP të publikuara nga ofruesi ose, për Google, Apple dhe Common Crawl, me një kërkim DNS të kundërt dhe të drejtë.

Log-et e mia nuk tregojnë asnjë vizitë nga zvarritës AI. A jam i bllokuar?

Jo domosdoshmërisht. Zvarritësi mund të mos ketë ardhur ende, CDN-ja juaj mund ta ketë bllokuar para serverit origjinë, ose log-et tuaja mund të regjistrojnë vetëm adresat IP të CDN-së. Kontrolloni ngjarjet e sigurisë së CDN-së dhe testojeni faqen me user agent-in e secilit zvarritës.

A është trafiku i ChatGPT-User një zvarritës?

OpenAI thotë se ChatGPT-User përdoret për disa veprime të përdoruesve dhe nuk përdoret për të zvarritur uebin në mënyrë automatike. Vizitat e tij zakonisht vijnë pasi dikush e pyet ChatGPT për një faqe, ndaj janë të pakta në numër.

Burimet

Më shumë artikuj