Jinsi ya kukagua kumbukumbu za seva yako kwa crawler za AI

Imechapishwa

Jibu fupi

Tafuta katika sehemu ya user agent ya kumbukumbu yako ya ufikiaji tokeni kama GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot na PerplexityBot, kisha angalia misimbo ya hali waliyopokea. User agent peke yake haithibitishi chochote, kwa hivyo kagua kila IP ya chanzo dhidi ya orodha ya IP iliyochapishwa na mtoa huduma, au kwa reverse na forward DNS kwa Google na Apple.

robots.txt inaeleza kile unachoziomba crawler zifanye. Kumbukumbu yako ya ufikiaji inaonyesha kilichotokea kweli: crawler zipi za AI zilikuja, ziliomba kurasa zipi, na seva yako ilijibu nini. Huo ndio ushahidi wa moja kwa moja zaidi ulio nao, na hauhitaji zaidi ya faili za kumbukumbu na terminal. Mifano iliyo hapa chini inatumia muundo wa kumbukumbu wa combined ambao nginx na Apache hutumia kwa chaguo-msingi.

Kwenye ukurasa huu
  1. Ziara ya crawler ya AI inaonekanaje kwenye kumbukumbu ya ufikiaji?
  2. Ninahesabuje ziara za crawler za AI?
  3. Kila crawler ilipokea nini kweli?
  4. Ninathibitishaje kwamba ziara kweli ilitoka OpenAI, Anthropic au Perplexity?
  5. Ninathibitishaje Googlebot, Applebot na CCBot?
  6. Crawler bandia za AI zinaonekanaje?
  7. Kumbukumbu haziwezi kukueleza nini?

Ziara ya crawler ya AI inaonekanaje kwenye kumbukumbu ya ufikiaji?

Katika muundo wa combined, kila mstari una IP ya mteja, muda, mstari wa ombi, msimbo wa hali, ukubwa wa jibu, referrer na user agent. nginx inaufafanua kama $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", na muundo wa combined wa Apache una sehemu zilezile. Ziara ya crawler ya mafunzo ya OpenAI inaonekana hivi:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Tokeni za kutafuta ni zile ambazo watoa huduma wameziandika: GPTBot, OAI-SearchBot na ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot na Claude-User (Anthropic); PerplexityBot na Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer na CCBot. Hutawahi kuona Google-Extended wala Applebot-Extended. Google inasema Google-Extended haina mfuatano tofauti wa user agent, na Apple inasema Applebot-Extended haipitii kurasa; zote mbili ni tokeni za robots.txt tu.

Ninahesabuje ziara za crawler za AI?

Kugawanya kila mstari kwa herufi ya alama ya nukuu mbili huweka user agent katika sehemu ya 6. Kulinganisha sehemu hiyo pekee huepuka matokeo ya uongo kutoka kwa URL ambazo kwa bahati zina jina la bot. Amri hii inahesabu ziara kwa kila crawler katika kumbukumbu ya sasa na zile zilizozungushwa na kubanwa:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Rekebisha njia kwa Apache, mara nyingi /var/log/apache2/access.log* au /var/log/httpd/access_log*. zcat -f husoma faili za kawaida na zilizobanwa kwa gzip. Kama crawler unayoitarajia haipo, hilo peke yake si uthibitisho wa kizuizi: huenda haikutembelea tu katika kipindi ambacho kumbukumbu zako zinashughulikia.

Kila crawler ilipokea nini kweli?

Ziara si muhimu kama majibu. Crawler inayopata 403 kwa kila ombi imetembelea lakini haijasoma chochote. Amri hizi zinaonyesha misimbo ya hali, njia zilizoombwa zaidi na kama crawler ilipakua robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Unachotaka ni 200 kwa sehemu kubwa. 403 au 429 nyingi huashiria sheria ya firewall au kikomo cha kasi. Majibu ya 5xx kwa robots.txt ni makubwa: kwa mujibu wa RFC 9309, crawler inayopata hitilafu ya seva kwa robots.txt lazima ichukulie kwamba tovuti nzima imezuiwa.

Kama tovuti yako iko nyuma ya CDN, mambo mawili yanabadilika. Maombi ambayo CDN inazuia hayafiki kamwe kwenye seva yako ya asili, kwa hivyo hayaonekani kabisa kwenye kumbukumbu zake; badala yake kagua matukio ya usalama ya CDN yenyewe. Na usiporejesha IP ya mgeni, seva ya asili huandika anwani ya CDN. Cloudflare, kwa mfano, hutuma IP ya asili katika kichwa CF-Connecting-IP na huandika IP ya Cloudflare kwa chaguo-msingi.

Ninathibitishaje kwamba ziara kweli ilitoka OpenAI, Anthropic au Perplexity?

Watoa huduma hawa huchapisha masafa ya IP ambayo mawakala wao hutumia: OpenAI kwenye openai.com/gptbot.json, openai.com/searchbot.json na openai.com/chatgpt-user.json; Anthropic kwenye claude.com/crawling/bots.json; Perplexity kwenye perplexity.ai/perplexitybot.json na perplexity.ai/perplexity-user.json. Anthropic inasema kwamba IP ya chanzo iliyo kwenye orodha yake inaonyesha crawler inatoka Anthropic. Hakuna kati ya hawa watatu anayeeleza uthibitishaji kwa reverse DNS, kwa hivyo tumia orodha.

Faili hizi zina umbo moja, orodha ya prefixes yenye maingizo ya ipv4Prefix au ipv6Prefix, kwa hivyo skripti moja ndogo hukagua IP dhidi ya yoyote kati yao:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Ili kuorodhesha IP zilizodai kuwa crawler fulani, endesha awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' kwenye kumbukumbu na upitishe matokeo kwenye sort | uniq -c | sort -rn. Kagua kila moja dhidi ya orodha inayolingana. Orodha hubadilika, kwa hivyo zipakue upya badala ya kuweka nakala ya zamani.

Ninathibitishaje Googlebot, Applebot na CCBot?

Google, Apple na Common Crawl zinaeleza ukaguzi wa reverse na forward DNS. Tafuta jina la mwenyeji la IP, kagua kikoa chake, kisha tafuta jina hilo la mwenyeji na uthibitishe kwamba linaelekeza kwenye IP ileile:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Kwa Google jina la mwenyeji lazima liishie na googlebot.com, google.com au googleusercontent.com, kutegemea crawler; Google pia huchapisha masafa yake, Googlebot ikiwa katika common-crawlers.json. Kwa Apple lazima liwe ndani ya applebot.apple.com, masafa yakiwa katika applebot.json. Kwa Common Crawl lazima liwe chini ya crawl.commoncrawl.org, na Common Crawl inaonya kwamba crawler nyingine hudai jina la CCBot kwa uongo.

Crawler bandia za AI zinaonekanaje?

Scraper mara nyingi huazima user agent ya crawler inayojulikana ili kupita vichujio. Dalili za kawaida:

Tatizo la kinyume pia lipo: crawler inayotumia user agent ya kawaida ya kivinjari haiwezi kutambuliwa kabisa kutoka kwenye mstari wa kumbukumbu. Mnamo 2025 Cloudflare ilisema iliona Perplexity ikipitia kurasa kwa user agent zisizotangazwa zinazofanana na kivinjari kutoka IP zilizo nje ya masafa yake yaliyochapishwa; Perplexity ilipinga maelezo hayo na kuhusisha sehemu ya trafiki na huduma ya mtu mwingine. Kumbukumbu peke yake haziwezi kumaliza hali kama hizi, ndiyo sababu uthibitishaji kwa masafa ya IP yaliyochapishwa ni muhimu pande zote mbili.

Kumbukumbu haziwezi kukueleza nini?

Kumbukumbu zinaonyesha kile kilichofika kwenye seva yako. Hazionyeshi kile CDN yako ilizuia kabla ya seva ya asili, kama ukurasa uliorudisha 200 ulikuwa na maandishi au ganda la skripti tu, wala kama crawler ingeruhusiwa ikija leo. Pia zinashughulikia kipindi unachohifadhi tu, na tovuti zenye trafiki ndogo huenda zikaona crawler za AI mara chache.

Katika akaunti ya AISeeWhy unaweza kupakia kumbukumbu ya ufikiaji katika muundo wa combined (ya kawaida au .gz, hadi MB 50); inachanganuliwa na kufutwa, na maombi ya kila crawler ya AI yanahesabiwa pamoja na misimbo yao ya hali na kukaguliwa dhidi ya masafa ya IP ambayo watoa huduma huchapisha.

Zana za bure

Hatua zinazofuata

Crawler katika makala hii

Maswali yanayoulizwa mara kwa mara

Kwa nini sioni Google-Extended kwenye kumbukumbu zangu?

Google inasema Google-Extended haina mfuatano tofauti wa user agent. Upitiaji hufanywa na crawler zilizopo za Google, na tokeni hudhibiti tu jinsi maudhui yanavyoweza kutumika. Vivyo hivyo kwa Applebot-Extended, ambayo Apple inasema haipitii kurasa.

Je, ninaweza kuamini user agent kwenye kumbukumbu zangu?

Hapana. Mtu yeyote anaweza kutuma user agent yoyote. Ichukulie kama dai na uithibitishe kwa masafa ya IP yaliyochapishwa na mtoa huduma au, kwa Google, Apple na Common Crawl, kwa utafutaji wa reverse na forward DNS.

Kumbukumbu zangu hazionyeshi ziara za crawler za AI. Je, nimezuiwa?

Si lazima. Huenda crawler bado haijatembelea, CDN yako huenda iliizuia kabla ya seva ya asili, au kumbukumbu zako huenda zinaandika anwani za IP za CDN pekee. Kagua matukio ya usalama ya CDN yako na ujaribu ukurasa kwa user agent ya kila crawler.

Je, trafiki ya ChatGPT-User ni crawler?

OpenAI inasema ChatGPT-User hutumika kwa vitendo fulani vya watumiaji na haitumiki kupitia wavuti kiotomatiki. Ziara zake kwa kawaida hufuata mtu anapouliza ChatGPT kuhusu ukurasa, kwa hivyo huja kwa idadi ndogo.

Vyanzo

Makala zaidi