Ինչպես ստուգել սերվերի լոգերը AI ռոբոտների համար

Հրապարակված է

Կարճ պատասխան

Ձեր մուտքի լոգի user agent դաշտում փնտրեք այնպիսի նշաններ, ինչպիսիք են GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot և PerplexityBot, ապա նայեք, թե ինչ կարգավիճակի կոդեր են նրանք ստացել։ Միայն user agent-ը ոչինչ չի ապացուցում, ուստի յուրաքանչյուր աղբյուր IP ստուգեք մատակարարի հրապարակած IP ցուցակով, իսկ Google-ի և Apple-ի համար՝ հակադարձ և ուղիղ DNS-ով։

robots.txt-ն ասում է, թե ինչ եք խնդրում ռոբոտներից։ Ձեր մուտքի լոգը ցույց է տալիս, թե իրականում ինչ է տեղի ունեցել. որ AI ռոբոտներն են եկել, որ էջերն են հարցրել և ինչ է պատասխանել ձեր սերվերը։ Սա ձեր ունեցած ամենաուղիղ ապացույցն է, և դրա համար պետք են միայն լոգ ֆայլերը և տերմինալ։ Ստորև բերված օրինակներն օգտագործում են combined լոգի ձևաչափը, որը nginx-ը և Apache-ն օգտագործում են լռելյայն։

Այս էջում
  1. Ինչպե՞ս է AI ռոբոտի այցը երևում մուտքի լոգում
  2. Ինչպե՞ս հաշվել AI ռոբոտների այցերը
  3. Ի՞նչ է իրականում ստացել յուրաքանչյուր ռոբոտ
  4. Ինչպե՞ս հաստատել, որ այցն իսկապես եկել է OpenAI-ից, Anthropic-ից կամ Perplexity-ից
  5. Ինչպե՞ս հաստատել Googlebot-ին, Applebot-ին և CCBot-ին
  6. Ինչպե՞ս են երևում կեղծ AI ռոբոտները
  7. Ի՞նչ չեն կարող ասել լոգերը

Ինչպե՞ս է AI ռոբոտի այցը երևում մուտքի լոգում

Combined ձևաչափում յուրաքանչյուր տող պարունակում է հաճախորդի IP-ն, ժամանակը, հարցման տողը, կարգավիճակի կոդը, պատասխանի չափը, referrer-ը և user agent-ը։ nginx-ը այն սահմանում է որպես $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", իսկ Apache-ի combined ձևաչափն ունի նույն դաշտերը։ OpenAI-ի ուսուցման ռոբոտի այցն այսպիսին է.

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Փնտրելու նշանները նրանք են, որոնք փաստաթղթավորում են մատակարարները. GPTBot, OAI-SearchBot և ChatGPT-User (OpenAI), ClaudeBot, Claude-SearchBot և Claude-User (Anthropic), PerplexityBot և Perplexity-User (Perplexity), Googlebot, Applebot, meta-externalagent, meta-webindexer և CCBot։ Դուք երբեք չեք տեսնի Google-Extended կամ Applebot-Extended։ Google-ն ասում է, որ Google-Extended-ը առանձին user agent տող չունի, իսկ Apple-ն ասում է, որ Applebot-Extended-ը էջեր չի բեռնում. երկուսն էլ միայն robots.txt նշաններ են։

Ինչպե՞ս հաշվել AI ռոբոտների այցերը

Յուրաքանչյուր տողը կրկնակի չակերտի նշանով բաժանելիս user agent-ը հայտնվում է 6-րդ դաշտում։ Միայն այդ դաշտի համընկնումը խուսափում է կեղծ համընկնումներից URL-ներում, որոնք պատահաբար պարունակում են բոտի անունը։ Սա հաշվում է այցերն ըստ ռոբոտի ընթացիկ լոգում և պտտված, սեղմված լոգերում.

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache-ի համար փոխեք ուղին, հաճախ դա /var/log/apache2/access.log* կամ /var/log/httpd/access_log* է։ zcat -f-ը կարդում է և՛ սովորական, և՛ gzip ֆայլերը։ Եթե սպասվող ռոբոտը բացակայում է, դա ինքնին արգելափակման ապացույց չէ. գուցե նա պարզապես չի այցելել այն ժամանակահատվածում, որը ընդգրկում են ձեր լոգերը։

Ի՞նչ է իրականում ստացել յուրաքանչյուր ռոբոտ

Այցերն ավելի քիչ են կարևոր, քան պատասխանները։ Ռոբոտը, որը յուրաքանչյուր հարցման վրա ստանում է 403, այցելել է, բայց ոչինչ չի կարդացել։ Այս հրամանները ցույց են տալիս կարգավիճակի կոդերը, ամենաշատ հարցված ուղիները և արդյոք ռոբոտը բեռնել է robots.txt-ը.

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Հիմնականում 200-ները հենց այն են, ինչ ձեզ պետք է։ Շատ 403-եր կամ 429-եր ցույց են տալիս ֆայրվոլի կանոն կամ հարցումների սահմանափակում։ robots.txt-ի վրա 5xx պատասխանները լուրջ են. ըստ RFC 9309-ի՝ ռոբոտը, որը robots.txt-ի համար ստանում է սերվերի սխալ, պետք է ամբողջ կայքը համարի արգելված։

Եթե ձեր կայքը CDN-ի հետևում է, երկու բան է փոխվում։ CDN-ի արգելափակած հարցումները երբեք չեն հասնում ձեր սկզբնական սերվերին, ուստի ընդհանրապես չեն հայտնվում նրա լոգերում. փոխարենը ստուգեք CDN-ի անվտանգության իրադարձությունները։ Եվ եթե չվերականգնեք այցելուի IP-ն, սկզբնական սերվերը գրանցում է CDN-ի հասցեն։ Օրինակ՝ Cloudflare-ը սկզբնական IP-ն ուղարկում է CF-Connecting-IP վերնագրում և լռելյայն գրանցվում է Cloudflare-ի IP։

Ինչպե՞ս հաստատել, որ այցն իսկապես եկել է OpenAI-ից, Anthropic-ից կամ Perplexity-ից

Այս մատակարարները հրապարակում են իրենց գործակալների օգտագործած IP տիրույթները. OpenAI-ը՝ openai.com/gptbot.json, openai.com/searchbot.json և openai.com/chatgpt-user.json հասցեներում, Anthropic-ը՝ claude.com/crawling/bots.json-ում, Perplexity-ն՝ perplexity.ai/perplexitybot.json-ում և perplexity.ai/perplexity-user.json-ում։ Anthropic-ն ասում է, որ իր ցուցակում առկա աղբյուր IP-ն ցույց է տալիս, որ ռոբոտը գալիս է Anthropic-ից։ Այս երեքից ոչ մեկը հակադարձ DNS ստուգում չի փաստաթղթավորում, ուստի օգտագործեք ցուցակները։

Ֆայլերն ունեն միևնույն կառուցվածքը՝ ipv4Prefix կամ ipv6Prefix գրառումներով prefixes ցուցակ, ուստի մեկ փոքր սկրիպտ ստուգում է IP-ն դրանցից ցանկացածով.

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Տվյալ ռոբոտի անունով ներկայացած IP-ները ցուցակելու համար գործարկեք awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' լոգի վրա և արդյունքը փոխանցեք sort | uniq -c | sort -rn-ին։ Յուրաքանչյուրը ստուգեք համապատասխան ցուցակով։ Ցուցակները փոխվում են, ուստի ամեն անգամ բեռնեք դրանք նորից՝ հին պատճենը պահելու փոխարեն։

Ինչպե՞ս հաստատել Googlebot-ին, Applebot-ին և CCBot-ին

Google-ը, Apple-ը և Common Crawl-ը փաստաթղթավորում են հակադարձ և ուղիղ DNS ստուգում։ Գտեք IP-ի հոսթի անունը, ստուգեք դրա դոմենը, ապա գտեք այդ հոսթի անունը և համոզվեք, որ այն ցույց է տալիս նույն IP-ն.

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google-ի համար հոսթի անունը պետք է ավարտվի googlebot.com, google.com կամ googleusercontent.com-ով՝ կախված ռոբոտից. Google-ը հրապարակում է նաև իր տիրույթները, Googlebot-ինը՝ common-crawlers.json-ում։ Apple-ի համար այն պետք է լինի applebot.apple.com-ում, տիրույթները՝ applebot.json-ում։ Common Crawl-ի համար այն պետք է լինի crawl.commoncrawl.org-ի տակ, և Common Crawl-ը զգուշացնում է, որ այլ ռոբոտներ կեղծ կերպով օգտագործում են CCBot անունը։

Ինչպե՞ս են երևում կեղծ AI ռոբոտները

Սքրեյփերները հաճախ փոխառում են հայտնի ռոբոտի user agent-ը՝ ֆիլտրերը շրջանցելու համար։ Բնորոշ նշաններ.

Հակառակ խնդիրը նույնպես կա. ռոբոտը, որն օգտագործում է սովորական բրաուզերի user agent, ընդհանրապես հնարավոր չէ ճանաչել լոգի տողից։ 2025-ին Cloudflare-ը հայտարարեց, որ նկատել է, թե ինչպես է Perplexity-ն բեռնում էջեր չհայտարարված, բրաուզերանման user agent-ներով՝ իր հրապարակված տիրույթներից դուրս IP-ներից. Perplexity-ն վիճարկեց այդ պնդումը և երթևեկի մի մասը վերագրեց երրորդ կողմի ծառայության։ Միայն լոգերը չեն կարող լուծել նման դեպքերը, ահա թե ինչու հրապարակված IP տիրույթներով հաստատումը կարևոր է երկու ուղղությամբ էլ։

Ի՞նչ չեն կարող ասել լոգերը

Լոգերը ցույց են տալիս, թե ինչն է հասել ձեր սերվերին։ Դրանք ցույց չեն տալիս, թե ինչ է արգելափակել ձեր CDN-ը սկզբնական սերվերից առաջ, արդյոք 200 վերադարձրած էջը պարունակում էր տեքստը, թե միայն սկրիպտի կմախք, կամ արդյոք ռոբոտը կթույլատրվեր, եթե գար այսօր։ Դրանք նաև ընդգրկում են միայն այն ժամանակահատվածը, որը պահում եք, իսկ քիչ այցելվող կայքերը կարող են հազվադեպ տեսնել AI ռոբոտների։

AISeeWhy-ի հաշվում կարող եք վերբեռնել combined ձևաչափով մուտքի լոգ (սովորական կամ .gz, մինչև 50 ՄԲ). այն վերլուծվում և ջնջվում է, իսկ յուրաքանչյուր AI ռոբոտի հարցումները հաշվվում են իրենց կարգավիճակի կոդերով և ստուգվում մատակարարների հրապարակած IP տիրույթներով։

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Ինչո՞ւ իմ լոգերում Google-Extended չեմ տեսնում

Google-ն ասում է, որ Google-Extended-ը առանձին user agent տող չունի։ Բեռնումն իրականացնում են Google-ի գոյություն ունեցող ռոբոտները, իսկ նշանը միայն վերահսկում է, թե ինչպես կարող է օգտագործվել բովանդակությունը։ Նույնը վերաբերում է Applebot-Extended-ին, որը, ըստ Apple-ի, էջեր չի բեռնում։

Կարո՞ղ եմ վստահել իմ լոգերի user agent-ին

Ոչ։ Ցանկացած ոք կարող է ուղարկել ցանկացած user agent։ Դիտարկեք այն որպես պնդում և հաստատեք մատակարարի հրապարակված IP տիրույթներով կամ, Google-ի, Apple-ի և Common Crawl-ի համար, հակադարձ և ուղիղ DNS ստուգմամբ։

Իմ լոգերում AI ռոբոտների այցեր չկան։ Արդյո՞ք ես արգելափակված եմ

Պարտադիր չէ։ Ռոբոտը գուցե դեռ չի այցելել, ձեր CDN-ը գուցե արգելափակել է նրան սկզբնական սերվերից առաջ, կամ ձեր լոգերը գուցե գրանցում են միայն CDN-ի IP հասցեները։ Ստուգեք ձեր CDN-ի անվտանգության իրադարձությունները և փորձարկեք էջը յուրաքանչյուր ռոբոտի user agent-ով։

Արդյո՞ք ChatGPT-User-ի երթևեկը ռոբոտ է

OpenAI-ն ասում է, որ ChatGPT-User-ն օգտագործվում է օգտատերերի որոշ գործողությունների համար և չի օգտագործվում վեբը ավտոմատ կերպով բեռնելու համար։ Նրա այցերը սովորաբար հաջորդում են այն բանին, որ մարդը ChatGPT-ին հարցնում է էջի մասին, ուստի դրանք քիչ են։

Աղբյուրներ

Այլ հոդվածներ