Ինչպես ստուգել սերվերի լոգերը AI ռոբոտների համար
Ձեր մուտքի լոգի user agent դաշտում փնտրեք այնպիսի նշաններ, ինչպիսիք են GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot և PerplexityBot, ապա նայեք, թե ինչ կարգավիճակի կոդեր են նրանք ստացել։ Միայն user agent-ը ոչինչ չի ապացուցում, ուստի յուրաքանչյուր աղբյուր IP ստուգեք մատակարարի հրապարակած IP ցուցակով, իսկ Google-ի և Apple-ի համար՝ հակադարձ և ուղիղ DNS-ով։
robots.txt-ն ասում է, թե ինչ եք խնդրում ռոբոտներից։ Ձեր մուտքի լոգը ցույց է տալիս, թե իրականում ինչ է տեղի ունեցել. որ AI ռոբոտներն են եկել, որ էջերն են հարցրել և ինչ է պատասխանել ձեր սերվերը։ Սա ձեր ունեցած ամենաուղիղ ապացույցն է, և դրա համար պետք են միայն լոգ ֆայլերը և տերմինալ։ Ստորև բերված օրինակներն օգտագործում են combined լոգի ձևաչափը, որը nginx-ը և Apache-ն օգտագործում են լռելյայն։
Այս էջում
- Ինչպե՞ս է AI ռոբոտի այցը երևում մուտքի լոգում
- Ինչպե՞ս հաշվել AI ռոբոտների այցերը
- Ի՞նչ է իրականում ստացել յուրաքանչյուր ռոբոտ
- Ինչպե՞ս հաստատել, որ այցն իսկապես եկել է OpenAI-ից, Anthropic-ից կամ Perplexity-ից
- Ինչպե՞ս հաստատել Googlebot-ին, Applebot-ին և CCBot-ին
- Ինչպե՞ս են երևում կեղծ AI ռոբոտները
- Ի՞նչ չեն կարող ասել լոգերը
Ինչպե՞ս է AI ռոբոտի այցը երևում մուտքի լոգում
Combined ձևաչափում յուրաքանչյուր տող պարունակում է հաճախորդի IP-ն, ժամանակը, հարցման տողը, կարգավիճակի կոդը, պատասխանի չափը, referrer-ը և user agent-ը։ nginx-ը այն սահմանում է որպես $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", իսկ Apache-ի combined ձևաչափն ունի նույն դաշտերը։ OpenAI-ի ուսուցման ռոբոտի այցն այսպիսին է.
20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" Փնտրելու նշանները նրանք են, որոնք փաստաթղթավորում են մատակարարները. GPTBot, OAI-SearchBot և ChatGPT-User (OpenAI), ClaudeBot, Claude-SearchBot և Claude-User (Anthropic), PerplexityBot և Perplexity-User (Perplexity), Googlebot, Applebot, meta-externalagent, meta-webindexer և CCBot։ Դուք երբեք չեք տեսնի Google-Extended կամ Applebot-Extended։ Google-ն ասում է, որ Google-Extended-ը առանձին user agent տող չունի, իսկ Apple-ն ասում է, որ Applebot-Extended-ը էջեր չի բեռնում. երկուսն էլ միայն robots.txt նշաններ են։
Ինչպե՞ս հաշվել AI ռոբոտների այցերը
Յուրաքանչյուր տողը կրկնակի չակերտի նշանով բաժանելիս user agent-ը հայտնվում է 6-րդ դաշտում։ Միայն այդ դաշտի համընկնումը խուսափում է կեղծ համընկնումներից URL-ներում, որոնք պատահաբար պարունակում են բոտի անունը։ Սա հաշվում է այցերն ըստ ռոբոտի ընթացիկ լոգում և պտտված, սեղմված լոգերում.
zcat -f /var/log/nginx/access.log* \
| awk -F'"' '{print $6}' \
| grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
| sort | uniq -c | sort -rn Apache-ի համար փոխեք ուղին, հաճախ դա /var/log/apache2/access.log* կամ /var/log/httpd/access_log* է։ zcat -f-ը կարդում է և՛ սովորական, և՛ gzip ֆայլերը։ Եթե սպասվող ռոբոտը բացակայում է, դա ինքնին արգելափակման ապացույց չէ. գուցե նա պարզապես չի այցելել այն ժամանակահատվածում, որը ընդգրկում են ձեր լոգերը։
Ի՞նչ է իրականում ստացել յուրաքանչյուր ռոբոտ
Այցերն ավելի քիչ են կարևոր, քան պատասխանները։ Ռոբոտը, որը յուրաքանչյուր հարցման վրա ստանում է 403, այցելել է, բայց ոչինչ չի կարդացել։ Այս հրամանները ցույց են տալիս կարգավիճակի կոդերը, ամենաշատ հարցված ուղիները և արդյոք ռոբոտը բեռնել է robots.txt-ը.
# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c
# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20
# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c Հիմնականում 200-ները հենց այն են, ինչ ձեզ պետք է։ Շատ 403-եր կամ 429-եր ցույց են տալիս ֆայրվոլի կանոն կամ հարցումների սահմանափակում։ robots.txt-ի վրա 5xx պատասխանները լուրջ են. ըստ RFC 9309-ի՝ ռոբոտը, որը robots.txt-ի համար ստանում է սերվերի սխալ, պետք է ամբողջ կայքը համարի արգելված։
Եթե ձեր կայքը CDN-ի հետևում է, երկու բան է փոխվում։ CDN-ի արգելափակած հարցումները երբեք չեն հասնում ձեր սկզբնական սերվերին, ուստի ընդհանրապես չեն հայտնվում նրա լոգերում. փոխարենը ստուգեք CDN-ի անվտանգության իրադարձությունները։ Եվ եթե չվերականգնեք այցելուի IP-ն, սկզբնական սերվերը գրանցում է CDN-ի հասցեն։ Օրինակ՝ Cloudflare-ը սկզբնական IP-ն ուղարկում է CF-Connecting-IP վերնագրում և լռելյայն գրանցվում է Cloudflare-ի IP։
Ինչպե՞ս հաստատել, որ այցն իսկապես եկել է OpenAI-ից, Anthropic-ից կամ Perplexity-ից
Այս մատակարարները հրապարակում են իրենց գործակալների օգտագործած IP տիրույթները. OpenAI-ը՝ openai.com/gptbot.json, openai.com/searchbot.json և openai.com/chatgpt-user.json հասցեներում, Anthropic-ը՝ claude.com/crawling/bots.json-ում, Perplexity-ն՝ perplexity.ai/perplexitybot.json-ում և perplexity.ai/perplexity-user.json-ում։ Anthropic-ն ասում է, որ իր ցուցակում առկա աղբյուր IP-ն ցույց է տալիս, որ ռոբոտը գալիս է Anthropic-ից։ Այս երեքից ոչ մեկը հակադարձ DNS ստուգում չի փաստաթղթավորում, ուստի օգտագործեք ցուցակները։
Ֆայլերն ունեն միևնույն կառուցվածքը՝ ipv4Prefix կամ ipv6Prefix գրառումներով prefixes ցուցակ, ուստի մեկ փոքր սկրիպտ ստուգում է IP-ն դրանցից ցանկացածով.
python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF Տվյալ ռոբոտի անունով ներկայացած IP-ները ցուցակելու համար գործարկեք awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' լոգի վրա և արդյունքը փոխանցեք sort | uniq -c | sort -rn-ին։ Յուրաքանչյուրը ստուգեք համապատասխան ցուցակով։ Ցուցակները փոխվում են, ուստի ամեն անգամ բեռնեք դրանք նորից՝ հին պատճենը պահելու փոխարեն։
Ինչպե՞ս հաստատել Googlebot-ին, Applebot-ին և CCBot-ին
Google-ը, Apple-ը և Common Crawl-ը փաստաթղթավորում են հակադարձ և ուղիղ DNS ստուգում։ Գտեք IP-ի հոսթի անունը, ստուգեք դրա դոմենը, ապա գտեք այդ հոսթի անունը և համոզվեք, որ այն ցույց է տալիս նույն IP-ն.
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1 Google-ի համար հոսթի անունը պետք է ավարտվի googlebot.com, google.com կամ googleusercontent.com-ով՝ կախված ռոբոտից. Google-ը հրապարակում է նաև իր տիրույթները, Googlebot-ինը՝ common-crawlers.json-ում։ Apple-ի համար այն պետք է լինի applebot.apple.com-ում, տիրույթները՝ applebot.json-ում։ Common Crawl-ի համար այն պետք է լինի crawl.commoncrawl.org-ի տակ, և Common Crawl-ը զգուշացնում է, որ այլ ռոբոտներ կեղծ կերպով օգտագործում են CCBot անունը։
Ինչպե՞ս են երևում կեղծ AI ռոբոտները
Սքրեյփերները հաճախ փոխառում են հայտնի ռոբոտի user agent-ը՝ ֆիլտրերը շրջանցելու համար։ Բնորոշ նշաններ.
- User agent-ը անվանում է ռոբոտին, բայց IP-ն այդ մատակարարի հրապարակված ցուցակում չէ, կամ նրա հակադարձ DNS-ը չի համընկնում։
- Աղբյուրը տնային ցանց է կամ ամպային մատակարար, որը մատակարարը չի նշում։
- Հաճախորդը երբեք չի հարցնում robots.txt, կամ հարցնում է ուղիներ, որոնք robots.txt-ն արգելում է այդ ռոբոտի համար։
- Հարցումների հաճախականությունը կամ օրինաչափությունը կտրուկ տարբերվում է նույն անունով հաստատված երթևեկից, օրինակ՝ պոռթկումներ որոնման կամ մուտքի endpoint-ների նկատմամբ։
Հակառակ խնդիրը նույնպես կա. ռոբոտը, որն օգտագործում է սովորական բրաուզերի user agent, ընդհանրապես հնարավոր չէ ճանաչել լոգի տողից։ 2025-ին Cloudflare-ը հայտարարեց, որ նկատել է, թե ինչպես է Perplexity-ն բեռնում էջեր չհայտարարված, բրաուզերանման user agent-ներով՝ իր հրապարակված տիրույթներից դուրս IP-ներից. Perplexity-ն վիճարկեց այդ պնդումը և երթևեկի մի մասը վերագրեց երրորդ կողմի ծառայության։ Միայն լոգերը չեն կարող լուծել նման դեպքերը, ահա թե ինչու հրապարակված IP տիրույթներով հաստատումը կարևոր է երկու ուղղությամբ էլ։
Ի՞նչ չեն կարող ասել լոգերը
Լոգերը ցույց են տալիս, թե ինչն է հասել ձեր սերվերին։ Դրանք ցույց չեն տալիս, թե ինչ է արգելափակել ձեր CDN-ը սկզբնական սերվերից առաջ, արդյոք 200 վերադարձրած էջը պարունակում էր տեքստը, թե միայն սկրիպտի կմախք, կամ արդյոք ռոբոտը կթույլատրվեր, եթե գար այսօր։ Դրանք նաև ընդգրկում են միայն այն ժամանակահատվածը, որը պահում եք, իսկ քիչ այցելվող կայքերը կարող են հազվադեպ տեսնել AI ռոբոտների։
AISeeWhy-ի հաշվում կարող եք վերբեռնել combined ձևաչափով մուտքի լոգ (սովորական կամ .gz, մինչև 50 ՄԲ). այն վերլուծվում և ջնջվում է, իսկ յուրաքանչյուր AI ռոբոտի հարցումները հաշվվում են իրենց կարգավիճակի կոդերով և ստուգվում մատակարարների հրապարակած IP տիրույթներով։
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- AI ռոբոտների IP ստուգում
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Ինչո՞ւ իմ լոգերում Google-Extended չեմ տեսնում
Google-ն ասում է, որ Google-Extended-ը առանձին user agent տող չունի։ Բեռնումն իրականացնում են Google-ի գոյություն ունեցող ռոբոտները, իսկ նշանը միայն վերահսկում է, թե ինչպես կարող է օգտագործվել բովանդակությունը։ Նույնը վերաբերում է Applebot-Extended-ին, որը, ըստ Apple-ի, էջեր չի բեռնում։
Կարո՞ղ եմ վստահել իմ լոգերի user agent-ին
Ոչ։ Ցանկացած ոք կարող է ուղարկել ցանկացած user agent։ Դիտարկեք այն որպես պնդում և հաստատեք մատակարարի հրապարակված IP տիրույթներով կամ, Google-ի, Apple-ի և Common Crawl-ի համար, հակադարձ և ուղիղ DNS ստուգմամբ։
Իմ լոգերում AI ռոբոտների այցեր չկան։ Արդյո՞ք ես արգելափակված եմ
Պարտադիր չէ։ Ռոբոտը գուցե դեռ չի այցելել, ձեր CDN-ը գուցե արգելափակել է նրան սկզբնական սերվերից առաջ, կամ ձեր լոգերը գուցե գրանցում են միայն CDN-ի IP հասցեները։ Ստուգեք ձեր CDN-ի անվտանգության իրադարձությունները և փորձարկեք էջը յուրաքանչյուր ռոբոտի user agent-ով։
Արդյո՞ք ChatGPT-User-ի երթևեկը ռոբոտ է
OpenAI-ն ասում է, որ ChatGPT-User-ն օգտագործվում է օգտատերերի որոշ գործողությունների համար և չի օգտագործվում վեբը ավտոմատ կերպով բեռնելու համար։ Նրա այցերը սովորաբար հաջորդում են այն բանին, որ մարդը ChatGPT-ին հարցնում է էջի մասին, ուստի դրանք քիչ են։
Աղբյուրներ
- nginx: ngx_http_log_module (combined լոգի ձևաչափ)
- Apache HTTP Server 2.4: Լոգ ֆայլեր
- OpenAI: OpenAI-ի ռոբոտների ակնարկ
- Anthropic: Արդյո՞ք Anthropic-ը հավաքում է տվյալներ վեբից, և ինչպե՞ս կարող են կայքերի սեփականատերերն արգելափակել ռոբոտին
- Perplexity: Perplexity-ի ռոբոտները
- Google: Google-ի ռոբոտների և բեռնիչների հաստատում
- Google: Ընդհանուր ռոբոտներ, ներառյալ Google-Extended-ը
- Apple: Applebot-ի մասին
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Այցելուների սկզբնական IP-ների վերականգնում
- Cloudflare: Perplexity-ն օգտագործում է թաքնված, չհայտարարված ռոբոտներ՝ կայքերի արգելքները շրջանցելու համար
- Perplexity: Գործակալնե՞ր, թե՞ բոտեր. AI-ը բաց վեբում