Како да ги проверите серверските дневници за AI краулери

Објавено

Краток одговор

Во полето за user agent во дневникот за пристап пребарајте ознаки како GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot и PerplexityBot, а потоа погледнете кои статусни кодови ги добиле. Самиот user agent не докажува ништо, па проверете ја секоја изворна IP адреса во објавената IP листа на производителот, или со обратен и директен DNS за Google и Apple.

robots.txt кажува што барате од краулерите да прават. Вашиот дневник за пристап покажува што навистина се случило: кои AI краулери дошле, кои страници ги побарале и што одговорил вашиот сервер. Тоа е најдиректниот доказ што го имате, а за него ви требаат само датотеките со дневници и терминал. Примерите подолу го користат комбинираниот формат на дневник што nginx и Apache го користат стандардно.

На оваа страница
  1. Како изгледа посета од AI краулер во дневникот за пристап?
  2. Како да ги избројам посетите од AI краулери?
  3. Што навистина добил секој краулер?
  4. Како да потврдам дека посетата навистина дошла од OpenAI, Anthropic или Perplexity?
  5. Како да ги потврдам Googlebot, Applebot и CCBot?
  6. Како изгледаат лажните AI краулери?
  7. Што не можат да ви кажат дневниците?

Како изгледа посета од AI краулер во дневникот за пристап?

Во комбинираниот формат, секој ред ги содржи IP адресата на клиентот, времето, редот на барањето, статусниот код, големината на одговорот, упатувачот и user agent-от. nginx го дефинира како $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", а форматот combined на Apache ги има истите полиња. Посета од краулерот за обука на OpenAI изгледа вака:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Ознаките што треба да ги барате се оние што ги документираат производителите: GPTBot, OAI-SearchBot и ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot и Claude-User (Anthropic); PerplexityBot и Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer и CCBot. Никогаш нема да ги видите Google-Extended или Applebot-Extended. Google наведува дека Google-Extended нема посебен user agent, а Apple наведува дека Applebot-Extended не обиколува; двете се само ознаки во robots.txt.

Како да ги избројам посетите од AI краулери?

Ако секој ред се подели по знакот за двојни наводници, user agent-от е во полето 6. Совпаѓањето само со тоа поле избегнува лажни погодоци од URL-адреси што случајно го содржат името на бот. Ова ги брои посетите по краулер низ тековниот дневник и ротираните, компресирани дневници:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Прилагодете ја патеката за Apache, често /var/log/apache2/access.log* или /var/log/httpd/access_log*. zcat -f чита и обични и gzip датотеки. Ако недостасува краулер што го очекувате, тоа само по себе не е доказ за блокирање: можеби едноставно не дошол во периодот што го опфаќаат вашите дневници.

Што навистина добил секој краулер?

Посетите се помалку важни од одговорите. Краулер што добива 403 на секое барање дошол, но не прочитал ништо. Овие команди ги прикажуваат статусните кодови, најбараните патеки и дали краулерот го презел robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Главно 200 е она што го сакате. Многу 403 или 429 укажуваат на правило на заштитниот ѕид или ограничување на бројот на барања. Одговорите 5xx за robots.txt се сериозни: според RFC 9309, краулер што добива серверска грешка за robots.txt мора да претпостави дека целиот сајт е забранет.

Ако вашиот сајт е зад CDN, се менуваат две работи. Барањата што CDN-от ги блокира никогаш не стигнуваат до изворниот сервер, па воопшто не се појавуваат во неговите дневници; наместо тоа, проверете ги безбедносните настани на самиот CDN. И ако не ја вратите IP адресата на посетителот, изворниот сервер ја запишува адресата на CDN-от. Cloudflare, на пример, ја праќа оригиналната IP адреса во заглавието CF-Connecting-IP, а стандардно се запишува IP адреса на Cloudflare.

Како да потврдам дека посетата навистина дошла од OpenAI, Anthropic или Perplexity?

Овие производители ги објавуваат IP опсезите што ги користат нивните агенти: OpenAI на openai.com/gptbot.json, openai.com/searchbot.json и openai.com/chatgpt-user.json; Anthropic на claude.com/crawling/bots.json; Perplexity на perplexity.ai/perplexitybot.json и perplexity.ai/perplexity-user.json. Anthropic наведува дека изворна IP адреса од неговата листа покажува дека краулерот доаѓа од Anthropic. Ниту еден од тројцата не документира потврда со обратен DNS, па користете ги листите.

Датотеките имаат иста форма, листа prefixes со записи ipv4Prefix или ipv6Prefix, па една мала скрипта проверува IP адреса во која било од нив:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

За да ги излистате IP адресите што тврделе дека се даден краулер, извршете awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' врз дневникот и пренасочете го излезот низ sort | uniq -c | sort -rn. Проверете ја секоја во соодветната листа. Листите се менуваат, па преземајте ги свежи наместо да чувате стара копија.

Како да ги потврдам Googlebot, Applebot и CCBot?

Google, Apple и Common Crawl документираат проверка со обратен и директен DNS. Побарајте го името на хостот на IP адресата, проверете го доменот, потоа побарајте го тоа име на хост и потврдете дека покажува назад кон истата IP адреса:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

За Google името на хостот мора да завршува на googlebot.com, google.com или googleusercontent.com, зависно од краулерот; Google ги објавува и своите опсези, со Googlebot во common-crawlers.json. За Apple мора да биде во applebot.apple.com, со опсези во applebot.json. За Common Crawl мора да биде под crawl.commoncrawl.org, а Common Crawl предупредува дека други краулери лажно го користат името CCBot.

Како изгледаат лажните AI краулери?

Скреперите често го позајмуваат user agent-от на познат краулер за да поминат низ филтрите. Типични знаци:

Постои и обратниот проблем: краулер што користи обичен user agent на прелистувач воопшто не може да се препознае од редот во дневникот. Во 2025 Cloudflare соопшти дека забележал како Perplexity обиколува со непријавени user agent-и слични на прелистувач, од IP адреси надвор од неговите објавени опсези; Perplexity го оспори тоа и дел од сообраќајот го припиша на услуга од трета страна. Самите дневници не можат да разрешат вакви случаи, и затоа потврдата преку објавените IP опсези е важна во двете насоки.

Што не можат да ви кажат дневниците?

Дневниците покажуваат што стигнало до вашиот сервер. Не покажуваат што блокирал вашиот CDN пред изворниот сервер, дали страница што вратила 200 го содржела текстот или само обвивка од скрипти, ниту дали краулерот би бил пуштен ако дојде денес. Освен тоа, го опфаќаат само периодот што го чувате, а на мирните сајтови AI краулерите може да доаѓаат ретко.

Во сметка на AISeeWhy можете да прикачите дневник за пристап во комбиниран формат (обичен или .gz, до 50 MB); тој се анализира и се брише, а барањата на секој AI краулер се бројат заедно со статусните кодови и се проверуваат во IP опсезите што ги објавуваат производителите.

Бесплатни алатки

Следни чекори

Краулери во оваа статија

Често поставувани прашања

Зошто не го гледам Google-Extended во моите дневници?

Google наведува дека Google-Extended нема посебен user agent. Обиколувањето го вршат постојните краулери на Google, а ознаката само контролира како смее да се користи содржината. Истото важи и за Applebot-Extended, за кој Apple наведува дека не обиколува.

Може ли да му верувам на user agent-от во моите дневници?

Не. Секој може да испрати каков било user agent. Сметајте го за тврдење и потврдете го со објавените IP опсези на производителот или, за Google, Apple и Common Crawl, со обратно и директно DNS пребарување.

Моите дневници не покажуваат посети од AI краулери. Дали сум блокиран?

Не мора. Краулерот можеби сè уште не дошол, вашиот CDN можеби го блокирал пред изворниот сервер, или вашите дневници можеби ги запишуваат само IP адресите на CDN-от. Проверете ги безбедносните настани на CDN-от и тестирајте ја страницата со user agent-от на секој краулер.

Дали сообраќајот од ChatGPT-User е краулер?

OpenAI наведува дека ChatGPT-User се користи за одредени дејства на корисниците и не се користи за автоматско обиколување на интернетот. Неговите посети обично следат откако некој ќе го праша ChatGPT за страница, па доаѓаат во мал број.

Извори

Уште статии