Како да у логовима сервера проверите AI краулере

Објављено

Кратак одговор

У пољу user agent у access логу потражите токене као што су GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot и PerplexityBot, а затим погледајте које су статусне кодове добили. Сам user agent ништа не доказује, па сваку изворну IP адресу проверите према листи коју објављује компанија, или обрнутим и директним DNS упитом за Google и Apple.

robots.txt каже шта тражите од краулера. Ваш access лог показује шта се заиста догодило: који AI краулери су дошли, које странице су тражили и шта је ваш сервер одговорио. То је најдиректнији доказ који имате, а за њега су вам потребни само лог фајлови и терминал. Примери испод користе комбиновани формат лога (combined) који nginx и Apache подразумевано користе.

На овој страници
  1. Како посета AI краулера изгледа у access логу?
  2. Како да избројим посете AI краулера?
  3. Шта је сваки краулер заиста добио?
  4. Како да проверим да је посета заиста дошла од OpenAI-ја, Anthropic-а или Perplexity-ја?
  5. Како да проверим Googlebot, Applebot и CCBot?
  6. Како изгледају лажни AI краулери?
  7. Шта вам логови не могу рећи?

Како посета AI краулера изгледа у access логу?

У комбинованом формату сваки ред садржи IP клијента, време, ред захтева, статусни код, величину одговора, referrer и user agent. nginx га дефинише као $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", а Apache-јев формат combined има иста поља. Посета OpenAI-јевог краулера за обуку изгледа овако:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Токени које треба тражити су они које компаније документују: GPTBot, OAI-SearchBot и ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot и Claude-User (Anthropic); PerplexityBot и Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer и CCBot. Google-Extended и Applebot-Extended никада нећете видети. Google каже да Google-Extended нема посебан user agent стринг, а Apple каже да Applebot-Extended не обилази сајтове; оба су само robots.txt токени.

Како да избројим посете AI краулера?

Када сваки ред поделите по знаку двоструког наводника, user agent се налази у пољу 6. Поклапање само тог поља избегава лажне погодке из URL-ова који случајно садрже име бота. Ово броји посете по краулеру у тренутном логу и у ротираним, компримованим логовима:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Прилагодите путању за Apache, често /var/log/apache2/access.log* или /var/log/httpd/access_log*. zcat -f чита и обичне и gzip фајлове. Ако краулер који очекујете недостаје, то само по себи није доказ блокаде: можда једноставно није дошао у периоду који ваши логови покривају.

Шта је сваки краулер заиста добио?

Посете су мање важне од одговора. Краулер који на сваки захтев добије 403 јесте дошао, али ништа није прочитао. Ове команде приказују статусне кодове, најтраженије путање и да ли је краулер преузео robots.txt:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Желите да то буду углавном 200. Много 403 или 429 указује на правило заштитног зида или ограничење брзине. Одговори 5xx на robots.txt су озбиљни: према RFC 9309 краулер који за robots.txt добије грешку сервера мора да претпостави да је цео сајт забрањен.

Ако је ваш сајт иза CDN-а, мењају се две ствари. Захтеви које CDN блокира никада не стигну до вашег изворног сервера, па се уопште не појављују у његовим логовима; уместо тога проверите безбедносне догађаје у самом CDN-у. Осим тога, ако не вратите IP посетиоца, изворни сервер бележи адресу CDN-а. Cloudflare, на пример, шаље оригинални IP у заглављу CF-Connecting-IP и подразумевано се бележи Cloudflare IP.

Како да проверим да је посета заиста дошла од OpenAI-ја, Anthropic-а или Perplexity-ја?

Ове компаније објављују IP опсеге које њихови агенти користе: OpenAI на openai.com/gptbot.json, openai.com/searchbot.json и openai.com/chatgpt-user.json; Anthropic на claude.com/crawling/bots.json; Perplexity на perplexity.ai/perplexitybot.json и perplexity.ai/perplexity-user.json. Anthropic каже да изворни IP са његове листе указује да краулер долази од Anthropic-а. Ниједна од ове три компаније не документује проверу обрнутим DNS-ом, па користите листе.

Фајлови имају исти облик, листу prefixes са уносима ipv4Prefix или ipv6Prefix, па једна мала скрипта проверава IP према било којој од њих:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Да бисте излистали IP адресе које су се представиле као одређени краулер, покрените awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' над логом и проследите излаз кроз sort | uniq -c | sort -rn. Сваку проверите према одговарајућој листи. Листе се мењају, па их преузимајте изнова уместо да чувате стару копију.

Како да проверим Googlebot, Applebot и CCBot?

Google, Apple и Common Crawl документују проверу обрнутим и директним DNS упитом. Потражите име хоста за IP, проверите његов домен, затим потражите то име хоста и потврдите да указује на исти IP:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

За Google име хоста мора да се завршава на googlebot.com, google.com или googleusercontent.com, зависно од краулера; Google објављује и своје опсеге, са Googlebot-ом у common-crawlers.json. За Apple мора бити у applebot.apple.com, са опсезима у applebot.json. За Common Crawl мора бити под crawl.commoncrawl.org, а Common Crawl упозорава да се други краулери лажно представљају именом CCBot.

Како изгледају лажни AI краулери?

Скрејпери често позајмљују user agent познатог краулера да би прошли кроз филтере. Типични знаци:

Постоји и обрнут проблем: краулер који користи обичан user agent прегледача уопште се не може препознати из реда у логу. Cloudflare је 2025. рекао да је приметио да Perplexity обилази сајтове са непријављеним user agent-има налик прегледачу, са IP адреса изван објављених опсега; Perplexity је оспорио тај опис и део саобраћаја приписао сервису треће стране. Само логови не могу да реше овакве случајеве, и зато је провера према објављеним IP опсезима важна у оба смера.

Шта вам логови не могу рећи?

Логови показују шта је стигло до вашег сервера. Не показују шта је ваш CDN блокирао пре изворног сервера, да ли је страница која је вратила 200 садржала текст или само љуску са скриптама, нити да ли би краулер био дозвољен ако би дошао данас. Осим тога, покривају само период који чувате, а мирни сајтови могу ретко да виде AI краулере.

У AISeeWhy налогу можете да отпремите access лог у комбинованом формату (обичан или .gz, до 50 MB); анализира се и брише, а захтеви сваког AI краулера се броје са статусним кодовима и проверавају према IP опсезима које компаније објављују.

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Зашто у логовима не видим Google-Extended?

Google каже да Google-Extended нема посебан user agent стринг. Обилажење обављају постојећи Google-ови краулери, а токен само контролише како се садржај сме користити. Исто важи за Applebot-Extended, за који Apple каже да не обилази сајтове.

Могу ли да верујем user agent-у у логовима?

Не. Свако може да пошаље било који user agent. Третирајте га као тврдњу и потврдите је према IP опсезима које компанија објављује или, за Google, Apple и Common Crawl, обрнутим и директним DNS упитом.

Логови не показују ниједну посету AI краулера. Да ли сам блокиран?

Не обавезно. Краулер можда још није дошао, ваш CDN га је можда блокирао пре изворног сервера или ваши логови можда бележе само IP адресе CDN-а. Проверите безбедносне догађаје у CDN-у и тестирајте страницу са user agent-ом сваког краулера.

Да ли је саобраћај ChatGPT-User краулер?

OpenAI каже да се ChatGPT-User користи за одређене радње корисника и да се не користи за аутоматско обилажење веба. Његове посете обично уследе када неко пита ChatGPT о страници, па их има мало.

Извори

Још чланака