Как да проверите логовете на сървъра за AI ботове
Потърсете в полето user agent на лога за достъп токени като GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot и PerplexityBot, след това вижте какви статус кодове са получили. Само user agent не доказва нищо, затова проверете всеки IP адрес на източника спрямо публикувания IP списък на компанията, а за Google и Apple – чрез обратен и прав DNS.
robots.txt казва какво молите ботовете да правят. Логът за достъп показва какво реално се е случило: кои AI ботове са дошли, кои страници са заявили и какво им е отговорил сървърът ви. Това е най-прякото доказателство, с което разполагате, и за него не ви трябва нищо повече от лог файловете и терминал. Примерите по-долу използват формата combined, който nginx и Apache използват по подразбиране.
На тази страница
- Как изглежда посещение на AI бот в лога за достъп?
- Как да преброя посещенията на AI ботове?
- Какво е получил всеки бот в действителност?
- Как да проверя дали посещението наистина идва от OpenAI, Anthropic или Perplexity?
- Как да проверя Googlebot, Applebot и CCBot?
- Как изглеждат фалшивите AI ботове?
- Какво не могат да ви кажат логовете?
Как изглежда посещение на AI бот в лога за достъп?
Във формата combined всеки ред съдържа IP адреса на клиента, времето, реда на заявката, статус кода, размера на отговора, референта и user agent. nginx го определя като $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent", а форматът combined на Apache има същите полета. Посещение от бота за обучение на OpenAI изглежда така:
20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" Токените, които търсите, са документираните от компаниите: GPTBot, OAI-SearchBot и ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot и Claude-User (Anthropic); PerplexityBot и Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer и CCBot. Никога няма да видите Google-Extended или Applebot-Extended. Google казва, че Google-Extended няма отделен низ за user agent, а Apple казва, че Applebot-Extended не обхожда; и двата са само токени за robots.txt.
Как да преброя посещенията на AI ботове?
Ако разделите всеки ред по символа за двойни кавички, user agent попада в поле 6. Съпоставянето само с това поле избягва фалшиви съвпадения от URL адреси, които случайно съдържат името на бот. Тази команда брои посещенията по ботове в текущия лог и в ротираните, компресирани логове:
zcat -f /var/log/nginx/access.log* \
| awk -F'"' '{print $6}' \
| grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
| sort | uniq -c | sort -rn За Apache сменете пътя, често /var/log/apache2/access.log* или /var/log/httpd/access_log*. zcat -f чете както обикновени, така и gzip файлове. Ако бот, който очаквате, липсва, това само по себе си не доказва блокиране: той може просто да не е идвал в периода, който обхващат логовете ви.
Какво е получил всеки бот в действителност?
Отговорите са по-важни от посещенията. Бот, който получава 403 на всяка заявка, е идвал, но не е прочел нищо. Тези команди показват статус кодовете, най-често заявяваните пътища и дали ботът е изтеглил robots.txt:
# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c
# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20
# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c Искате предимно отговори 200. Много отговори 403 или 429 сочат към правило в защитната стена или ограничение на заявките. Отговорите 5xx за robots.txt са сериозен проблем: според RFC 9309 бот, който получи сървърна грешка за robots.txt, трябва да приеме целия сайт за забранен.
Ако сайтът ви е зад CDN, две неща се променят. Заявките, които CDN блокира, никога не достигат до основния сървър, така че изобщо не се появяват в логовете му; вместо това проверете събитията за сигурност в самия CDN. И ако не възстановите IP адреса на посетителя, основният сървър записва адреса на CDN. Cloudflare например изпраща оригиналния IP адрес в заглавката CF-Connecting-IP, а по подразбиране в лога се записва IP адрес на Cloudflare.
Как да проверя дали посещението наистина идва от OpenAI, Anthropic или Perplexity?
Тези компании публикуват IP диапазоните, които използват агентите им: OpenAI на openai.com/gptbot.json, openai.com/searchbot.json и openai.com/chatgpt-user.json; Anthropic на claude.com/crawling/bots.json; Perplexity на perplexity.ai/perplexitybot.json и perplexity.ai/perplexity-user.json. Anthropic казва, че IP адрес на източника от нейния списък означава, че ботът идва от Anthropic. Нито една от трите не документира проверка с обратен DNS, затова използвайте списъците.
Файловете имат една и съща структура – списък prefixes със записи ipv4Prefix или ipv6Prefix, така че един малък скрипт проверява IP адрес спрямо всеки от тях:
python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF За да изведете IP адресите, които са се представили като даден бот, изпълнете awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' върху лога и пренасочете резултата през sort | uniq -c | sort -rn. Проверете всеки адрес спрямо съответния списък. Списъците се променят, затова ги изтегляйте наново, вместо да пазите стар екземпляр.
Как да проверя Googlebot, Applebot и CCBot?
Google, Apple и Common Crawl документират проверка с обратен и прав DNS. Намерете името на хоста за IP адреса, проверете домейна му, след това потърсете това име на хост и се уверете, че сочи обратно към същия IP адрес:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1 За Google името на хоста трябва да завършва на googlebot.com, google.com или googleusercontent.com в зависимост от бота; Google публикува и диапазоните си, като Googlebot е в common-crawlers.json. За Apple то трябва да е в applebot.apple.com, а диапазоните са в applebot.json. За Common Crawl то трябва да е под crawl.commoncrawl.org, а Common Crawl предупреждава, че други ботове невярно използват името CCBot.
Как изглеждат фалшивите AI ботове?
Скрейпърите често заемат user agent на известен бот, за да минат през филтрите. Типични признаци:
- User agent назовава бот, но IP адресът не е в публикувания списък на съответната компания или обратният му DNS не съвпада.
- Източникът е домашна мрежа или облачен доставчик, който компанията не посочва.
- Клиентът никога не заявява robots.txt или заявява пътища, които robots.txt забранява за този бот.
- Честотата или моделът на заявките се различава рязко от проверения трафик под същото име, например изблици към крайни точки за търсене или вход.
Съществува и обратният проблем: бот, който използва обикновен браузърен user agent, изобщо не може да бъде разпознат по реда в лога. През 2025 г. Cloudflare заяви, че е наблюдавал Perplexity да обхожда с недекларирани, подобни на браузър user agent низове от IP адреси извън публикуваните му диапазони; Perplexity оспори тази версия и отдаде част от трафика на услуга на трета страна. Само логовете не могат да решат такива случаи, затова проверката по публикувани IP диапазони е важна и в двете посоки.
Какво не могат да ви кажат логовете?
Логовете показват какво е достигнало до сървъра ви. Те не показват какво е блокирал CDN преди основния сървър, дали страница, върнала 200, е съдържала текста или само обвивка от скриптове, нито дали един бот би бил пропуснат, ако дойде днес. Освен това обхващат само периода, който пазите, а на по-тихи сайтове AI ботовете може да идват рядко.
В профил в AISeeWhy можете да качите лог за достъп във формат combined (обикновен или .gz, до 50 MB); той се анализира и изтрива, а заявките на всеки AI бот се преброяват със статус кодовете си и се проверяват спрямо IP диапазоните, които публикуват компаниите.
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка на IP на AI ботове
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Защо не виждам Google-Extended в логовете си?
Google казва, че Google-Extended няма отделен низ за user agent. Обхождането се извършва от съществуващите ботове на Google, а токенът определя само как може да се използва съдържанието. Същото важи и за Applebot-Extended, който според Apple не обхожда.
Мога ли да вярвам на user agent в логовете си?
Не. Всеки може да изпрати какъвто и да е user agent. Приемайте го като твърдение и го потвърждавайте с публикуваните IP диапазони на компанията или, за Google, Apple и Common Crawl, с обратна и права DNS заявка.
В логовете ми няма посещения от AI ботове. Блокиран ли съм?
Не непременно. Ботът може още да не е идвал, CDN може да го е блокирал преди основния сървър или логовете ви може да записват само IP адресите на CDN. Проверете събитията за сигурност в CDN и тествайте страницата с user agent на всеки бот.
Бот ли е трафикът от ChatGPT-User?
OpenAI казва, че ChatGPT-User се използва за определени действия на потребители и не служи за автоматично обхождане на уеб. Посещенията му обикновено следват въпрос на човек към ChatGPT за дадена страница, затова са малко на брой.
Източници
- nginx: ngx_http_log_module (формат combined)
- Apache HTTP Server 2.4: Лог файлове
- OpenAI: Преглед на ботовете на OpenAI
- Anthropic: Обхожда ли Anthropic данни от уеб и как собствениците на сайтове могат да блокират бота?
- Perplexity: ботовете на Perplexity
- Google: Проверка на ботовете на Google
- Google: Общи ботове, включително Google-Extended
- Apple: За Applebot
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Възстановяване на оригиналните IP адреси на посетителите
- Cloudflare: Perplexity използва скрити, недекларирани ботове, за да заобикаля забраните на сайтовете за обхождане
- Perplexity: Агенти или ботове? Как да разбираме AI в отворения уеб