Сервер журналдарынан ЖИ краулерлерін қалай тексеруге болады

Жарияланды

Қысқа жауап

Access журналының user agent өрісінен GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot және PerplexityBot сияқты токендерді іздеп, олар алған статус кодтарын қараңыз. User agent өз алдына ештеңені дәлелдемейді, сондықтан әр бастапқы IP-ді жеткізуші жариялаған IP тізімімен, ал Google мен Apple үшін reverse және forward DNS арқылы тексеріңіз.

robots.txt краулерлерден не сұрайтыныңызды айтады. Access журналы шын мәнінде не болғанын көрсетеді: қай ЖИ краулерлері келді, қай беттерді сұрады және серверіңіз не деп жауап берді. Бұл қолыңыздағы ең тікелей дәлел, және оған журнал файлдары мен терминалдан басқа ештеңе керек емес. Төмендегі мысалдар nginx пен Apache әдепкі бойынша пайдаланатын combined журнал форматын қолданады.

Осы бетте
  1. Access журналында ЖИ краулерінің кіруі қалай көрінеді?
  2. ЖИ краулерлерінің кірулерін қалай санауға болады?
  3. Әр краулер шын мәнінде не алды?
  4. Кіру шынымен OpenAI, Anthropic немесе Perplexity-ден келгенін қалай растауға болады?
  5. Googlebot, Applebot және CCBot-ты қалай растауға болады?
  6. Жалған ЖИ краулерлері қалай көрінеді?
  7. Журналдар нені көрсете алмайды?

Access журналында ЖИ краулерінің кіруі қалай көрінеді?

Combined форматында әр жолда клиенттің IP мекенжайы, уақыт, сұрау жолы, статус коды, жауап көлемі, referrer және user agent болады. nginx оны $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" деп анықтайды, ал Apache-тың combined форматында да сол өрістер бар. OpenAI оқыту краулерінің кіруі мынадай болады:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

Іздеу керек токендер — жеткізушілер құжаттайтындар: GPTBot, OAI-SearchBot және ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot және Claude-User (Anthropic); PerplexityBot және Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer және CCBot. Google-Extended немесе Applebot-Extended агенттерін ешқашан көрмейсіз. Google Google-Extended үшін бөлек user agent жолы жоқ дейді, ал Apple Applebot-Extended краулинг жасамайды дейді; екеуі де тек robots.txt токендері.

ЖИ краулерлерінің кірулерін қалай санауға болады?

Әр жолды қос тырнақша таңбасы бойынша бөлгенде user agent 6-өріске түседі. Тек сол өрісті сәйкестендіру URL-ында кездейсоқ бот атауы бар жолдардан жалған сәйкестіктерді болдырмайды. Мына команда ағымдағы журналдағы және ротацияланған, сығылған журналдардағы кірулерді краулер бойынша санайды:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache үшін жолды өзгертіңіз, көбіне /var/log/apache2/access.log* немесе /var/log/httpd/access_log*. zcat -f қарапайым файлдарды да, gzip файлдарын да оқиды. Күткен краулеріңіз жоқ болса, бұл өз алдына бұғаттаудың дәлелі емес: ол журналдарыңыз қамтитын кезеңде жай ғана келмеген болуы мүмкін.

Әр краулер шын мәнінде не алды?

Кірулерден гөрі жауаптар маңызды. Әр сұрауға 403 алатын краулер келген, бірақ ештеңе оқымаған. Мына командалар статус кодтарын, ең көп сұралған жолдарды және краулердің robots.txt алған-алмағанын көрсетеді:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

Негізінен 200 болғаны жақсы. Көп 403 немесе 429 файрвол ережесін немесе rate limit-ті көрсетеді. robots.txt-ке 5xx жауаптары — күрделі мәселе: RFC 9309 бойынша robots.txt үшін сервер қатесін алған краулер бүкіл сайтқа тыйым салынған деп санауы керек.

Сайтыңыз CDN артында тұрса, екі нәрсе өзгереді. CDN бұғаттаған сұраулар бастапқы серверге ешқашан жетпейді, сондықтан оның журналдарында мүлде көрінбейді; оның орнына CDN-нің өз қауіпсіздік оқиғаларын тексеріңіз. Сондай-ақ келушінің IP мекенжайын қалпына келтірмесеңіз, бастапқы сервер CDN мекенжайын жазады. Мысалы, Cloudflare бастапқы IP-ді CF-Connecting-IP header-інде жібереді және әдепкі бойынша журналға Cloudflare IP-і жазылады.

Кіру шынымен OpenAI, Anthropic немесе Perplexity-ден келгенін қалай растауға болады?

Бұл жеткізушілер агенттері пайдаланатын IP ауқымдарын жариялайды: OpenAI — openai.com/gptbot.json, openai.com/searchbot.json және openai.com/chatgpt-user.json; Anthropic — claude.com/crawling/bots.json; Perplexity — perplexity.ai/perplexitybot.json және perplexity.ai/perplexity-user.json. Anthropic бастапқы IP оның тізімінде болса, краулер Anthropic-тен келе жатқанын білдіреді дейді. Бұл үшеуінің ешқайсысы reverse DNS арқылы растауды құжаттамайды, сондықтан тізімдерді пайдаланыңыз.

Файлдардың пішіні бірдей — ipv4Prefix немесе ipv6Prefix жазбаларынан тұратын prefixes тізімі, сондықтан бір шағын скрипт IP-ді олардың кез келгенімен тексереді:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

Белгілі бір краулер атын пайдаланған IP-лерді тізімдеу үшін журналға awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' іске қосып, нәтижені sort | uniq -c | sort -rn арқылы өткізіңіз. Әрқайсысын сәйкес тізіммен тексеріңіз. Тізімдер өзгереді, сондықтан ескі көшірмені сақтамай, оларды әр жолы жаңадан алыңыз.

Googlebot, Applebot және CCBot-ты қалай растауға болады?

Google, Apple және Common Crawl reverse және forward DNS тексеруін құжаттайды. IP-дің хост атын анықтап, оның доменін тексеріңіз, содан кейін сол хост атын іздеп, оның сол IP-ге қайта сілтейтінін растаңыз:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google үшін хост атауы краулерге байланысты googlebot.com, google.com немесе googleusercontent.com деп аяқталуы керек; Google өз ауқымдарын да жариялайды, Googlebot — common-crawlers.json ішінде. Apple үшін ол applebot.apple.com ішінде болуы керек, ауқымдар — applebot.json ішінде. Common Crawl үшін ол crawl.commoncrawl.org астында болуы керек, және Common Crawl басқа краулерлер CCBot атын жалған пайдаланатынын ескертеді.

Жалған ЖИ краулерлері қалай көрінеді?

Скрейперлер сүзгілерден өту үшін белгілі краулердің user agent атын жиі ұрлайды. Әдеттегі белгілері:

Кері мәселе де бар: қарапайым браузер user agent-ін пайдаланатын краулерді журнал жолынан мүлде анықтау мүмкін емес. 2025 жылы Cloudflare Perplexity-дің жарияланған ауқымдарынан тыс IP-лерден жарияланбаған, браузерге ұқсас user agent-термен краулинг жасағанын байқағанын айтты; Perplexity бұл сипаттамамен келіспей, трафиктің бір бөлігін үшінші тарап қызметіне жатқызды. Мұндай жағдайларды тек журналдар шеше алмайды, сондықтан жарияланған IP ауқымдары бойынша растау екі бағытта да маңызды.

Журналдар нені көрсете алмайды?

Журналдар серверіңізге не жеткенін көрсетеді. Олар CDN бастапқы серверге дейін нені бұғаттағанын, 200 қайтарған бетте мәтін болды ма, әлде тек скрипт қабығы ма, немесе краулер бүгін келсе өткізіле ме — мұны көрсетпейді. Сондай-ақ олар тек өзіңіз сақтайтын кезеңді қамтиды, ал трафигі аз сайттарға ЖИ краулерлері сирек келуі мүмкін.

AISeeWhy аккаунтында combined форматындағы access журналын жүктей аласыз (қарапайым немесе .gz, 50 MB дейін); ол талданады да, жойылады, ал әр ЖИ краулерінің сұраулары статус кодтарымен саналып, жеткізушілер жариялайтын IP ауқымдарымен тексеріледі.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Неге журналдарымда Google-Extended көрінбейді?

Google Google-Extended үшін бөлек user agent жолы жоқ дейді. Краулингті Google-дың бар краулерлері жасайды, ал токен тек мазмұнды қалай пайдалануға болатынын басқарады. Дәл осы Applebot-Extended агентіне де қатысты, Apple оның краулинг жасамайтынын айтады.

Журналдағы user agent-ке сенуге бола ма?

Жоқ. Кез келген адам кез келген user agent жібере алады. Оны мәлімдеме ретінде қарап, жеткізушінің жарияланған IP ауқымдарымен немесе Google, Apple және Common Crawl үшін reverse және forward DNS арқылы растаңыз.

Журналдарымда ЖИ краулерлерінің кірулері жоқ. Мен бұғатталдым ба?

Міндетті түрде емес. Краулер әлі келмеген болуы, CDN оны бастапқы серверге дейін бұғаттаған болуы немесе журналдарыңыз тек CDN IP мекенжайларын жазатын болуы мүмкін. CDN қауіпсіздік оқиғаларын тексеріп, бетті әр краулердің user agent атымен сынаңыз.

ChatGPT-User трафигі краулер ме?

OpenAI ChatGPT-User белгілі бір пайдаланушы әрекеттері үшін қолданылатынын және вебті автоматты түрде краулинг жасауға пайдаланылмайтынын айтады. Оның кірулері әдетте адам ChatGPT-ден бет туралы сұрағаннан кейін болады, сондықтан олар аз мөлшерде келеді.

Дереккөздер

Басқа мақалалар