సర్వర్ లాగ్లలో AI క్రాలర్లను ఎలా తనిఖీ చేయాలి
మీ యాక్సెస్ లాగ్లోని యూజర్ ఏజెంట్ ఫీల్డ్లో GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, PerplexityBot వంటి టోకెన్ల కోసం వెతకండి, తర్వాత వాటికి వచ్చిన స్టేటస్ కోడ్లను చూడండి. యూజర్ ఏజెంట్ ఒక్కటే దేన్నీ రుజువు చేయదు, కాబట్టి ప్రతి సోర్స్ IPని సంస్థ ప్రచురించిన IP జాబితాతో, లేదా Google, Apple కోసం reverse, forward DNSతో తనిఖీ చేయండి.
క్రాలర్లు ఏమి చేయాలని మీరు కోరుతున్నారో robots.txt చెబుతుంది. నిజంగా ఏమి జరిగిందో మీ యాక్సెస్ లాగ్ చూపిస్తుంది: ఏ AI క్రాలర్లు వచ్చాయి, అవి ఏ పేజీలను అభ్యర్థించాయి, మీ సర్వర్ ఏమి జవాబిచ్చింది. మీ దగ్గర ఉన్న అత్యంత ప్రత్యక్ష ఆధారం ఇదే, దీనికి లాగ్ ఫైల్లు, ఒక టెర్మినల్ తప్ప మరేమీ అవసరం లేదు. కింది ఉదాహరణలు nginx, Apache డిఫాల్ట్గా ఉపయోగించే combined లాగ్ ఫార్మాట్ను ఉపయోగిస్తాయి.
ఈ పేజీలో
- యాక్సెస్ లాగ్లో AI క్రాలర్ సందర్శన ఎలా కనిపిస్తుంది?
- AI క్రాలర్ సందర్శనలను ఎలా లెక్కించాలి?
- ప్రతి క్రాలర్కు నిజంగా ఏమి అందింది?
- ఒక సందర్శన నిజంగా OpenAI, Anthropic లేదా Perplexity నుంచే వచ్చిందని ఎలా ధృవీకరించాలి?
- Googlebot, Applebot, CCBotలను ఎలా ధృవీకరించాలి?
- నకిలీ AI క్రాలర్లు ఎలా కనిపిస్తాయి?
- లాగ్లు మీకు ఏమి చెప్పలేవు?
యాక్సెస్ లాగ్లో AI క్రాలర్ సందర్శన ఎలా కనిపిస్తుంది?
combined ఫార్మాట్లో ప్రతి లైన్లో క్లయింట్ IP, సమయం, అభ్యర్థన లైన్, స్టేటస్ కోడ్, ప్రతిస్పందన పరిమాణం, రెఫరర్, యూజర్ ఏజెంట్ ఉంటాయి. nginx దాన్ని $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"గా నిర్వచిస్తుంది, Apache combined ఫార్మాట్లో కూడా ఇవే ఫీల్డ్లు ఉంటాయి. OpenAI ట్రైనింగ్ క్రాలర్ సందర్శన ఇలా కనిపిస్తుంది:
20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" వెతకాల్సిన టోకెన్లు సంస్థలు డాక్యుమెంట్ చేసినవే: GPTBot, OAI-SearchBot, ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot, Claude-User (Anthropic); PerplexityBot, Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer, CCBot. మీకు Google-Extended లేదా Applebot-Extended ఎప్పుడూ కనిపించవు. Google-Extendedకు ప్రత్యేక యూజర్ ఏజెంట్ స్ట్రింగ్ లేదని Google, Applebot-Extended క్రాల్ చేయదని Apple చెబుతాయి; రెండూ కేవలం robots.txt టోకెన్లే.
AI క్రాలర్ సందర్శనలను ఎలా లెక్కించాలి?
ప్రతి లైన్ను డబుల్ కోట్ అక్షరం దగ్గర విభజిస్తే యూజర్ ఏజెంట్ ఫీల్డ్ 6లోకి వస్తుంది. ఆ ఫీల్డ్ను మాత్రమే సరిపోలిస్తే, అనుకోకుండా బాట్ పేరు ఉన్న URLల వల్ల వచ్చే తప్పుడు ఫలితాలు రావు. ఇది ప్రస్తుత లాగ్లో, రొటేట్ చేసి కంప్రెస్ చేసిన లాగ్లలో ఒక్కో క్రాలర్ సందర్శనలను లెక్కిస్తుంది:
zcat -f /var/log/nginx/access.log* \
| awk -F'"' '{print $6}' \
| grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
| sort | uniq -c | sort -rn Apache కోసం పాత్ను మార్చండి, తరచుగా /var/log/apache2/access.log* లేదా /var/log/httpd/access_log*. zcat -f సాధారణ ఫైల్లను, gzip ఫైల్లను రెండింటినీ చదువుతుంది. మీరు ఆశించిన క్రాలర్ కనిపించకపోతే, అది మాత్రమే బ్లాక్కు రుజువు కాదు: మీ లాగ్లు కవర్ చేసే కాలంలో అది సందర్శించకపోయి ఉండవచ్చు.
ప్రతి క్రాలర్కు నిజంగా ఏమి అందింది?
సందర్శనల కంటే జవాబులే ముఖ్యం. ప్రతి అభ్యర్థనకు 403 వచ్చే క్రాలర్ సందర్శించింది కానీ ఏమీ చదవలేదు. ఈ కమాండ్లు స్టేటస్ కోడ్లను, ఎక్కువగా అభ్యర్థించిన పాత్లను, క్రాలర్ robots.txtను తెచ్చిందో లేదో చూపిస్తాయి:
# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c
# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20
# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c ఎక్కువగా 200లు ఉంటే మంచిది. చాలా 403లు లేదా 429లు ఫైర్వాల్ నియమాన్ని లేదా రేట్ లిమిట్ను సూచిస్తాయి. robots.txtకు 5xx జవాబులు తీవ్రమైనవి: RFC 9309 ప్రకారం robots.txtకు సర్వర్ ఎర్రర్ వచ్చిన క్రాలర్ మొత్తం సైట్ నిషేధించబడిందని భావించాలి.
మీ సైట్ CDN వెనుక ఉంటే, రెండు విషయాలు మారుతాయి. CDN బ్లాక్ చేసిన అభ్యర్థనలు మీ ఆరిజిన్కు చేరవు, కాబట్టి అవి దాని లాగ్లలో అసలు కనిపించవు; బదులుగా CDN సొంత సెక్యూరిటీ ఈవెంట్లను చూడండి. అలాగే మీరు సందర్శకుడి IPని పునరుద్ధరించకపోతే, ఆరిజిన్ CDN చిరునామాను లాగ్ చేస్తుంది. ఉదాహరణకు, Cloudflare అసలు IPని CF-Connecting-IP హెడర్లో పంపుతుంది, డిఫాల్ట్గా Cloudflare IP లాగ్ అవుతుంది.
ఒక సందర్శన నిజంగా OpenAI, Anthropic లేదా Perplexity నుంచే వచ్చిందని ఎలా ధృవీకరించాలి?
ఈ సంస్థలు తమ ఏజెంట్లు ఉపయోగించే IP పరిధులను ప్రచురిస్తాయి: OpenAI openai.com/gptbot.json, openai.com/searchbot.json, openai.com/chatgpt-user.jsonలో; Anthropic claude.com/crawling/bots.jsonలో; Perplexity perplexity.ai/perplexitybot.json, perplexity.ai/perplexity-user.jsonలో. తన జాబితాలో ఉన్న సోర్స్ IP క్రాలర్ Anthropic నుంచే వస్తోందని సూచిస్తుందని Anthropic చెబుతుంది. ఈ మూడింటిలో ఏదీ reverse DNS ధృవీకరణను డాక్యుమెంట్ చేయదు, కాబట్టి జాబితాలనే ఉపయోగించండి.
ఈ ఫైల్లన్నీ ఒకే ఆకృతిలో ఉంటాయి, ipv4Prefix లేదా ipv6Prefix ఎంట్రీలతో కూడిన prefixes జాబితా, కాబట్టి ఒక చిన్న స్క్రిప్ట్ ఏ IPనైనా వాటిలో దేనితోనైనా తనిఖీ చేయగలదు:
python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF ఒక క్రాలర్గా చెప్పుకున్న IPలను జాబితా చేయడానికి, లాగ్పై awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' నడిపి, దాన్ని sort | uniq -c | sort -rn గుండా పంపండి. ప్రతిదాన్ని సరిపోలే జాబితాతో తనిఖీ చేయండి. జాబితాలు మారుతుంటాయి, కాబట్టి పాత కాపీని ఉంచుకోకుండా ప్రతిసారీ తాజాగా తెచ్చుకోండి.
Googlebot, Applebot, CCBotలను ఎలా ధృవీకరించాలి?
Google, Apple, Common Crawl reverse, forward DNS తనిఖీని డాక్యుమెంట్ చేస్తాయి. IP హోస్ట్నేమ్ను కనుగొని, దాని డొమైన్ను తనిఖీ చేసి, ఆ హోస్ట్నేమ్ను మళ్లీ లుకప్ చేసి అది అదే IPని సూచిస్తోందని నిర్ధారించుకోండి:
host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1 Google కోసం, క్రాలర్ను బట్టి హోస్ట్నేమ్ googlebot.com, google.com లేదా googleusercontent.comతో ముగియాలి; Google తన పరిధులను కూడా ప్రచురిస్తుంది, Googlebot పరిధులు common-crawlers.jsonలో ఉంటాయి. Apple కోసం అది applebot.apple.comలో ఉండాలి, పరిధులు applebot.jsonలో. Common Crawl కోసం అది crawl.commoncrawl.org కింద ఉండాలి, ఇతర క్రాలర్లు CCBot పేరును తప్పుగా వాడుకుంటాయని Common Crawl హెచ్చరిస్తుంది.
నకిలీ AI క్రాలర్లు ఎలా కనిపిస్తాయి?
ఫిల్టర్లను దాటడానికి స్క్రేపర్లు తరచుగా పేరున్న క్రాలర్ యూజర్ ఏజెంట్ను అరువు తెచ్చుకుంటాయి. సాధారణ సంకేతాలు:
- యూజర్ ఏజెంట్ ఒక క్రాలర్ పేరు చెబుతుంది, కానీ IP ఆ సంస్థ ప్రచురించిన జాబితాలో లేదు, లేదా దాని reverse DNS సరిపోలడం లేదు.
- సోర్స్ ఒక రెసిడెన్షియల్ నెట్వర్క్ లేదా ఆ సంస్థ పేర్కొనని క్లౌడ్ ప్రొవైడర్.
- క్లయింట్ ఎప్పుడూ robots.txtను అభ్యర్థించదు, లేదా ఆ క్రాలర్కు robots.txt నిషేధించిన పాత్లను అభ్యర్థిస్తుంది.
- అభ్యర్థనల వేగం లేదా తీరు అదే పేరుతో వచ్చే ధృవీకరించిన ట్రాఫిక్ నుంచి తీవ్రంగా భిన్నంగా ఉంటుంది, ఉదాహరణకు సెర్చ్ లేదా లాగిన్ ఎండ్పాయింట్లపై ఒక్కసారిగా వచ్చే అభ్యర్థనల వెల్లువ.
వ్యతిరేక సమస్య కూడా ఉంది: సాధారణ బ్రౌజర్ యూజర్ ఏజెంట్ను ఉపయోగించే క్రాలర్ను లాగ్ లైన్ నుంచి అసలు గుర్తించలేం. 2025లో, Perplexity తన ప్రచురించిన పరిధుల బయటి IPల నుంచి ప్రకటించని, బ్రౌజర్ లాంటి యూజర్ ఏజెంట్లతో క్రాల్ చేయడాన్ని గమనించినట్లు Cloudflare చెప్పింది; Perplexity ఆ కథనాన్ని తిరస్కరించి, ట్రాఫిక్లో కొంత భాగం మూడో పక్ష సేవదని పేర్కొంది. ఇలాంటి సందర్భాలను లాగ్లు మాత్రమే తేల్చలేవు, అందుకే ప్రచురించిన IP పరిధుల ద్వారా ధృవీకరణ రెండు దిశల్లోనూ ముఖ్యం.
లాగ్లు మీకు ఏమి చెప్పలేవు?
మీ సర్వర్కు ఏమి చేరిందో లాగ్లు చూపిస్తాయి. ఆరిజిన్కు ముందే మీ CDN ఏమి బ్లాక్ చేసిందో, 200 ఇచ్చిన పేజీలో టెక్స్ట్ ఉందా లేక స్క్రిప్ట్ షెల్ మాత్రమే ఉందా, ఈ రోజు ఒక క్రాలర్ వస్తే దానికి అనుమతి ఉంటుందా అనేవి అవి చూపించవు. అవి మీరు ఉంచుకునే కాలాన్ని మాత్రమే కవర్ చేస్తాయి, తక్కువ ట్రాఫిక్ ఉన్న సైట్లకు AI క్రాలర్లు అరుదుగా రావచ్చు.
AISeeWhy ఖాతాలో మీరు combined ఫార్మాట్లోని యాక్సెస్ లాగ్ను (సాధారణ ఫైల్ లేదా .gz, 50 MB వరకు) అప్లోడ్ చేయవచ్చు; అది విశ్లేషించబడి తొలగించబడుతుంది, ప్రతి AI క్రాలర్ అభ్యర్థనలు వాటి స్టేటస్ కోడ్లతో లెక్కించబడి, సంస్థలు ప్రచురించే IP పరిధులతో తనిఖీ చేయబడతాయి.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
నా లాగ్లలో Google-Extended ఎందుకు కనిపించదు?
Google-Extendedకు ప్రత్యేక యూజర్ ఏజెంట్ స్ట్రింగ్ లేదని Google చెబుతుంది. క్రాలింగ్ Google ప్రస్తుత క్రాలర్లే చేస్తాయి, ఈ టోకెన్ కంటెంట్ను ఎలా ఉపయోగించవచ్చో మాత్రమే నియంత్రిస్తుంది. Applebot-Extendedకు కూడా ఇదే వర్తిస్తుంది, అది క్రాల్ చేయదని Apple చెబుతుంది.
నా లాగ్లలోని యూజర్ ఏజెంట్ను నమ్మవచ్చా?
లేదు. ఎవరైనా ఏ యూజర్ ఏజెంట్నైనా పంపవచ్చు. దాన్ని ఒక వాదనగా పరిగణించి, సంస్థ ప్రచురించిన IP పరిధులతో, లేదా Google, Apple, Common Crawl కోసం reverse, forward DNS లుకప్తో నిర్ధారించండి.
నా లాగ్లలో AI క్రాలర్ సందర్శనలు లేవు. నేను బ్లాక్ అయ్యానా?
తప్పనిసరిగా కాదు. క్రాలర్ ఇంకా సందర్శించకపోయి ఉండవచ్చు, మీ CDN దాన్ని ఆరిజిన్కు ముందే బ్లాక్ చేసి ఉండవచ్చు, లేదా మీ లాగ్లు CDN IP చిరునామాలను మాత్రమే నమోదు చేస్తుండవచ్చు. మీ CDN సెక్యూరిటీ ఈవెంట్లను చూసి, ప్రతి క్రాలర్ యూజర్ ఏజెంట్తో పేజీని పరీక్షించండి.
ChatGPT-User ట్రాఫిక్ క్రాలరా?
ChatGPT-User కొన్ని యూజర్ చర్యలకు ఉపయోగపడుతుందని, వెబ్ను ఆటోమేటిక్గా క్రాల్ చేయడానికి ఉపయోగించబడదని OpenAI చెబుతుంది. దాని సందర్శనలు సాధారణంగా ఎవరైనా ChatGPTని ఒక పేజీ గురించి అడిగిన తర్వాత వస్తాయి, కాబట్టి అవి తక్కువ సంఖ్యలో ఉంటాయి.
మూలాలు
- nginx: ngx_http_log_module (combined లాగ్ ఫార్మాట్)
- Apache HTTP Server 2.4: లాగ్ ఫైల్లు
- OpenAI: OpenAI క్రాలర్ల అవలోకనం
- Anthropic: Anthropic వెబ్ నుంచి డేటాను క్రాల్ చేస్తుందా, సైట్ యజమానులు ఆ క్రాలర్ను ఎలా బ్లాక్ చేయవచ్చు?
- Perplexity: Perplexity క్రాలర్లు
- Google: Google క్రాలర్లు, ఫెచర్లను ధృవీకరించడం
- Google: Google-Extendedతో సహా సాధారణ క్రాలర్లు
- Apple: Applebot గురించి
- Common Crawl: CCBot
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: సందర్శకుల అసలు IPలను పునరుద్ధరించడం
- Cloudflare: వెబ్సైట్ no-crawl ఆదేశాలను తప్పించుకోవడానికి Perplexity రహస్య, ప్రకటించని క్రాలర్లను ఉపయోగిస్తోంది
- Perplexity: ఏజెంట్లా, బాట్లా? ఓపెన్ వెబ్లో AIని అర్థం చేసుకోవడం