ਆਪਣੇ ਸਰਵਰ ਲੌਗ ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਜਾਂਚੀਏ

ਪ੍ਰਕਾਸ਼ਿਤ

ਛੋਟਾ ਜਵਾਬ

ਆਪਣੇ access ਲੌਗ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਖੇਤਰ ਵਿੱਚ GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot ਅਤੇ PerplexityBot ਵਰਗੇ ਟੋਕਨ ਲੱਭੋ, ਫਿਰ ਦੇਖੋ ਕਿ ਉਨ੍ਹਾਂ ਨੂੰ ਕਿਹੜੇ ਸਥਿਤੀ ਕੋਡ ਮਿਲੇ। ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਕੁਝ ਸਾਬਤ ਨਹੀਂ ਕਰਦਾ, ਇਸ ਲਈ ਹਰ ਸਰੋਤ IP ਨੂੰ ਕੰਪਨੀ ਦੀ ਪ੍ਰਕਾਸ਼ਿਤ IP ਸੂਚੀ ਨਾਲ ਮਿਲਾਓ, ਜਾਂ Google ਅਤੇ Apple ਲਈ reverse ਅਤੇ forward DNS ਨਾਲ ਜਾਂਚੋ।

robots.txt ਦੱਸਦੀ ਹੈ ਕਿ ਤੁਸੀਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੀ ਕਰਨ ਲਈ ਕਹਿੰਦੇ ਹੋ। ਤੁਹਾਡਾ access ਲੌਗ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਅਸਲ ਵਿੱਚ ਕੀ ਹੋਇਆ: ਕਿਹੜੇ AI ਕ੍ਰੌਲਰ ਆਏ, ਉਨ੍ਹਾਂ ਨੇ ਕਿਹੜੇ ਪੰਨੇ ਮੰਗੇ, ਅਤੇ ਤੁਹਾਡੇ ਸਰਵਰ ਨੇ ਕੀ ਜਵਾਬ ਦਿੱਤਾ। ਇਹ ਤੁਹਾਡੇ ਕੋਲ ਸਭ ਤੋਂ ਸਿੱਧਾ ਸਬੂਤ ਹੈ, ਅਤੇ ਇਸ ਲਈ ਲੌਗ ਫਾਈਲਾਂ ਅਤੇ ਟਰਮੀਨਲ ਤੋਂ ਵੱਧ ਕੁਝ ਨਹੀਂ ਚਾਹੀਦਾ। ਹੇਠਲੀਆਂ ਮਿਸਾਲਾਂ combined ਲੌਗ ਫਾਰਮੈਟ ਵਰਤਦੀਆਂ ਹਨ, ਜੋ nginx ਅਤੇ Apache ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ ਵਰਤਦੇ ਹਨ।

ਇਸ ਪੰਨੇ 'ਤੇ
  1. access ਲੌਗ ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਦੀ ਵਿਜ਼ਿਟ ਕਿਹੋ ਜਿਹੀ ਦਿਸਦੀ ਹੈ?
  2. ਮੈਂ AI ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ ਵਿਜ਼ਿਟਾਂ ਕਿਵੇਂ ਗਿਣਾਂ?
  3. ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਅਸਲ ਵਿੱਚ ਕੀ ਮਿਲਿਆ?
  4. ਮੈਂ ਕਿਵੇਂ ਪੁਸ਼ਟੀ ਕਰਾਂ ਕਿ ਵਿਜ਼ਿਟ ਸੱਚਮੁੱਚ OpenAI, Anthropic ਜਾਂ Perplexity ਤੋਂ ਆਈ?
  5. ਮੈਂ Googlebot, Applebot ਅਤੇ CCBot ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਾਂ?
  6. ਨਕਲੀ AI ਕ੍ਰੌਲਰ ਕਿਹੋ ਜਿਹੇ ਦਿਸਦੇ ਹਨ?
  7. ਲੌਗ ਤੁਹਾਨੂੰ ਕੀ ਨਹੀਂ ਦੱਸ ਸਕਦੇ?

access ਲੌਗ ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਦੀ ਵਿਜ਼ਿਟ ਕਿਹੋ ਜਿਹੀ ਦਿਸਦੀ ਹੈ?

combined ਫਾਰਮੈਟ ਵਿੱਚ ਹਰ ਲਾਈਨ ਵਿੱਚ ਕਲਾਇੰਟ IP, ਸਮਾਂ, ਬੇਨਤੀ ਲਾਈਨ, ਸਥਿਤੀ ਕੋਡ, ਜਵਾਬ ਦਾ ਆਕਾਰ, referrer ਅਤੇ ਯੂਜ਼ਰ ਏਜੰਟ ਹੁੰਦੇ ਹਨ। nginx ਇਸਨੂੰ $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" ਵਜੋਂ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਅਤੇ Apache ਦੇ combined ਫਾਰਮੈਟ ਵਿੱਚ ਇਹੀ ਖੇਤਰ ਹਨ। OpenAI ਦੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਦੀ ਵਿਜ਼ਿਟ ਇਸ ਤਰ੍ਹਾਂ ਦਿਸਦੀ ਹੈ:

20.171.206.5 - - [12/Nov/2026:10:00:01 +0000] "GET /pricing HTTP/1.1" 200 5120 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"

ਲੱਭਣ ਵਾਲੇ ਟੋਕਨ ਉਹ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਕੰਪਨੀਆਂ ਵੇਰਵਾ ਦਿੰਦੀਆਂ ਹਨ: GPTBot, OAI-SearchBot ਅਤੇ ChatGPT-User (OpenAI); ClaudeBot, Claude-SearchBot ਅਤੇ Claude-User (Anthropic); PerplexityBot ਅਤੇ Perplexity-User (Perplexity); Googlebot, Applebot, meta-externalagent, meta-webindexer ਅਤੇ CCBot। ਤੁਹਾਨੂੰ Google-Extended ਜਾਂ Applebot-Extended ਕਦੇ ਨਹੀਂ ਦਿਸਣਗੇ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ Google-Extended ਦੀ ਕੋਈ ਵੱਖਰੀ ਯੂਜ਼ਰ ਏਜੰਟ ਸਤਰ ਨਹੀਂ ਹੈ, ਅਤੇ Apple ਕਹਿੰਦਾ ਹੈ ਕਿ Applebot-Extended ਕ੍ਰੌਲ ਨਹੀਂ ਕਰਦਾ; ਦੋਵੇਂ ਸਿਰਫ਼ robots.txt ਟੋਕਨ ਹਨ।

ਮੈਂ AI ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ ਵਿਜ਼ਿਟਾਂ ਕਿਵੇਂ ਗਿਣਾਂ?

ਹਰ ਲਾਈਨ ਨੂੰ ਡਬਲ ਕੋਟ ਅੱਖਰ 'ਤੇ ਵੰਡਣ ਨਾਲ ਯੂਜ਼ਰ ਏਜੰਟ ਖੇਤਰ 6 ਵਿੱਚ ਆ ਜਾਂਦਾ ਹੈ। ਸਿਰਫ਼ ਇਸ ਖੇਤਰ ਨਾਲ ਮੇਲ ਕਰਨ ਨਾਲ ਉਨ੍ਹਾਂ URLs ਤੋਂ ਗਲਤ ਨਤੀਜੇ ਨਹੀਂ ਆਉਂਦੇ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਇਤਫ਼ਾਕ ਨਾਲ ਕਿਸੇ ਬੋਟ ਦਾ ਨਾਮ ਹੋਵੇ। ਇਹ ਮੌਜੂਦਾ ਲੌਗ ਅਤੇ ਘੁੰਮਾਏ ਹੋਏ, ਸੰਕੁਚਿਤ ਲੌਗਾਂ ਵਿੱਚ ਹਰ ਕ੍ਰੌਲਰ ਦੀਆਂ ਵਿਜ਼ਿਟਾਂ ਗਿਣਦਾ ਹੈ:

zcat -f /var/log/nginx/access.log* \
  | awk -F'"' '{print $6}' \
  | grep -Eo 'GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-SearchBot|Claude-User|PerplexityBot|Perplexity-User|Googlebot|bingbot|Applebot|meta-externalagent|meta-webindexer|CCBot' \
  | sort | uniq -c | sort -rn

Apache ਲਈ path ਬਦਲੋ, ਅਕਸਰ /var/log/apache2/access.log* ਜਾਂ /var/log/httpd/access_log*। zcat -f ਸਾਦੀਆਂ ਅਤੇ gzip ਵਾਲੀਆਂ ਦੋਵੇਂ ਫਾਈਲਾਂ ਪੜ੍ਹਦਾ ਹੈ। ਜੇ ਕੋਈ ਉਮੀਦ ਵਾਲਾ ਕ੍ਰੌਲਰ ਗਾਇਬ ਹੈ, ਤਾਂ ਸਿਰਫ਼ ਇਹ ਬਲੌਕ ਦਾ ਸਬੂਤ ਨਹੀਂ: ਹੋ ਸਕਦਾ ਹੈ ਉਹ ਤੁਹਾਡੇ ਲੌਗਾਂ ਵਾਲੇ ਸਮੇਂ ਵਿੱਚ ਆਇਆ ਹੀ ਨਾ ਹੋਵੇ।

ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਅਸਲ ਵਿੱਚ ਕੀ ਮਿਲਿਆ?

ਵਿਜ਼ਿਟਾਂ ਨਾਲੋਂ ਜਵਾਬ ਜ਼ਿਆਦਾ ਅਹਿਮ ਹਨ। ਜਿਸ ਕ੍ਰੌਲਰ ਨੂੰ ਹਰ ਬੇਨਤੀ 'ਤੇ 403 ਮਿਲਦਾ ਹੈ, ਉਹ ਆਇਆ ਤਾਂ ਹੈ ਪਰ ਕੁਝ ਨਹੀਂ ਪੜ੍ਹਿਆ। ਇਹ ਕਮਾਂਡਾਂ ਸਥਿਤੀ ਕੋਡ, ਸਭ ਤੋਂ ਵੱਧ ਮੰਗੇ ਗਏ paths ਅਤੇ ਇਹ ਦਿਖਾਉਂਦੀਆਂ ਹਨ ਕਿ ਕ੍ਰੌਲਰ ਨੇ robots.txt ਲਈ ਜਾਂ ਨਹੀਂ:

# Status codes returned to PerplexityBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /PerplexityBot/ {split($3, s, " "); print s[1]}' | sort | uniq -c

# Most requested paths for OAI-SearchBot
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /OAI-SearchBot/ {split($2, r, " "); print r[2]}' | sort | uniq -c | sort -rn | head -20

# Did ClaudeBot fetch robots.txt, and what did it get?
zcat -f /var/log/nginx/access.log* | awk -F'"' '$6 ~ /ClaudeBot/ && $2 ~ /robots\.txt/ {split($3, s, " "); print s[1]}' | sort | uniq -c

ਤੁਸੀਂ ਜ਼ਿਆਦਾਤਰ 200 ਚਾਹੁੰਦੇ ਹੋ। ਬਹੁਤ ਸਾਰੇ 403 ਜਾਂ 429 ਕਿਸੇ ਫਾਇਰਵਾਲ ਨਿਯਮ ਜਾਂ rate limit ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਹਨ। robots.txt 'ਤੇ 5xx ਜਵਾਬ ਗੰਭੀਰ ਹਨ: RFC 9309 ਮੁਤਾਬਕ ਜਿਸ ਕ੍ਰੌਲਰ ਨੂੰ robots.txt ਲਈ ਸਰਵਰ ਗਲਤੀ ਮਿਲਦੀ ਹੈ, ਉਸਨੂੰ ਮੰਨਣਾ ਪੈਂਦਾ ਹੈ ਕਿ ਪੂਰੀ ਸਾਈਟ ਰੋਕੀ ਹੋਈ ਹੈ।

ਜੇ ਤੁਹਾਡੀ ਸਾਈਟ CDN ਪਿੱਛੇ ਹੈ, ਤਾਂ ਦੋ ਗੱਲਾਂ ਬਦਲ ਜਾਂਦੀਆਂ ਹਨ। CDN ਵੱਲੋਂ ਬਲੌਕ ਕੀਤੀਆਂ ਬੇਨਤੀਆਂ ਤੁਹਾਡੇ origin ਤੱਕ ਪਹੁੰਚਦੀਆਂ ਹੀ ਨਹੀਂ, ਇਸ ਲਈ ਉਹ ਉਸਦੇ ਲੌਗਾਂ ਵਿੱਚ ਬਿਲਕੁਲ ਨਹੀਂ ਦਿਸਦੀਆਂ; ਉਨ੍ਹਾਂ ਲਈ CDN ਦੇ ਆਪਣੇ security events ਦੇਖੋ। ਅਤੇ ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਵਿਜ਼ਿਟਰ ਦਾ IP ਬਹਾਲ ਨਹੀਂ ਕਰਦੇ, origin CDN ਦਾ ਪਤਾ ਲੌਗ ਕਰਦਾ ਹੈ। ਮਿਸਾਲ ਵਜੋਂ, Cloudflare ਅਸਲ IP CF-Connecting-IP ਹੈਡਰ ਵਿੱਚ ਭੇਜਦਾ ਹੈ ਅਤੇ ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ Cloudflare ਦਾ IP ਲੌਗ ਹੁੰਦਾ ਹੈ।

ਮੈਂ ਕਿਵੇਂ ਪੁਸ਼ਟੀ ਕਰਾਂ ਕਿ ਵਿਜ਼ਿਟ ਸੱਚਮੁੱਚ OpenAI, Anthropic ਜਾਂ Perplexity ਤੋਂ ਆਈ?

ਇਹ ਕੰਪਨੀਆਂ ਆਪਣੇ ਏਜੰਟਾਂ ਦੀਆਂ IP ਰੇਂਜਾਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ: OpenAI openai.com/gptbot.json, openai.com/searchbot.json ਅਤੇ openai.com/chatgpt-user.json 'ਤੇ; Anthropic claude.com/crawling/bots.json 'ਤੇ; Perplexity perplexity.ai/perplexitybot.json ਅਤੇ perplexity.ai/perplexity-user.json 'ਤੇ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਜੇ ਸਰੋਤ IP ਉਸਦੀ ਸੂਚੀ ਵਿੱਚ ਹੈ, ਤਾਂ ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕ੍ਰੌਲਰ Anthropic ਤੋਂ ਆ ਰਿਹਾ ਹੈ। ਇਨ੍ਹਾਂ ਤਿੰਨਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ reverse DNS ਪੁਸ਼ਟੀ ਦਾ ਵੇਰਵਾ ਨਹੀਂ ਦਿੰਦਾ, ਇਸ ਲਈ ਸੂਚੀਆਂ ਵਰਤੋ।

ਸਾਰੀਆਂ ਫਾਈਲਾਂ ਦਾ ਢਾਂਚਾ ਇੱਕੋ ਹੈ, ipv4Prefix ਜਾਂ ipv6Prefix ਐਂਟਰੀਆਂ ਵਾਲੀ ਇੱਕ prefixes ਸੂਚੀ, ਇਸ ਲਈ ਇੱਕ ਛੋਟੀ ਸਕ੍ਰਿਪਟ ਕਿਸੇ ਵੀ ਸੂਚੀ ਨਾਲ IP ਦੀ ਜਾਂਚ ਕਰ ਲੈਂਦੀ ਹੈ:

python3 - 20.171.206.5 https://openai.com/gptbot.json <<'EOF'
import ipaddress, json, sys, urllib.request
ip = ipaddress.ip_address(sys.argv[1])
req = urllib.request.Request(sys.argv[2], headers={"User-Agent": "log-check"})
prefixes = json.load(urllib.request.urlopen(req))["prefixes"]
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
print(ip, "listed" if any(ip in n for n in nets) else "NOT listed")
EOF

ਕਿਸੇ ਖ਼ਾਸ ਕ੍ਰੌਲਰ ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰਨ ਵਾਲੇ IPs ਦੀ ਸੂਚੀ ਲਈ, ਲੌਗ 'ਤੇ awk -F'"' '$6 ~ /GPTBot/ {split($1, a, " "); print a[1]}' ਚਲਾਓ ਅਤੇ ਨਤੀਜਾ sort | uniq -c | sort -rn ਵਿੱਚੋਂ ਲੰਘਾਓ। ਹਰ ਇੱਕ ਨੂੰ ਸੰਬੰਧਿਤ ਸੂਚੀ ਨਾਲ ਮਿਲਾਓ। ਸੂਚੀਆਂ ਬਦਲਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਪੁਰਾਣੀ ਕਾਪੀ ਰੱਖਣ ਦੀ ਥਾਂ ਹਰ ਵਾਰ ਤਾਜ਼ਾ ਲਓ।

ਮੈਂ Googlebot, Applebot ਅਤੇ CCBot ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਾਂ?

Google, Apple ਅਤੇ Common Crawl reverse ਅਤੇ forward DNS ਜਾਂਚ ਦਾ ਵੇਰਵਾ ਦਿੰਦੇ ਹਨ। IP ਦਾ hostname ਲੱਭੋ, ਉਸਦਾ ਡੋਮੇਨ ਜਾਂਚੋ, ਫਿਰ ਉਸ hostname ਨੂੰ ਲੱਭੋ ਅਤੇ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਉਹ ਉਸੇ IP ਵੱਲ ਵਾਪਸ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ:

host 66.249.66.1
# 1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
host crawl-66-249-66-1.googlebot.com
# crawl-66-249-66-1.googlebot.com has address 66.249.66.1

Google ਲਈ hostname ਕ੍ਰੌਲਰ ਮੁਤਾਬਕ googlebot.com, google.com ਜਾਂ googleusercontent.com 'ਤੇ ਖ਼ਤਮ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ; Google ਆਪਣੀਆਂ ਰੇਂਜਾਂ ਵੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, Googlebot ਦੀਆਂ common-crawlers.json ਵਿੱਚ। Apple ਲਈ ਇਹ applebot.apple.com ਵਿੱਚ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਰੇਂਜਾਂ applebot.json ਵਿੱਚ। Common Crawl ਲਈ ਇਹ crawl.commoncrawl.org ਹੇਠ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ Common Crawl ਚੇਤਾਵਨੀ ਦਿੰਦਾ ਹੈ ਕਿ ਹੋਰ ਕ੍ਰੌਲਰ ਝੂਠੇ ਤੌਰ 'ਤੇ CCBot ਨਾਮ ਵਰਤਦੇ ਹਨ।

ਨਕਲੀ AI ਕ੍ਰੌਲਰ ਕਿਹੋ ਜਿਹੇ ਦਿਸਦੇ ਹਨ?

ਸਕ੍ਰੇਪਰ ਫਿਲਟਰਾਂ ਤੋਂ ਲੰਘਣ ਲਈ ਅਕਸਰ ਕਿਸੇ ਜਾਣੇ-ਪਛਾਣੇ ਕ੍ਰੌਲਰ ਦਾ ਯੂਜ਼ਰ ਏਜੰਟ ਉਧਾਰ ਲੈਂਦੇ ਹਨ। ਆਮ ਨਿਸ਼ਾਨੀਆਂ:

ਉਲਟ ਸਮੱਸਿਆ ਵੀ ਹੈ: ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਯੂਜ਼ਰ ਏਜੰਟ ਵਰਤਣ ਵਾਲੇ ਕ੍ਰੌਲਰ ਨੂੰ ਲੌਗ ਲਾਈਨ ਤੋਂ ਪਛਾਣਿਆ ਹੀ ਨਹੀਂ ਜਾ ਸਕਦਾ। 2025 ਵਿੱਚ Cloudflare ਨੇ ਕਿਹਾ ਕਿ ਉਸਨੇ Perplexity ਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜਾਂ ਤੋਂ ਬਾਹਰਲੇ IPs ਤੋਂ, ਅਣਐਲਾਨੇ, ਬ੍ਰਾਊਜ਼ਰ ਵਰਗੇ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਨਾਲ ਕ੍ਰੌਲ ਕਰਦੇ ਦੇਖਿਆ; Perplexity ਨੇ ਇਸ ਬਿਆਨ ਨਾਲ ਅਸਹਿਮਤੀ ਜਤਾਈ ਅਤੇ ਟ੍ਰੈਫਿਕ ਦੇ ਕੁਝ ਹਿੱਸੇ ਨੂੰ ਕਿਸੇ ਤੀਜੀ ਧਿਰ ਦੀ ਸੇਵਾ ਦਾ ਦੱਸਿਆ। ਸਿਰਫ਼ ਲੌਗ ਅਜਿਹੇ ਮਾਮਲੇ ਹੱਲ ਨਹੀਂ ਕਰ ਸਕਦੇ, ਇਸੇ ਲਈ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਪੁਸ਼ਟੀ ਦੋਵਾਂ ਪਾਸਿਆਂ ਤੋਂ ਅਹਿਮ ਹੈ।

ਲੌਗ ਤੁਹਾਨੂੰ ਕੀ ਨਹੀਂ ਦੱਸ ਸਕਦੇ?

ਲੌਗ ਦਿਖਾਉਂਦੇ ਹਨ ਕਿ ਤੁਹਾਡੇ ਸਰਵਰ ਤੱਕ ਕੀ ਪਹੁੰਚਿਆ। ਉਹ ਇਹ ਨਹੀਂ ਦਿਖਾਉਂਦੇ ਕਿ ਤੁਹਾਡੇ CDN ਨੇ origin ਤੋਂ ਪਹਿਲਾਂ ਕੀ ਬਲੌਕ ਕੀਤਾ, 200 ਦੇਣ ਵਾਲੇ ਪੰਨੇ ਵਿੱਚ ਟੈਕਸਟ ਸੀ ਜਾਂ ਸਿਰਫ਼ ਸਕ੍ਰਿਪਟ ਵਾਲਾ ਖਾਲੀ ਢਾਂਚਾ, ਜਾਂ ਜੇ ਕੋਈ ਕ੍ਰੌਲਰ ਅੱਜ ਆਵੇ ਤਾਂ ਉਸਨੂੰ ਇਜਾਜ਼ਤ ਮਿਲੇਗੀ ਜਾਂ ਨਹੀਂ। ਉਹ ਸਿਰਫ਼ ਉਸ ਸਮੇਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹਨ ਜਿੰਨਾ ਤੁਸੀਂ ਰੱਖਦੇ ਹੋ, ਅਤੇ ਘੱਟ ਟ੍ਰੈਫਿਕ ਵਾਲੀਆਂ ਸਾਈਟਾਂ 'ਤੇ AI ਕ੍ਰੌਲਰ ਘੱਟ ਹੀ ਆਉਂਦੇ ਹਨ।

AISeeWhy ਖਾਤੇ ਵਿੱਚ ਤੁਸੀਂ combined ਫਾਰਮੈਟ ਵਿੱਚ access ਲੌਗ ਅੱਪਲੋਡ ਕਰ ਸਕਦੇ ਹੋ (ਸਾਦਾ ਜਾਂ .gz, 50 MB ਤੱਕ); ਇਸਦਾ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਕੇ ਇਸਨੂੰ ਮਿਟਾ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਹਰ AI ਕ੍ਰੌਲਰ ਦੀਆਂ ਬੇਨਤੀਆਂ ਉਨ੍ਹਾਂ ਦੇ ਸਥਿਤੀ ਕੋਡਾਂ ਸਮੇਤ ਗਿਣੀਆਂ ਜਾਂਦੀਆਂ ਹਨ ਅਤੇ ਕੰਪਨੀਆਂ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਜਾਂਚੀਆਂ ਜਾਂਦੀਆਂ ਹਨ।

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਮੈਨੂੰ ਆਪਣੇ ਲੌਗਾਂ ਵਿੱਚ Google-Extended ਕਿਉਂ ਨਹੀਂ ਦਿਸਦਾ?

Google ਕਹਿੰਦਾ ਹੈ ਕਿ Google-Extended ਦੀ ਕੋਈ ਵੱਖਰੀ ਯੂਜ਼ਰ ਏਜੰਟ ਸਤਰ ਨਹੀਂ ਹੈ। ਕ੍ਰੌਲਿੰਗ Google ਦੇ ਮੌਜੂਦਾ ਕ੍ਰੌਲਰ ਕਰਦੇ ਹਨ, ਅਤੇ ਟੋਕਨ ਸਿਰਫ਼ ਇਹ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ ਕਿ ਸਮੱਗਰੀ ਕਿਵੇਂ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਇਹੀ ਗੱਲ Applebot-Extended 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ, ਜਿਸ ਬਾਰੇ Apple ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ ਕ੍ਰੌਲ ਨਹੀਂ ਕਰਦਾ।

ਕੀ ਮੈਂ ਆਪਣੇ ਲੌਗਾਂ ਵਿਚਲੇ ਯੂਜ਼ਰ ਏਜੰਟ 'ਤੇ ਭਰੋਸਾ ਕਰ ਸਕਦਾ ਹਾਂ?

ਨਹੀਂ। ਕੋਈ ਵੀ ਕੋਈ ਵੀ ਯੂਜ਼ਰ ਏਜੰਟ ਭੇਜ ਸਕਦਾ ਹੈ। ਇਸਨੂੰ ਇੱਕ ਦਾਅਵਾ ਸਮਝੋ ਅਤੇ ਕੰਪਨੀ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ, ਜਾਂ Google, Apple ਅਤੇ Common Crawl ਲਈ reverse ਅਤੇ forward DNS lookup ਨਾਲ ਪੁਸ਼ਟੀ ਕਰੋ।

ਮੇਰੇ ਲੌਗਾਂ ਵਿੱਚ ਕੋਈ AI ਕ੍ਰੌਲਰ ਵਿਜ਼ਿਟ ਨਹੀਂ ਹੈ। ਕੀ ਮੈਂ ਬਲੌਕ ਹਾਂ?

ਜ਼ਰੂਰੀ ਨਹੀਂ। ਹੋ ਸਕਦਾ ਹੈ ਕ੍ਰੌਲਰ ਅਜੇ ਆਇਆ ਨਾ ਹੋਵੇ, ਤੁਹਾਡੇ CDN ਨੇ ਉਸਨੂੰ origin ਤੋਂ ਪਹਿਲਾਂ ਬਲੌਕ ਕਰ ਦਿੱਤਾ ਹੋਵੇ, ਜਾਂ ਤੁਹਾਡੇ ਲੌਗ ਸਿਰਫ਼ CDN ਦੇ IP ਪਤੇ ਦਰਜ ਕਰਦੇ ਹੋਣ। ਆਪਣੇ CDN ਦੇ security events ਦੇਖੋ ਅਤੇ ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਪੰਨਾ ਟੈਸਟ ਕਰੋ।

ਕੀ ChatGPT-User ਦਾ ਟ੍ਰੈਫਿਕ ਕ੍ਰੌਲਰ ਹੈ?

OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ChatGPT-User ਕੁਝ ਯੂਜ਼ਰ ਕਾਰਵਾਈਆਂ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਵੈੱਬ ਨੂੰ ਸਵੈਚਲਿਤ ਢੰਗ ਨਾਲ ਕ੍ਰੌਲ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ। ਇਸਦੀਆਂ ਵਿਜ਼ਿਟਾਂ ਆਮ ਤੌਰ 'ਤੇ ਉਦੋਂ ਹੁੰਦੀਆਂ ਹਨ ਜਦੋਂ ਕੋਈ ਵਿਅਕਤੀ ChatGPT ਤੋਂ ਕਿਸੇ ਪੰਨੇ ਬਾਰੇ ਪੁੱਛਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਥੋੜ੍ਹੀ ਗਿਣਤੀ ਵਿੱਚ ਹੁੰਦੀਆਂ ਹਨ।

ਸਰੋਤ

ਹੋਰ ਲੇਖ