AI క్రాలర్ యూజర్ ఏజెంట్‌లు, IP పరిధులు: GPTBot, ClaudeBot, PerplexityBot, మరిన్ని

ప్రచురించినది

చిన్న జవాబు

GPTBot GPTBot/1.4; +https://openai.com/gptbot ఉన్న యూజర్ ఏజెంట్‌తో తనను తాను గుర్తిస్తుంది, OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Common Crawl తమ క్రాలర్‌లు ఉపయోగించే IP పరిధుల JSON జాబితాను ప్రచురిస్తాయి. రెండూ సరిపోలితేనే అభ్యర్థన నిజమైనది: యూజర్ ఏజెంట్ క్రాలర్ పేరు చెప్పాలి, మూల IP ఆ కంపెనీ జాబితాలో ఉండాలి, లేదా Googlebot, bingbot, Applebot, CCBot కోసం reverse, forward DNS తనిఖీలో పాస్ కావాలి. యూజర్ ఏజెంట్ ఒక్కటే ఏమీ నిరూపించదు, ఎందుకంటే ఎవరైనా దాన్ని పంపవచ్చు.

మీ లాగ్‌లలో GPTBot లేదా ClaudeBot కనిపించినప్పుడు, లేదా AI సెర్చ్ క్రాలర్‌లను లోపలికి అనుమతించే ఫైర్‌వాల్ రూల్ కావాలనుకున్నప్పుడు, మీకు రెండు విషయాలు కావాలి: ప్రతి క్రాలర్ పంపే ఖచ్చితమైన స్ట్రింగ్, అభ్యర్థన అది చెప్పుకునే కంపెనీ నుంచే వచ్చిందని నిరూపించే మార్గం. ప్రతి కంపెనీ ఈరోజు ప్రచురిస్తున్న స్ట్రింగ్‌లు, ప్రతిదానికి అధికారిక IP జాబితా లేదా DNS పద్ధతి, ఒక చిరునామాను తనిఖీ చేయడానికి నడపగల రెండు స్క్రిప్ట్‌లు కింద ఉన్నాయి.

ఈ పేజీలో
  1. GPTBot, ClaudeBot, PerplexityBot, ఇతర AI క్రాలర్‌ల యూజర్ ఏజెంట్ స్ట్రింగ్‌లు ఏమిటి?
  2. ఏ క్రాలర్ ఏమి చేస్తుంది, ఏ పేర్లు కేవలం robots.txt టోకెన్‌లు?
  3. AI క్రాలర్ కంపెనీలు తమ IP పరిధులను ఎక్కడ ప్రచురిస్తాయి?
  4. IP చిరునామాను అధికారిక క్రాలర్ జాబితాలతో ఎలా తనిఖీ చేయాలి?
  5. Googlebot, bingbot లేదా Applebotను reverse DNSతో ఎలా ధృవీకరించాలి?
  6. GPTBotను గుర్తించడానికి యూజర్ ఏజెంట్ తనిఖీ ఎందుకు సరిపోదు?
  7. AI క్రాలర్ ట్రాఫిక్‌ను ధృవీకరించడంలో AISeeWhy ఎలా సహాయపడుతుంది?

GPTBot, ClaudeBot, PerplexityBot, ఇతర AI క్రాలర్‌ల యూజర్ ఏజెంట్ స్ట్రింగ్‌లు ఏమిటి?

ఇవి కంపెనీల సొంత డాక్యుమెంటేషన్ నుంచి కాపీ చేసినవి. వెర్షన్ నంబర్‌లు మారవచ్చని OpenAI, Perplexity చెబుతాయి, W.X.Y.Z ఉన్న చోట Google, Microsoft ప్రస్తుత బ్రౌజర్ వెర్షన్‌ను పెడతాయి, బ్రౌజర్ భాగాన్ని అప్పుడప్పుడు అప్‌డేట్ చేస్తామని Apple చెబుతుంది. మొత్తం స్ట్రింగ్‌పై కాకుండా GPTBot లేదా bingbot వంటి క్రాలర్ టోకెన్‌పై మ్యాచ్ చేయండి.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic సహాయ వ్యాసం ClaudeBot, Claude-SearchBot, Claude-Userను పేర్కొంటుంది కానీ పూర్తి యూజర్ ఏజెంట్ స్ట్రింగ్‌లను ఇవ్వదు, కాబట్టి ఆ టోకెన్‌లపై మ్యాచ్ చేయండి. Meta క్రాలర్ పేజీ చూపిన టోకెన్‌లతో మొదలై, దాని డాక్యుమెంటేషన్ లింక్‌తో కొనసాగే స్ట్రింగ్‌లను జాబితా చేస్తుంది, మీ లాగ్‌లలో కనిపించే స్ట్రింగ్‌లు కొంచెం మారవచ్చని చెబుతుంది.

ఏ క్రాలర్ ఏమి చేస్తుంది, ఏ పేర్లు కేవలం robots.txt టోకెన్‌లు?

రెండు పేర్లు మీ లాగ్‌లలో ఎప్పుడూ కనిపించవు. Google-Extended అనేది Google క్రాల్ చేసిన కంటెంట్‌ను Gemini మోడల్‌లకు, grounding కోసం ఉపయోగించవచ్చో నియంత్రించే robots.txt టోకెన్; ఇది Google Searchలో చేరికను ప్రభావితం చేయదని Google చెబుతుంది. Applebot-Extended, Apple మాటల్లో, వెబ్‌పేజీలను క్రాల్ చేయని ద్వితీయ యూజర్ ఏజెంట్; Applebot సేకరించిన డేటాను Apple ఎలా ఉపయోగించవచ్చో మాత్రమే నిర్ణయిస్తుంది. వీటిలో ఏదో ఒకటిగా చెప్పుకునే అభ్యర్థన నిజమైనది కాదు.

AI క్రాలర్ కంపెనీలు తమ IP పరిధులను ఎక్కడ ప్రచురిస్తాయి?

చాలా కంపెనీలు ఒకే ఆకారంలో JSON ఫైల్‌ను ప్రచురిస్తాయి: ipv4Prefix లేదా ipv6Prefix ఉన్న ఆబ్జెక్ట్‌ల prefixes అర్రే, అది ఎంత తాజాదో చెప్పే creationTime.

IP చిరునామాను అధికారిక క్రాలర్ జాబితాలతో ఎలా తనిఖీ చేయాలి?

ఈ స్క్రిప్ట్ ప్రతి జాబితాను లోడ్ చేసి, ఆ చిరునామా ఏ జాబితాలో ఉందో చెబుతుంది. దీనికి Python 3 మాత్రమే కావాలి, IPv4, IPv6 రెండింటినీ నిర్వహిస్తుంది.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

జాబితాలు మారుతాయి. ప్రతి ఫైల్‌కు దాని సొంత creationTime ఉంటుంది, మీ ఫైర్‌వాల్ రూల్స్ అప్‌డేట్‌లను ఆటోమేట్ చేయమని Perplexity సిఫార్సు చేస్తుంది, తన జాబితాను రోజూ రిఫ్రెష్ చేయమని Bing అడుగుతుంది. ఫైర్‌వాల్‌లో జాబితాలను ఉపయోగిస్తే, ఒకసారి కాపీ చేయడానికి బదులు షెడ్యూల్ ప్రకారం తెచ్చుకోండి.

Googlebot, bingbot లేదా Applebotను reverse DNSతో ఎలా ధృవీకరించాలి?

Google, Microsoft, Apple, Common Crawl ఒకే రెండు దశల తనిఖీని డాక్యుమెంట్ చేస్తాయి: IP చిరునామా పేరును కనుగొని, అది కంపెనీ డొమైన్‌తో ముగుస్తుందని నిర్ధారించండి, తర్వాత ఆ పేరును లుకప్ చేసి అదే IP వస్తుందని నిర్ధారించండి. రెండు దశలూ ముఖ్యం, ఎందుకంటే IP పరిధిని నియంత్రించే ఎవరైనా తమకు నచ్చిన reverse DNS పేరును పెట్టుకోవచ్చు, కానీ కంపెనీ డొమైన్‌ను తమ వైపు చూపించేలా చేయలేరు.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google తన క్రాలర్ రకాల్లో googlebot.com, google.com, googleusercontent.comను అంగీకరిస్తుంది; పై ఫంక్షన్ googlebot.comను మాత్రమే అంగీకరిస్తుంది, Google ఉదాహరణల్లో Googlebot ఉపయోగించేది అదే. Google ఇతర క్రాలర్‌లు, fetcherల కోసం దాని JSON జాబితాలను ఉపయోగించండి. DNS లుకప్‌లకు సమయం పడుతుంది, కాబట్టి వాటిని ప్రతి లైవ్ అభ్యర్థనపై కాకుండా లాగ్‌లు సమీక్షించేటప్పుడు నడపండి లేదా ఫలితాన్ని కాష్ చేయండి.

GPTBotను గుర్తించడానికి యూజర్ ఏజెంట్ తనిఖీ ఎందుకు సరిపోదు?

యూజర్ ఏజెంట్ క్లయింట్ ఎంచుకునే హెడర్, కాబట్టి ఎవరైనా GPTBot లేదా Googlebot పంపవచ్చు. కొన్ని క్రాలర్‌లు తప్పుగా CCBotగా చెప్పుకుంటాయని Common Crawl హెచ్చరిస్తుంది, bingbotగా చెప్పుకునే ట్రాఫిక్ నిజంగా Bing నుంచే వస్తుందో తనిఖీ చేయడానికి Bing ఒక గైడ్ ప్రచురిస్తుంది. GPTBotను నమ్మదగిన విధంగా గుర్తించడం అంటే రెండింటినీ తనిఖీ చేయడం: యూజర్ ఏజెంట్‌లోని టోకెన్, gptbot.jsonలోని మూల IP. జాబితాలో లేని చిరునామా నుంచి టోకెన్‌తో వచ్చే అభ్యర్థన అనుకరణ, దాన్ని బ్లాక్ చేస్తే OpenAIపై ప్రభావం ఉండదు.

వ్యతిరేకం కూడా జరుగుతుంది. మీ ఫైర్‌వాల్ యూజర్ ఏజెంట్‌ను మాత్రమే అనుమతిస్తే, అనుకరణలు లోపలికి వస్తాయి; IP పరిధిని మాత్రమే అనుమతిస్తే, ఆ కంపెనీ నెట్‌వర్క్ నుంచి వచ్చే ఏ ఏజెంట్‌కైనా, మీరు బ్లాక్ చేయాలనుకున్నదానికి కూడా, అదే చికిత్స లభిస్తుంది. రెండింటినీ మ్యాచ్ చేయడమే నమ్మదగిన రూల్.

AI క్రాలర్ ట్రాఫిక్‌ను ధృవీకరించడంలో AISeeWhy ఎలా సహాయపడుతుంది?

ఉచిత AISeeWhy AI క్రాలర్ IP తనిఖీ, ఖాతా లేకుండా, ఒక IP చిరునామా GPTBotకు లేదా మరో AI క్రాలర్‌కు చెందినదో చెబుతుంది. తర్వాత ఉచిత సైట్ తనిఖీ మీ పేజీని అసలు బ్రౌజర్‌తో పాటు 16 AI, సెర్చ్ క్రాలర్‌లుగా అభ్యర్థిస్తుంది, కాబట్టి నిజమైన క్రాలర్‌లకు ఏమి అందుతుందో చూడగలరు.

ఉచిత టూల్స్

తదుపరి దశలు

ఈ వ్యాసంలోని క్రాలర్‌లు

తరచుగా అడిగే ప్రశ్నలు

GPTBot యూజర్ ఏజెంట్ ఏమిటి?

OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotను ప్రచురిస్తుంది, వెర్షన్ మారవచ్చని చెబుతుంది. GPTBotపై మ్యాచ్ చేసి, IPను https://openai.com/gptbot.jsonతో నిర్ధారించండి.

OAI-SearchBot యూజర్ ఏజెంట్ ఏమిటి?

compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotతో ముగిసే Chrome తరహా స్ట్రింగ్. దాని చిరునామాలు https://openai.com/searchbot.jsonలో ఉంటాయి. OpenAI దీన్ని ChatGPT సెర్చ్‌లో సైట్‌లను చూపించడానికి ఉపయోగిస్తుంది, ఇది GPTBot పనికి భిన్నం.

Anthropic ClaudeBot IP చిరునామాలను ప్రచురిస్తుందా?

అవును. Anthropic https://claude.com/crawling/bots.jsonకు లింక్ ఇస్తుంది, ఆ జాబితాలోని మూల IP క్రాలర్ Anthropic నుంచి వచ్చిందని చూపిస్తుందని చెబుతుంది. దాని సహాయ వ్యాసం బాట్ టోకెన్‌లను పేర్కొంటుంది కానీ పూర్తి యూజర్ ఏజెంట్ స్ట్రింగ్‌లను ఇవ్వదు.

నా లాగ్‌లలో Google-Extended లేదా Applebot-Extended కనిపిస్తాయా?

లేదు. రెండూ robots.txt టోకెన్‌లు, క్రాలర్‌లు కావు. Google, Apple పేజీలను Googlebot, Applebotతో తెచ్చుకుంటాయి, కంటెంట్‌ను AI కోసం ఎలా ఉపయోగించవచ్చో నిర్ణయించడానికి మాత్రమే ఈ టోకెన్‌లను ఉపయోగిస్తాయి.

bingbot IP చిరునామాల జాబితా ఎక్కడ ఉంది?

Bing దాన్ని https://www.bing.com/toolbox/bingbot.jsonలో ప్రచురిస్తుంది, రోజూ రిఫ్రెష్ చేయమని అడుగుతుంది. దాని సొంత గైడ్ reverse, forward DNS తనిఖీని సిఫార్సు చేస్తుంది, అందులో పేరు search.msn.comతో ముగియాలి.

మూలాలు

మరిన్ని వ్యాసాలు