AI క్రాలర్ యూజర్ ఏజెంట్లు, IP పరిధులు: GPTBot, ClaudeBot, PerplexityBot, మరిన్ని
GPTBot GPTBot/1.4; +https://openai.com/gptbot ఉన్న యూజర్ ఏజెంట్తో తనను తాను గుర్తిస్తుంది, OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Common Crawl తమ క్రాలర్లు ఉపయోగించే IP పరిధుల JSON జాబితాను ప్రచురిస్తాయి. రెండూ సరిపోలితేనే అభ్యర్థన నిజమైనది: యూజర్ ఏజెంట్ క్రాలర్ పేరు చెప్పాలి, మూల IP ఆ కంపెనీ జాబితాలో ఉండాలి, లేదా Googlebot, bingbot, Applebot, CCBot కోసం reverse, forward DNS తనిఖీలో పాస్ కావాలి. యూజర్ ఏజెంట్ ఒక్కటే ఏమీ నిరూపించదు, ఎందుకంటే ఎవరైనా దాన్ని పంపవచ్చు.
మీ లాగ్లలో GPTBot లేదా ClaudeBot కనిపించినప్పుడు, లేదా AI సెర్చ్ క్రాలర్లను లోపలికి అనుమతించే ఫైర్వాల్ రూల్ కావాలనుకున్నప్పుడు, మీకు రెండు విషయాలు కావాలి: ప్రతి క్రాలర్ పంపే ఖచ్చితమైన స్ట్రింగ్, అభ్యర్థన అది చెప్పుకునే కంపెనీ నుంచే వచ్చిందని నిరూపించే మార్గం. ప్రతి కంపెనీ ఈరోజు ప్రచురిస్తున్న స్ట్రింగ్లు, ప్రతిదానికి అధికారిక IP జాబితా లేదా DNS పద్ధతి, ఒక చిరునామాను తనిఖీ చేయడానికి నడపగల రెండు స్క్రిప్ట్లు కింద ఉన్నాయి.
ఈ పేజీలో
- GPTBot, ClaudeBot, PerplexityBot, ఇతర AI క్రాలర్ల యూజర్ ఏజెంట్ స్ట్రింగ్లు ఏమిటి?
- ఏ క్రాలర్ ఏమి చేస్తుంది, ఏ పేర్లు కేవలం robots.txt టోకెన్లు?
- AI క్రాలర్ కంపెనీలు తమ IP పరిధులను ఎక్కడ ప్రచురిస్తాయి?
- IP చిరునామాను అధికారిక క్రాలర్ జాబితాలతో ఎలా తనిఖీ చేయాలి?
- Googlebot, bingbot లేదా Applebotను reverse DNSతో ఎలా ధృవీకరించాలి?
- GPTBotను గుర్తించడానికి యూజర్ ఏజెంట్ తనిఖీ ఎందుకు సరిపోదు?
- AI క్రాలర్ ట్రాఫిక్ను ధృవీకరించడంలో AISeeWhy ఎలా సహాయపడుతుంది?
GPTBot, ClaudeBot, PerplexityBot, ఇతర AI క్రాలర్ల యూజర్ ఏజెంట్ స్ట్రింగ్లు ఏమిటి?
ఇవి కంపెనీల సొంత డాక్యుమెంటేషన్ నుంచి కాపీ చేసినవి. వెర్షన్ నంబర్లు మారవచ్చని OpenAI, Perplexity చెబుతాయి, W.X.Y.Z ఉన్న చోట Google, Microsoft ప్రస్తుత బ్రౌజర్ వెర్షన్ను పెడతాయి, బ్రౌజర్ భాగాన్ని అప్పుడప్పుడు అప్డేట్ చేస్తామని Apple చెబుతుంది. మొత్తం స్ట్రింగ్పై కాకుండా GPTBot లేదా bingbot వంటి క్రాలర్ టోకెన్పై మ్యాచ్ చేయండి.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic సహాయ వ్యాసం ClaudeBot, Claude-SearchBot, Claude-Userను పేర్కొంటుంది కానీ పూర్తి యూజర్ ఏజెంట్ స్ట్రింగ్లను ఇవ్వదు, కాబట్టి ఆ టోకెన్లపై మ్యాచ్ చేయండి. Meta క్రాలర్ పేజీ చూపిన టోకెన్లతో మొదలై, దాని డాక్యుమెంటేషన్ లింక్తో కొనసాగే స్ట్రింగ్లను జాబితా చేస్తుంది, మీ లాగ్లలో కనిపించే స్ట్రింగ్లు కొంచెం మారవచ్చని చెబుతుంది.
ఏ క్రాలర్ ఏమి చేస్తుంది, ఏ పేర్లు కేవలం robots.txt టోకెన్లు?
GPTBotOpenAI ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు ఉపయోగపడే కంటెంట్ను సేకరిస్తుంది.OAI-SearchBotChatGPT సెర్చ్లో సైట్లను చూపిస్తుంది.ChatGPT-Userయూజర్ మొదలుపెట్టే చర్యల కోసం పేజీలను తెచ్చుకుంటుంది, దానికి robots.txt రూల్స్ వర్తించకపోవచ్చని OpenAI చెబుతుంది.OAI-AdsBotChatGPT ప్రకటనలుగా సమర్పించిన పేజీలను తనిఖీ చేస్తుంది.ClaudeBotAnthropic మోడల్ల కోసం డేటా సేకరిస్తుంది,Claude-SearchBotసెర్చ్ ఫలితాలను మెరుగుపరుస్తుంది, ఎవరైనా Claudeను ప్రశ్న అడిగినప్పుడుClaude-Userపేజీలను తెచ్చుకుంటుంది.PerplexityBotPerplexity సెర్చ్లో సైట్లను చూపించి లింక్ చేస్తుంది, ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు ఉపయోగించబడదు. యూజర్ ప్రశ్న అడిగినప్పుడుPerplexity-Userపేజీలను తెచ్చుకుంటుంది.meta-externalagentAI మోడల్ల ట్రైనింగ్ లేదా కంటెంట్ ఇండెక్సింగ్ కోసం క్రాల్ చేస్తుంది,meta-webindexerMeta AI సెర్చ్ కోసం కంటెంట్ను ఇండెక్స్ చేస్తుంది,meta-externalfetcherయూజర్ అభ్యర్థనపై లింక్లను తెచ్చుకుంటుంది.CCBotపబ్లిక్ వెబ్ ఆర్కైవ్ అయిన Common Crawl క్రాలర్.
రెండు పేర్లు మీ లాగ్లలో ఎప్పుడూ కనిపించవు. Google-Extended అనేది Google క్రాల్ చేసిన కంటెంట్ను Gemini మోడల్లకు, grounding కోసం ఉపయోగించవచ్చో నియంత్రించే robots.txt టోకెన్; ఇది Google Searchలో చేరికను ప్రభావితం చేయదని Google చెబుతుంది. Applebot-Extended, Apple మాటల్లో, వెబ్పేజీలను క్రాల్ చేయని ద్వితీయ యూజర్ ఏజెంట్; Applebot సేకరించిన డేటాను Apple ఎలా ఉపయోగించవచ్చో మాత్రమే నిర్ణయిస్తుంది. వీటిలో ఏదో ఒకటిగా చెప్పుకునే అభ్యర్థన నిజమైనది కాదు.
AI క్రాలర్ కంపెనీలు తమ IP పరిధులను ఎక్కడ ప్రచురిస్తాయి?
చాలా కంపెనీలు ఒకే ఆకారంలో JSON ఫైల్ను ప్రచురిస్తాయి: ipv4Prefix లేదా ipv6Prefix ఉన్న ఆబ్జెక్ట్ల prefixes అర్రే, అది ఎంత తాజాదో చెప్పే creationTime.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.json,https://openai.com/adsbot.json, ఒక్కో ఏజెంట్కు ఒకటి. - Anthropic:
https://claude.com/crawling/bots.json, దాని క్రాలర్లకు ఒకే జాబితా. ఈ జాబితాలోని చిరునామా క్రాలర్ Anthropic నుంచి వచ్చిందని చూపిస్తుందని, IP బ్లాకింగ్ opt-outకు నమ్మదగిన హామీ కాకపోవచ్చని కూడా Anthropic చెబుతుంది. - Perplexity:
https://www.perplexity.ai/perplexitybot.json,https://www.perplexity.ai/perplexity-user.json. - Google: Googlebot కోసం
https://developers.google.com/static/crawling/ipranges/common-crawlers.json, ప్రత్యేక క్రాలర్లకు, యూజర్ మొదలుపెట్టే fetcherలకు వేరే ఫైల్లు. reverse DNS కూడా పనిచేస్తుంది. - Apple:
https://search.developer.apple.com/applebot.json, లేదాapplebot.apple.comలో reverse DNS. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. IPv4 కోసంcrawl.commoncrawl.orgకింద forward-confirmed reverse DNSను కూడా సిఫార్సు చేస్తుంది; IPv6 చిరునామాలకు reverse DNS లేదు. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, ఇది ఎప్పుడైనా మారవచ్చు కాబట్టి రోజూ రిఫ్రెష్ చేయమని Bing అడుగుతుంది, లేదాsearch.msn.comతో ముగిసే reverse DNS. Bing పబ్లిక్ Verify Bingbot టూల్ను కూడా అందిస్తుంది. - Meta: దాని క్రాలర్ పేజీ IP జాబితాను ప్రచురించదు.
IP చిరునామాను అధికారిక క్రాలర్ జాబితాలతో ఎలా తనిఖీ చేయాలి?
ఈ స్క్రిప్ట్ ప్రతి జాబితాను లోడ్ చేసి, ఆ చిరునామా ఏ జాబితాలో ఉందో చెబుతుంది. దీనికి Python 3 మాత్రమే కావాలి, IPv4, IPv6 రెండింటినీ నిర్వహిస్తుంది.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF జాబితాలు మారుతాయి. ప్రతి ఫైల్కు దాని సొంత creationTime ఉంటుంది, మీ ఫైర్వాల్ రూల్స్ అప్డేట్లను ఆటోమేట్ చేయమని Perplexity సిఫార్సు చేస్తుంది, తన జాబితాను రోజూ రిఫ్రెష్ చేయమని Bing అడుగుతుంది. ఫైర్వాల్లో జాబితాలను ఉపయోగిస్తే, ఒకసారి కాపీ చేయడానికి బదులు షెడ్యూల్ ప్రకారం తెచ్చుకోండి.
Googlebot, bingbot లేదా Applebotను reverse DNSతో ఎలా ధృవీకరించాలి?
Google, Microsoft, Apple, Common Crawl ఒకే రెండు దశల తనిఖీని డాక్యుమెంట్ చేస్తాయి: IP చిరునామా పేరును కనుగొని, అది కంపెనీ డొమైన్తో ముగుస్తుందని నిర్ధారించండి, తర్వాత ఆ పేరును లుకప్ చేసి అదే IP వస్తుందని నిర్ధారించండి. రెండు దశలూ ముఖ్యం, ఎందుకంటే IP పరిధిని నియంత్రించే ఎవరైనా తమకు నచ్చిన reverse DNS పేరును పెట్టుకోవచ్చు, కానీ కంపెనీ డొమైన్ను తమ వైపు చూపించేలా చేయలేరు.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google తన క్రాలర్ రకాల్లో googlebot.com, google.com, googleusercontent.comను అంగీకరిస్తుంది; పై ఫంక్షన్ googlebot.comను మాత్రమే అంగీకరిస్తుంది, Google ఉదాహరణల్లో Googlebot ఉపయోగించేది అదే. Google ఇతర క్రాలర్లు, fetcherల కోసం దాని JSON జాబితాలను ఉపయోగించండి. DNS లుకప్లకు సమయం పడుతుంది, కాబట్టి వాటిని ప్రతి లైవ్ అభ్యర్థనపై కాకుండా లాగ్లు సమీక్షించేటప్పుడు నడపండి లేదా ఫలితాన్ని కాష్ చేయండి.
GPTBotను గుర్తించడానికి యూజర్ ఏజెంట్ తనిఖీ ఎందుకు సరిపోదు?
యూజర్ ఏజెంట్ క్లయింట్ ఎంచుకునే హెడర్, కాబట్టి ఎవరైనా GPTBot లేదా Googlebot పంపవచ్చు. కొన్ని క్రాలర్లు తప్పుగా CCBotగా చెప్పుకుంటాయని Common Crawl హెచ్చరిస్తుంది, bingbotగా చెప్పుకునే ట్రాఫిక్ నిజంగా Bing నుంచే వస్తుందో తనిఖీ చేయడానికి Bing ఒక గైడ్ ప్రచురిస్తుంది. GPTBotను నమ్మదగిన విధంగా గుర్తించడం అంటే రెండింటినీ తనిఖీ చేయడం: యూజర్ ఏజెంట్లోని టోకెన్, gptbot.jsonలోని మూల IP. జాబితాలో లేని చిరునామా నుంచి టోకెన్తో వచ్చే అభ్యర్థన అనుకరణ, దాన్ని బ్లాక్ చేస్తే OpenAIపై ప్రభావం ఉండదు.
వ్యతిరేకం కూడా జరుగుతుంది. మీ ఫైర్వాల్ యూజర్ ఏజెంట్ను మాత్రమే అనుమతిస్తే, అనుకరణలు లోపలికి వస్తాయి; IP పరిధిని మాత్రమే అనుమతిస్తే, ఆ కంపెనీ నెట్వర్క్ నుంచి వచ్చే ఏ ఏజెంట్కైనా, మీరు బ్లాక్ చేయాలనుకున్నదానికి కూడా, అదే చికిత్స లభిస్తుంది. రెండింటినీ మ్యాచ్ చేయడమే నమ్మదగిన రూల్.
AI క్రాలర్ ట్రాఫిక్ను ధృవీకరించడంలో AISeeWhy ఎలా సహాయపడుతుంది?
ఉచిత AISeeWhy AI క్రాలర్ IP తనిఖీ, ఖాతా లేకుండా, ఒక IP చిరునామా GPTBotకు లేదా మరో AI క్రాలర్కు చెందినదో చెబుతుంది. తర్వాత ఉచిత సైట్ తనిఖీ మీ పేజీని అసలు బ్రౌజర్తో పాటు 16 AI, సెర్చ్ క్రాలర్లుగా అభ్యర్థిస్తుంది, కాబట్టి నిజమైన క్రాలర్లకు ఏమి అందుతుందో చూడగలరు.
తదుపరి దశలు
- AI క్రాలర్ల కోసం robots.txt టెస్టర్, చెకర్
- AI క్రాలర్ IP తనిఖీ
- పూర్తి రిపోర్ట్ ఉదాహరణను చూడండి
- AI క్రాలర్ మానిటరింగ్
- ప్లాన్లు, ధరలు
ఈ వ్యాసంలోని క్రాలర్లు
తరచుగా అడిగే ప్రశ్నలు
GPTBot యూజర్ ఏజెంట్ ఏమిటి?
OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotను ప్రచురిస్తుంది, వెర్షన్ మారవచ్చని చెబుతుంది. GPTBotపై మ్యాచ్ చేసి, IPను https://openai.com/gptbot.jsonతో నిర్ధారించండి.
OAI-SearchBot యూజర్ ఏజెంట్ ఏమిటి?
compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotతో ముగిసే Chrome తరహా స్ట్రింగ్. దాని చిరునామాలు https://openai.com/searchbot.jsonలో ఉంటాయి. OpenAI దీన్ని ChatGPT సెర్చ్లో సైట్లను చూపించడానికి ఉపయోగిస్తుంది, ఇది GPTBot పనికి భిన్నం.
Anthropic ClaudeBot IP చిరునామాలను ప్రచురిస్తుందా?
అవును. Anthropic https://claude.com/crawling/bots.jsonకు లింక్ ఇస్తుంది, ఆ జాబితాలోని మూల IP క్రాలర్ Anthropic నుంచి వచ్చిందని చూపిస్తుందని చెబుతుంది. దాని సహాయ వ్యాసం బాట్ టోకెన్లను పేర్కొంటుంది కానీ పూర్తి యూజర్ ఏజెంట్ స్ట్రింగ్లను ఇవ్వదు.
నా లాగ్లలో Google-Extended లేదా Applebot-Extended కనిపిస్తాయా?
లేదు. రెండూ robots.txt టోకెన్లు, క్రాలర్లు కావు. Google, Apple పేజీలను Googlebot, Applebotతో తెచ్చుకుంటాయి, కంటెంట్ను AI కోసం ఎలా ఉపయోగించవచ్చో నిర్ణయించడానికి మాత్రమే ఈ టోకెన్లను ఉపయోగిస్తాయి.
bingbot IP చిరునామాల జాబితా ఎక్కడ ఉంది?
Bing దాన్ని https://www.bing.com/toolbox/bingbot.jsonలో ప్రచురిస్తుంది, రోజూ రిఫ్రెష్ చేయమని అడుగుతుంది. దాని సొంత గైడ్ reverse, forward DNS తనిఖీని సిఫార్సు చేస్తుంది, అందులో పేరు search.msn.comతో ముగియాలి.
మూలాలు
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot