AI கிராலர் user agent-களும் IP வரம்புகளும்: GPTBot, ClaudeBot, PerplexityBot மற்றும் பல
GPTBot தன்னை GPTBot/1.4; +https://openai.com/gptbot கொண்ட user agent மூலம் அடையாளப்படுத்துகிறது; OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Common Crawl ஒவ்வொன்றும் தங்கள் கிராலர்கள் பயன்படுத்தும் IP வரம்புகளின் JSON பட்டியலை வெளியிடுகின்றன. இரண்டும் பொருந்தினால் மட்டுமே கோரிக்கை உண்மையானது: user agent கிராலரைப் பெயரிட வேண்டும், மூல IP அந்த நிறுவனத்தின் பட்டியலில் இருக்க வேண்டும், அல்லது Googlebot, bingbot, Applebot, CCBot-க்கு reverse, forward DNS சரிபார்ப்பில் தேற வேண்டும். user agent மட்டும் எதையும் நிரூபிக்காது, ஏனெனில் யார் வேண்டுமானாலும் அதை அனுப்பலாம்.
உங்கள் log-களில் GPTBot அல்லது ClaudeBot-ஐப் பார்க்கும்போது, அல்லது AI தேடல் கிராலர்களை உள்ளே விடும் ஃபயர்வால் விதி வேண்டும்போது, உங்களுக்கு இரண்டு விஷயங்கள் தேவை: ஒவ்வொரு கிராலரும் அனுப்பும் சரியான string, ஒரு கோரிக்கை அது பெயரிடும் நிறுவனத்திடமிருந்தே வந்தது என்று நிரூபிக்கும் வழி. ஒவ்வொரு நிறுவனமும் இன்று வெளியிடும் string-கள், ஒவ்வொன்றுக்குமான அதிகாரப்பூர்வ IP பட்டியல் அல்லது DNS முறை, ஒரு முகவரியைச் சரிபார்க்க நீங்கள் இயக்கக்கூடிய இரண்டு script-கள் கீழே உள்ளன.
இந்தப் பக்கத்தில்
- GPTBot, ClaudeBot, PerplexityBot, பிற AI கிராலர்களின் user agent string-கள் என்ன?
- எந்தக் கிராலர் என்ன செய்கிறது, எந்தப் பெயர்கள் robots.txt டோக்கன்கள் மட்டுமே?
- AI கிராலர் நிறுவனங்கள் தங்கள் IP வரம்புகளை எங்கே வெளியிடுகின்றன?
- அதிகாரப்பூர்வ கிராலர் பட்டியல்களுடன் ஒரு IP முகவரியை எப்படிச் சரிபார்ப்பது?
- Googlebot, bingbot அல்லது Applebot-ஐ reverse DNS மூலம் எப்படிச் சரிபார்ப்பது?
- GPTBot-ஐக் கண்டறிய user agent சரிபார்ப்பு மட்டும் ஏன் போதாது?
- AI கிராலர் போக்குவரத்தைச் சரிபார்க்க AISeeWhy எப்படி உதவும்?
GPTBot, ClaudeBot, PerplexityBot, பிற AI கிராலர்களின் user agent string-கள் என்ன?
இவை நிறுவனங்களின் சொந்த ஆவணங்களிலிருந்து நகலெடுக்கப்பட்டவை. பதிப்பு எண்கள் மாறலாம் என்று OpenAI, Perplexity குறிப்பிடுகின்றன; W.X.Y.Z தோன்றும் இடத்தில் Google, Microsoft தற்போதைய உலாவிப் பதிப்பை இடுகின்றன; உலாவிப் பகுதியை அவ்வப்போது புதுப்பிப்பதாக Apple கூறுகிறது. முழு string-இல் அல்ல, GPTBot அல்லது bingbot போன்ற கிராலர் டோக்கனில் பொருத்துங்கள்.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic-இன் உதவிக் கட்டுரை ClaudeBot, Claude-SearchBot, Claude-User-ஐப் பெயரிடுகிறது, ஆனால் முழு user agent string-களை அச்சிடவில்லை, எனவே அந்த டோக்கன்களில் பொருத்துங்கள். Meta-இன் கிராலர் பக்கம், காட்டப்பட்ட டோக்கன்களில் தொடங்கி அதன் ஆவணத்துக்கான இணைப்புடன் தொடரும் string-களைப் பட்டியலிடுகிறது; உங்கள் log-கள் காட்டும் string-கள் சற்று மாறுபடலாம் என்றும் கூறுகிறது.
எந்தக் கிராலர் என்ன செய்கிறது, எந்தப் பெயர்கள் robots.txt டோக்கன்கள் மட்டுமே?
GPTBotOpenAI-இன் அடிப்படை மாடல்களுக்குப் பயிற்சி அளிக்கப் பயன்படக்கூடிய உள்ளடக்கத்தைச் சேகரிக்கிறது.OAI-SearchBotChatGPT தேடலில் தளங்களைக் காட்டுகிறது.ChatGPT-Userபயனர் தொடங்கும் செயல்களுக்காகப் பக்கங்களைப் பெறுகிறது; robots.txt விதிகள் அதற்குப் பொருந்தாமல் போகலாம் என்று OpenAI கூறுகிறது.OAI-AdsBotChatGPT விளம்பரங்களாகச் சமர்ப்பிக்கப்பட்ட பக்கங்களைச் சரிபார்க்கிறது.ClaudeBotAnthropic-இன் மாடல்களுக்குத் தரவைச் சேகரிக்கிறது,Claude-SearchBotதேடல் முடிவுகளை மேம்படுத்துகிறது, ஒருவர் Claude-இடம் கேள்வி கேட்கும்போதுClaude-Userபக்கங்களைப் பெறுகிறது.PerplexityBotPerplexity தேடலில் தளங்களைக் காட்டி இணைக்கிறது, அடிப்படை மாடல்களின் பயிற்சிக்குப் பயன்படுவதில்லை. பயனர் கேள்வி கேட்கும்போதுPerplexity-Userபக்கங்களைப் பெறுகிறது.meta-externalagentAI மாடல்களின் பயிற்சிக்காக அல்லது உள்ளடக்கத்தைக் குறியிடுவதற்காகக் கிரால் செய்கிறது,meta-webindexerMeta AI தேடலுக்காக உள்ளடக்கத்தைக் குறியிடுகிறது,meta-externalfetcherபயனரின் வேண்டுகோளின்படி இணைப்புகளைப் பெறுகிறது.CCBotஎன்பது பொது வலைக் காப்பகமான Common Crawl-இன் கிராலர்.
இரண்டு பெயர்கள் உங்கள் log-களில் ஒருபோதும் தோன்றாது. Google-Extended என்பது, Google கிரால் செய்யும் உள்ளடக்கம் Gemini மாடல்களுக்கும் grounding-க்கும் பயன்படலாமா என்பதைக் கட்டுப்படுத்தும் robots.txt டோக்கன்; அது Google Search-இல் சேர்க்கப்படுவதைப் பாதிக்காது என்று Google கூறுகிறது. Applebot-Extended என்பது, Apple-இன் வார்த்தைகளில், வலைப்பக்கங்களைக் கிரால் செய்யாத இரண்டாம் நிலை user agent; Applebot சேகரித்த தரவை Apple எப்படிப் பயன்படுத்தலாம் என்பதை மட்டுமே அது தீர்மானிக்கிறது. இவற்றில் ஒன்று என்று கூறும் கோரிக்கை உண்மையானது அல்ல.
AI கிராலர் நிறுவனங்கள் தங்கள் IP வரம்புகளை எங்கே வெளியிடுகின்றன?
பெரும்பாலான நிறுவனங்கள் ஒரே வடிவிலான JSON கோப்பை வெளியிடுகின்றன: ipv4Prefix அல்லது ipv6Prefix கொண்ட objects-இன் prefixes array, அது எவ்வளவு புதியது என்று சொல்லும் creationTime.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.json,https://openai.com/adsbot.json, ஒவ்வொரு agent-க்கும் ஒன்று. - Anthropic:
https://claude.com/crawling/bots.json, அதன் கிராலர்களுக்கு ஒரே பட்டியல். இந்தப் பட்டியலில் உள்ள முகவரி கிராலர் Anthropic-இடமிருந்து வருகிறது என்று காட்டுவதாகவும், IP தடுப்பு விலகலை நம்பகமாக உறுதிசெய்யாமல் போகலாம் என்றும் Anthropic கூறுகிறது. - Perplexity:
https://www.perplexity.ai/perplexitybot.json,https://www.perplexity.ai/perplexity-user.json. - Google: Googlebot-க்கு
https://developers.google.com/static/crawling/ipranges/common-crawlers.json, சிறப்பு நிலை கிராலர்களுக்கும் பயனர் தூண்டும் fetcher-களுக்கும் தனிக் கோப்புகளுடன். Reverse DNS-உம் வேலை செய்கிறது. - Apple:
https://search.developer.apple.com/applebot.json, அல்லதுapplebot.apple.com-இல் reverse DNS. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. IPv4-க்குcrawl.commoncrawl.org-இன் கீழ் forward-confirmed reverse DNS-ஐயும் பரிந்துரைக்கிறது; IPv6 முகவரிகளுக்கு reverse DNS இல்லை. - Microsoft:
https://www.bing.com/toolbox/bingbot.json; அது எப்போது வேண்டுமானாலும் மாறலாம் என்பதால் தினமும் புதுப்பிக்குமாறு Bing கேட்கிறது; அல்லதுsearch.msn.com-இல் முடியும் reverse DNS. Bing ஒரு பொது Verify Bingbot கருவியையும் வழங்குகிறது. - Meta: அதன் கிராலர் பக்கம் IP பட்டியலை வெளியிடவில்லை.
அதிகாரப்பூர்வ கிராலர் பட்டியல்களுடன் ஒரு IP முகவரியை எப்படிச் சரிபார்ப்பது?
இந்த script ஒவ்வொரு பட்டியலையும் ஏற்றி, எதில் முகவரி உள்ளது என்று தெரிவிக்கிறது. இதற்கு Python 3 மட்டுமே தேவை, IPv4, IPv6 இரண்டையும் கையாள்கிறது.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF பட்டியல்கள் மாறுகின்றன. ஒவ்வொரு கோப்பிலும் அதன் சொந்த creationTime உள்ளது, உங்கள் ஃபயர்வால் விதிகளின் புதுப்பிப்புகளைத் தானியங்குபடுத்துமாறு Perplexity பரிந்துரைக்கிறது, Bing தன் பட்டியலைத் தினமும் புதுப்பிக்குமாறு கேட்கிறது. ஃபயர்வாலில் பட்டியல்களைப் பயன்படுத்தினால், ஒருமுறை நகலெடுப்பதற்குப் பதிலாக அட்டவணைப்படி அவற்றைப் பெறுங்கள்.
Googlebot, bingbot அல்லது Applebot-ஐ reverse DNS மூலம் எப்படிச் சரிபார்ப்பது?
Google, Microsoft, Apple, Common Crawl ஒரே இரண்டு படிச் சரிபார்ப்பை ஆவணப்படுத்துகின்றன: IP முகவரியின் பெயரைத் தேடி, அது நிறுவனத்தின் domain-இல் முடிகிறதா என்று உறுதிசெய்து, பிறகு அந்தப் பெயரைத் தேடி அது அதே IP-ஐத் தருகிறதா என்று உறுதிசெய்வது. இரண்டு படிகளும் முக்கியம், ஏனெனில் IP வரம்பைக் கட்டுப்படுத்தும் எவரும் விரும்பும் reverse DNS பெயரை அமைக்கலாம், ஆனால் நிறுவனத்தின் domain-ஐ அதை நோக்கித் திருப்ப முடியாது.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google தன் கிராலர் வகைகள் முழுவதும் googlebot.com, google.com, googleusercontent.com-ஐ ஏற்கிறது; மேலே உள்ள function googlebot.com-ஐ மட்டுமே ஏற்கிறது, Google-இன் எடுத்துக்காட்டுகளில் Googlebot பயன்படுத்துவது அதுதான். Google-இன் மற்ற கிராலர்களுக்கும் fetcher-களுக்கும் அதன் JSON பட்டியல்களைப் பயன்படுத்துங்கள். DNS தேடல்களுக்கு நேரம் ஆகும், எனவே ஒவ்வொரு நேரலைக் கோரிக்கையிலும் அல்லாமல், log-களை மதிப்பாய்வு செய்யும்போது இயக்குங்கள் அல்லது முடிவை cache செய்யுங்கள்.
GPTBot-ஐக் கண்டறிய user agent சரிபார்ப்பு மட்டும் ஏன் போதாது?
user agent என்பது client தேர்ந்தெடுக்கும் header, எனவே யார் வேண்டுமானாலும் GPTBot அல்லது Googlebot-ஐ அனுப்பலாம். சில கிராலர்கள் தங்களை CCBot என்று பொய்யாகக் கூறுவதாக Common Crawl எச்சரிக்கிறது; bingbot என்று கூறும் போக்குவரத்து உண்மையில் Bing-இடமிருந்து வருகிறதா என்று சரிபார்க்க Bing ஒரு வழிகாட்டியை வெளியிடுகிறது. GPTBot-ஐ நம்பகமாகக் கண்டறிவது என்றால் இரண்டையும் சரிபார்ப்பது: user agent-இல் உள்ள டோக்கனையும் gptbot.json-இல் உள்ள மூல IP-ஐயும். பட்டியலில் இல்லாத முகவரியிலிருந்து டோக்கனுடன் வரும் கோரிக்கை ஒரு போலி, அதைத் தடுப்பது OpenAI-ஐப் பாதிக்காது.
தலைகீழும் நடக்கிறது. உங்கள் ஃபயர்வால் user agent-ஐ மட்டும் அனுமதித்தால், போலிகள் உள்ளே வருகின்றன; IP வரம்பை மட்டும் அனுமதித்தால், நீங்கள் தடுக்க நினைத்தது உட்பட அந்த நிறுவனத்தின் நெட்வொர்க்கிலிருந்து வரும் எந்த agent-உம் அதே நடத்தையைப் பெறுகிறது. இரண்டையும் பொருத்துவதே நம்பகமான விதி.
AI கிராலர் போக்குவரத்தைச் சரிபார்க்க AISeeWhy எப்படி உதவும்?
இலவச AISeeWhy AI கிராலர் IP சரிபார்ப்பு, கணக்கு இல்லாமலே, ஒரு IP முகவரி GPTBot-க்கோ வேறொரு AI கிராலருக்கோ சொந்தமானதா என்று சொல்கிறது. பிறகு இலவசத் தளச் சரிபார்ப்பு உங்கள் பக்கத்தை ஒரு உண்மையான உலாவியுடன் சேர்த்து 16 AI மற்றும் தேடல் கிராலர்களாகக் கோருகிறது, எனவே உண்மையான கிராலர்கள் எதைப் பெறும் என்று பார்க்கலாம்.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- AI கிராலர் IP சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
GPTBot user agent என்ன?
OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot-ஐ வெளியிடுகிறது, பதிப்பு மாறலாம் என்றும் குறிப்பிடுகிறது. GPTBot-இல் பொருத்தி, IP-ஐ https://openai.com/gptbot.json-உடன் உறுதிசெய்யுங்கள்.
OAI-SearchBot user agent என்ன?
compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot-இல் முடியும் Chrome பாணி string. அதன் முகவரிகள் https://openai.com/searchbot.json-இல் பட்டியலிடப்பட்டுள்ளன. ChatGPT தேடலில் தளங்களைக் காட்ட OpenAI அதைப் பயன்படுத்துகிறது; அது GPTBot-இலிருந்து வேறுபட்ட வேலை.
Anthropic ClaudeBot IP முகவரிகளை வெளியிடுகிறதா?
ஆம். Anthropic https://claude.com/crawling/bots.json-க்கு இணைப்பு தருகிறது, அந்தப் பட்டியலில் உள்ள மூல IP கிராலர் Anthropic-இடமிருந்து வருகிறது என்று காட்டுவதாகக் கூறுகிறது. அதன் உதவிக் கட்டுரை bot டோக்கன்களைப் பெயரிடுகிறது, ஆனால் முழு user agent string-களை அல்ல.
என் log-களில் Google-Extended அல்லது Applebot-Extended-ஐப் பார்க்க முடியுமா?
இல்லை. இரண்டும் robots.txt டோக்கன்கள், கிராலர்கள் அல்ல. Google, Apple பக்கங்களை Googlebot, Applebot மூலம் பெறுகின்றன; உள்ளடக்கத்தை AI-க்கு எப்படிப் பயன்படுத்தலாம் என்று தீர்மானிக்க மட்டுமே இந்த டோக்கன்களைப் பயன்படுத்துகின்றன.
bingbot IP முகவரிப் பட்டியல் எங்கே?
Bing அதை https://www.bing.com/toolbox/bingbot.json-இல் வெளியிட்டு, தினமும் புதுப்பிக்குமாறு கேட்கிறது. அதன் சொந்த வழிகாட்டி reverse, forward DNS சரிபார்ப்பைப் பரிந்துரைக்கிறது; அதில் பெயர் search.msn.com-இல் முடிய வேண்டும்.
மூலங்கள்
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot