AI ക്രോളർ യൂസർ ഏജന്റുകളും IP ശ്രേണികളും: GPTBot, ClaudeBot, PerplexityBot എന്നിവയും മറ്റും
GPTBot/1.4; +https://openai.com/gptbot അടങ്ങിയ യൂസർ ഏജന്റ് ഉപയോഗിച്ചാണ് GPTBot സ്വയം പരിചയപ്പെടുത്തുന്നത്, OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Common Crawl എന്നിവ ഓരോന്നും അവയുടെ ക്രോളറുകൾ ഉപയോഗിക്കുന്ന IP ശ്രേണികളുടെ JSON പട്ടിക പ്രസിദ്ധീകരിക്കുന്നു. രണ്ടും ചേരുമ്പോൾ മാത്രമാണ് ഒരു അഭ്യർത്ഥന യഥാർത്ഥമാകുന്നത്: യൂസർ ഏജന്റ് ക്രോളറുടെ പേര് പറയുന്നു, ഉറവിട IP ആ കമ്പനിയുടെ പട്ടികയിലുണ്ട്, അല്ലെങ്കിൽ Googlebot, bingbot, Applebot, CCBot എന്നിവയ്ക്ക് റിവേഴ്സ്, ഫോർവേഡ് DNS പരിശോധന വിജയിക്കുന്നു. യൂസർ ഏജന്റ് മാത്രം ഒന്നും തെളിയിക്കുന്നില്ല, കാരണം ആർക്കും അത് അയയ്ക്കാം.
നിങ്ങളുടെ ലോഗുകളിൽ GPTBot അല്ലെങ്കിൽ ClaudeBot കാണുമ്പോൾ, അല്ലെങ്കിൽ AI സെർച്ച് ക്രോളറുകളെ കടത്തിവിടുന്ന ഫയർവാൾ നിയമം വേണമെങ്കിൽ, രണ്ട് കാര്യങ്ങൾ ആവശ്യമാണ്: ഓരോ ക്രോളറും അയയ്ക്കുന്ന കൃത്യമായ സ്ട്രിംഗ്, ഒരു അഭ്യർത്ഥന അത് പേരെടുത്ത് പറയുന്ന കമ്പനിയിൽ നിന്നാണ് വന്നതെന്ന് തെളിയിക്കാനുള്ള മാർഗം. ഓരോ കമ്പനിയും ഇന്ന് പ്രസിദ്ധീകരിക്കുന്ന സ്ട്രിംഗുകൾ, ഓരോന്നിന്റെയും ഔദ്യോഗിക IP പട്ടിക അല്ലെങ്കിൽ DNS രീതി, ഒരു വിലാസം പരിശോധിക്കാൻ പ്രവർത്തിപ്പിക്കാവുന്ന രണ്ട് സ്ക്രിപ്റ്റുകൾ എന്നിവ താഴെ.
ഈ പേജിൽ
- GPTBot, ClaudeBot, PerplexityBot, മറ്റ് AI ക്രോളറുകൾ എന്നിവയുടെ യൂസർ ഏജന്റ് സ്ട്രിംഗുകൾ ഏതൊക്കെ?
- ഏത് ക്രോളർ എന്ത് ചെയ്യുന്നു, ഏതൊക്കെ പേരുകൾ robots.txt ടോക്കണുകൾ മാത്രമാണ്?
- AI ക്രോളർ കമ്പനികൾ അവയുടെ IP ശ്രേണികൾ എവിടെ പ്രസിദ്ധീകരിക്കുന്നു?
- ഒരു IP വിലാസം ഔദ്യോഗിക ക്രോളർ പട്ടികകളുമായി എങ്ങനെ ഒത്തുനോക്കാം?
- Googlebot, bingbot, Applebot എന്നിവയെ റിവേഴ്സ് DNS ഉപയോഗിച്ച് എങ്ങനെ സ്ഥിരീകരിക്കാം?
- GPTBot കണ്ടെത്താൻ യൂസർ ഏജന്റ് പരിശോധന മാത്രം പോരാത്തത് എന്തുകൊണ്ട്?
- AI ക്രോളർ ട്രാഫിക് സ്ഥിരീകരിക്കാൻ AISeeWhy എങ്ങനെ സഹായിക്കും?
GPTBot, ClaudeBot, PerplexityBot, മറ്റ് AI ക്രോളറുകൾ എന്നിവയുടെ യൂസർ ഏജന്റ് സ്ട്രിംഗുകൾ ഏതൊക്കെ?
ഇവ കമ്പനികളുടെ സ്വന്തം ഡോക്യുമെന്റേഷനിൽ നിന്ന് പകർത്തിയതാണ്. പതിപ്പ് നമ്പറുകൾ മാറാമെന്ന് OpenAI-യും Perplexity-യും സൂചിപ്പിക്കുന്നു, W.X.Y.Z ഉള്ളിടത്ത് Google-ഉം Microsoft-ഉം നിലവിലെ ബ്രൗസർ പതിപ്പ് ചേർക്കുന്നു, ബ്രൗസർ ഭാഗം ഇടയ്ക്കിടെ അപ്ഡേറ്റ് ചെയ്യുമെന്ന് Apple പറയുന്നു. മുഴുവൻ സ്ട്രിംഗുമായല്ല, GPTBot അല്ലെങ്കിൽ bingbot പോലുള്ള ക്രോളർ ടോക്കണുമായി പൊരുത്തപ്പെടുത്തുക.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic-ന്റെ സഹായ ലേഖനം ClaudeBot, Claude-SearchBot, Claude-User എന്നിവയുടെ പേര് നൽകുന്നു, പക്ഷേ പൂർണ്ണ യൂസർ ഏജന്റ് സ്ട്രിംഗുകൾ നൽകുന്നില്ല, അതിനാൽ ആ ടോക്കണുകളുമായി പൊരുത്തപ്പെടുത്തുക. Meta-യുടെ ക്രോളർ പേജ് കാണിച്ചിരിക്കുന്ന ടോക്കണുകളിൽ തുടങ്ങി അതിന്റെ ഡോക്യുമെന്റേഷനിലേക്കുള്ള ലിങ്കിൽ അവസാനിക്കുന്ന സ്ട്രിംഗുകൾ നൽകുന്നു, നിങ്ങളുടെ ലോഗുകളിലെ സ്ട്രിംഗുകൾ അല്പം വ്യത്യാസപ്പെട്ടേക്കാമെന്നും പറയുന്നു.
ഏത് ക്രോളർ എന്ത് ചെയ്യുന്നു, ഏതൊക്കെ പേരുകൾ robots.txt ടോക്കണുകൾ മാത്രമാണ്?
GPTBotOpenAI-യുടെ ഫൗണ്ടേഷൻ മോഡലുകളുടെ പരിശീലനത്തിന് ഉപയോഗിച്ചേക്കാവുന്ന ഉള്ളടക്കം ശേഖരിക്കുന്നു.OAI-SearchBotChatGPT സെർച്ചിൽ സൈറ്റുകൾ കാണിക്കുന്നു.ChatGPT-Userഒരു ഉപയോക്താവ് ആരംഭിക്കുന്ന പ്രവർത്തനങ്ങൾക്കായി പേജുകൾ എടുക്കുന്നു, robots.txt നിയമങ്ങൾ അതിന് ബാധകമാകണമെന്നില്ലെന്ന് OpenAI പറയുന്നു.OAI-AdsBotChatGPT പരസ്യങ്ങളായി സമർപ്പിച്ച പേജുകൾ പരിശോധിക്കുന്നു.ClaudeBotAnthropic-ന്റെ മോഡലുകൾക്കായി ഡാറ്റ ശേഖരിക്കുന്നു,Claude-SearchBotസെർച്ച് ഫലങ്ങൾ മെച്ചപ്പെടുത്തുന്നു, ഒരാൾ Claude-നോട് ചോദ്യം ചോദിക്കുമ്പോൾClaude-Userപേജുകൾ എടുക്കുന്നു.PerplexityBotPerplexity സെർച്ചിൽ സൈറ്റുകൾ കാണിക്കുകയും ലിങ്ക് ചെയ്യുകയും ചെയ്യുന്നു, ഫൗണ്ടേഷൻ മോഡലുകളുടെ പരിശീലനത്തിന് ഉപയോഗിക്കുന്നില്ല. ഒരു ഉപയോക്താവ് ചോദ്യം ചോദിക്കുമ്പോൾPerplexity-Userപേജുകൾ എടുക്കുന്നു.meta-externalagentAI മോഡലുകളുടെ പരിശീലനത്തിനോ ഉള്ളടക്കം ഇൻഡക്സ് ചെയ്യാനോ ക്രോൾ ചെയ്യുന്നു,meta-webindexerMeta AI സെർച്ചിനായി ഉള്ളടക്കം ഇൻഡക്സ് ചെയ്യുന്നു,meta-externalfetcherഉപയോക്താവിന്റെ അഭ്യർത്ഥനപ്രകാരം ലിങ്കുകൾ എടുക്കുന്നു.CCBotപൊതു വെബ് ആർക്കൈവായ Common Crawl-ന്റെ ക്രോളറാണ്.
രണ്ട് പേരുകൾ ഒരിക്കലും നിങ്ങളുടെ ലോഗുകളിൽ വരില്ല. Google ക്രോൾ ചെയ്യുന്ന ഉള്ളടക്കം Gemini മോഡലുകൾക്കും ഗ്രൗണ്ടിംഗിനും ഉപയോഗിക്കാമോ എന്ന് നിയന്ത്രിക്കുന്ന robots.txt ടോക്കണാണ് Google-Extended; Google Search-ൽ ഉൾപ്പെടുന്നതിനെ അത് ബാധിക്കില്ലെന്ന് Google പറയുന്നു. Apple-ന്റെ വാക്കുകളിൽ, Applebot-Extended വെബ്പേജുകൾ ക്രോൾ ചെയ്യാത്ത ഒരു ദ്വിതീയ യൂസർ ഏജന്റാണ്; Applebot ശേഖരിച്ച ഡാറ്റ Apple എങ്ങനെ ഉപയോഗിക്കാമെന്ന് മാത്രമാണ് അത് തീരുമാനിക്കുന്നത്. ഇവയിലൊന്നാണെന്ന് അവകാശപ്പെടുന്ന അഭ്യർത്ഥന യഥാർത്ഥമല്ല.
AI ക്രോളർ കമ്പനികൾ അവയുടെ IP ശ്രേണികൾ എവിടെ പ്രസിദ്ധീകരിക്കുന്നു?
മിക്ക കമ്പനികളും ഒരേ ഘടനയിലുള്ള JSON ഫയൽ പ്രസിദ്ധീകരിക്കുന്നു: ipv4Prefix അല്ലെങ്കിൽ ipv6Prefix ഉള്ള ഒബ്ജക്റ്റുകളുടെ prefixes അറേ, കൂടാതെ ഫയൽ എത്ര പുതിയതാണെന്ന് പറയുന്ന creationTime.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.json,https://openai.com/adsbot.json, ഓരോ ഏജന്റിനും ഒന്ന്. - Anthropic:
https://claude.com/crawling/bots.json, അതിന്റെ ക്രോളറുകൾക്ക് ഒരു പട്ടിക. ഈ പട്ടികയിലെ വിലാസം ക്രോളർ Anthropic-ൽ നിന്നാണെന്ന് കാണിക്കുന്നുവെന്നും, IP തടയൽ ഒഴിവാകൽ വിശ്വസനീയമായി ഉറപ്പാക്കണമെന്നില്ലെന്നും Anthropic പറയുന്നു. - Perplexity:
https://www.perplexity.ai/perplexitybot.json,https://www.perplexity.ai/perplexity-user.json. - Google: Googlebot-ന്
https://developers.google.com/static/crawling/ipranges/common-crawlers.json, പ്രത്യേക ക്രോളറുകൾക്കും ഉപയോക്താവ് ആരംഭിക്കുന്ന ഫെച്ചറുകൾക്കും വേറെ ഫയലുകൾ. റിവേഴ്സ് DNS-ഉം പ്രവർത്തിക്കും. - Apple:
https://search.developer.apple.com/applebot.json, അല്ലെങ്കിൽapplebot.apple.com-ലെ റിവേഴ്സ് DNS. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. IPv4-ന്crawl.commoncrawl.org-ന് കീഴിൽ ഫോർവേഡ് സ്ഥിരീകരിച്ച റിവേഴ്സ് DNS-ഉം അത് ശുപാർശ ചെയ്യുന്നു; IPv6 വിലാസങ്ങൾക്ക് റിവേഴ്സ് DNS ഇല്ല. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, ഏത് സമയത്തും മാറാമെന്നതിനാൽ ദിവസവും പുതുക്കാൻ Bing ആവശ്യപ്പെടുന്നു, അല്ലെങ്കിൽsearch.msn.com-ൽ അവസാനിക്കുന്ന റിവേഴ്സ് DNS. Bing ഒരു പൊതു Verify Bingbot ടൂളും നൽകുന്നു. - Meta: അതിന്റെ ക്രോളർ പേജ് IP പട്ടിക പ്രസിദ്ധീകരിക്കുന്നില്ല.
ഒരു IP വിലാസം ഔദ്യോഗിക ക്രോളർ പട്ടികകളുമായി എങ്ങനെ ഒത്തുനോക്കാം?
ഈ സ്ക്രിപ്റ്റ് ഓരോ പട്ടികയും ലോഡ് ചെയ്ത് ഏതിലാണ് വിലാസം ഉള്ളതെന്ന് റിപ്പോർട്ട് ചെയ്യുന്നു. ഇതിന് Python 3 മാത്രം മതി, IPv4-ഉം IPv6-ഉം കൈകാര്യം ചെയ്യുന്നു.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF പട്ടികകൾ മാറുന്നു. ഓരോ ഫയലിലും സ്വന്തം creationTime ഉണ്ട്, ഫയർവാൾ നിയമങ്ങളിലെ അപ്ഡേറ്റുകൾ ഓട്ടോമേറ്റ് ചെയ്യാൻ Perplexity ശുപാർശ ചെയ്യുന്നു, Bing അതിന്റെ പട്ടിക ദിവസവും പുതുക്കാൻ ആവശ്യപ്പെടുന്നു. പട്ടികകൾ ഒരു ഫയർവാളിൽ ഉപയോഗിക്കുന്നുവെങ്കിൽ, ഒരിക്കൽ പകർത്തുന്നതിന് പകരം ഒരു ഷെഡ്യൂളിൽ അവ എടുക്കുക.
Googlebot, bingbot, Applebot എന്നിവയെ റിവേഴ്സ് DNS ഉപയോഗിച്ച് എങ്ങനെ സ്ഥിരീകരിക്കാം?
Google, Microsoft, Apple, Common Crawl എന്നിവ ഒരേ രണ്ട്-ഘട്ട പരിശോധന രേഖപ്പെടുത്തുന്നു: IP വിലാസത്തിന്റെ പേര് കണ്ടെത്തി അത് കമ്പനിയുടെ ഡൊമെയ്നിൽ അവസാനിക്കുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക, തുടർന്ന് ആ പേര് തിരഞ്ഞ് അത് അതേ IP തന്നെ നൽകുന്നുണ്ടെന്ന് ഉറപ്പാക്കുക. രണ്ട് ഘട്ടങ്ങളും പ്രധാനമാണ്, കാരണം ഒരു IP ശ്രേണി നിയന്ത്രിക്കുന്ന ആർക്കും ഇഷ്ടമുള്ള റിവേഴ്സ് DNS പേര് സജ്ജമാക്കാം, പക്ഷേ കമ്പനിയുടെ ഡൊമെയ്ൻ തിരികെ അതിലേക്ക് ചൂണ്ടിക്കാൻ കഴിയില്ല.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google അതിന്റെ ക്രോളർ തരങ്ങളിലുടനീളം googlebot.com, google.com, googleusercontent.com എന്നിവ സ്വീകരിക്കുന്നു; മുകളിലെ ഫംഗ്ഷൻ googlebot.com മാത്രമേ സ്വീകരിക്കൂ, Google-ന്റെ ഉദാഹരണങ്ങളിൽ Googlebot തന്നെ ഉപയോഗിക്കുന്നത് അതാണ്. Google-ന്റെ മറ്റ് ക്രോളറുകൾക്കും ഫെച്ചറുകൾക്കും അതിന്റെ JSON പട്ടികകൾ ഉപയോഗിക്കുക. DNS ലുക്കപ്പുകൾക്ക് സമയമെടുക്കും, അതിനാൽ ഓരോ ലൈവ് അഭ്യർത്ഥനയിലുമല്ല, ലോഗുകൾ അവലോകനം ചെയ്യുമ്പോൾ അവ പ്രവർത്തിപ്പിക്കുക അല്ലെങ്കിൽ ഫലം കാഷ് ചെയ്യുക.
GPTBot കണ്ടെത്താൻ യൂസർ ഏജന്റ് പരിശോധന മാത്രം പോരാത്തത് എന്തുകൊണ്ട്?
യൂസർ ഏജന്റ് ക്ലയന്റ് തിരഞ്ഞെടുക്കുന്ന ഒരു ഹെഡറാണ്, അതിനാൽ ആർക്കും GPTBot അല്ലെങ്കിൽ Googlebot അയയ്ക്കാം. ചില ക്രോളറുകൾ CCBot ആണെന്ന് തെറ്റായി അവകാശപ്പെടുന്നുവെന്ന് Common Crawl മുന്നറിയിപ്പ് നൽകുന്നു, bingbot ആണെന്ന് അവകാശപ്പെടുന്ന ട്രാഫിക് ശരിക്കും Bing-ൽ നിന്നാണോ എന്ന് പരിശോധിക്കാൻ Bing ഒരു ഗൈഡ് പ്രസിദ്ധീകരിക്കുന്നു. GPTBot-നെ വിശ്വസനീയമായി കണ്ടെത്തുക എന്നാൽ രണ്ടും പരിശോധിക്കുക എന്നാണ്: യൂസർ ഏജന്റിലെ ടോക്കണും gptbot.json-ലെ ഉറവിട IP-യും. പട്ടികയിലില്ലാത്ത വിലാസത്തിൽ നിന്ന് ടോക്കണോടെ വരുന്ന അഭ്യർത്ഥന ഒരു അനുകരണമാണ്, അതിനെ തടയുന്നത് OpenAI-യെ ബാധിക്കില്ല.
തിരിച്ചും സംഭവിക്കാം. നിങ്ങളുടെ ഫയർവാൾ യൂസർ ഏജന്റ് മാത്രം അനുവദിക്കുന്നുവെങ്കിൽ, അനുകരണങ്ങൾ കടക്കും; IP ശ്രേണി മാത്രം അനുവദിക്കുന്നുവെങ്കിൽ, നിങ്ങൾ തടയാൻ ഉദ്ദേശിച്ചത് ഉൾപ്പെടെ ആ കമ്പനിയുടെ നെറ്റ്വർക്കിൽ നിന്നുള്ള ഏത് ഏജന്റിനും ഒരേ പരിഗണന ലഭിക്കും. രണ്ടും പൊരുത്തപ്പെടുത്തുക എന്നതാണ് ആശ്രയിക്കാവുന്ന നിയമം.
AI ക്രോളർ ട്രാഫിക് സ്ഥിരീകരിക്കാൻ AISeeWhy എങ്ങനെ സഹായിക്കും?
സൗജന്യ AISeeWhy AI ക്രോളർ IP പരിശോധന, അക്കൗണ്ട് ഇല്ലാതെ, ഒരു IP വിലാസം GPTBot-ന്റേതാണോ മറ്റൊരു AI ക്രോളറിന്റേതാണോ എന്ന് പറയുന്നു. തുടർന്ന് സൗജന്യ സൈറ്റ് പരിശോധന ഒരു യഥാർത്ഥ ബ്രൗസറിനൊപ്പം 16 AI, സെർച്ച് ക്രോളറുകളായി നിങ്ങളുടെ പേജ് അഭ്യർത്ഥിക്കുന്നു, അതിനാൽ യഥാർത്ഥ ക്രോളറുകൾക്ക് എന്ത് ലഭിക്കുമെന്ന് കാണാം.
അടുത്ത ഘട്ടങ്ങൾ
- AI ക്രോളറുകൾക്കുള്ള robots.txt ടെസ്റ്ററും ചെക്കറും
- AI ക്രോളർ IP പരിശോധന
- പൂർണ്ണ റിപ്പോർട്ടിന്റെ ഒരു ഉദാഹരണം കാണുക
- AI ക്രോളർ മോണിറ്ററിംഗ്
- പ്ലാനുകളും വിലകളും
ഈ ലേഖനത്തിലെ ക്രോളറുകൾ
പതിവ് ചോദ്യങ്ങൾ
GPTBot യൂസർ ഏജന്റ് എന്താണ്?
OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot പ്രസിദ്ധീകരിക്കുന്നു, പതിപ്പ് മാറാമെന്നും സൂചിപ്പിക്കുന്നു. GPTBot ഉപയോഗിച്ച് പൊരുത്തപ്പെടുത്തി IP https://openai.com/gptbot.json-മായി ഒത്തുനോക്കുക.
OAI-SearchBot യൂസർ ഏജന്റ് എന്താണ്?
compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot-ൽ അവസാനിക്കുന്ന Chrome ശൈലിയിലുള്ള സ്ട്രിംഗ്. അതിന്റെ വിലാസങ്ങൾ https://openai.com/searchbot.json-ൽ നൽകിയിട്ടുണ്ട്. ChatGPT സെർച്ചിൽ സൈറ്റുകൾ കാണിക്കാൻ OpenAI ഇത് ഉപയോഗിക്കുന്നു, അത് GPTBot-ന്റേതിൽ നിന്ന് വ്യത്യസ്തമായ ജോലിയാണ്.
Anthropic ClaudeBot IP വിലാസങ്ങൾ പ്രസിദ്ധീകരിക്കുന്നുണ്ടോ?
അതെ. Anthropic https://claude.com/crawling/bots.json-ലേക്ക് ലിങ്ക് നൽകുന്നു, ആ പട്ടികയിലെ ഉറവിട IP ക്രോളർ Anthropic-ൽ നിന്നാണെന്ന് കാണിക്കുന്നുവെന്ന് പറയുന്നു. അതിന്റെ സഹായ ലേഖനം ബോട്ട് ടോക്കണുകളുടെ പേര് നൽകുന്നു, പക്ഷേ പൂർണ്ണ യൂസർ ഏജന്റ് സ്ട്രിംഗുകൾ നൽകുന്നില്ല.
Google-Extended-ഓ Applebot-Extended-ഓ എന്റെ ലോഗുകളിൽ കാണാനാകുമോ?
ഇല്ല. രണ്ടും robots.txt ടോക്കണുകളാണ്, ക്രോളറുകളല്ല. Google-ഉം Apple-ഉം Googlebot, Applebot എന്നിവ ഉപയോഗിച്ചാണ് പേജുകൾ എടുക്കുന്നത്, ഉള്ളടക്കം AI-ക്കായി എങ്ങനെ ഉപയോഗിക്കാമെന്ന് തീരുമാനിക്കാൻ മാത്രമാണ് ഈ ടോക്കണുകൾ ഉപയോഗിക്കുന്നത്.
bingbot IP വിലാസ പട്ടിക എവിടെയാണ്?
Bing അത് https://www.bing.com/toolbox/bingbot.json-ൽ പ്രസിദ്ധീകരിക്കുന്നു, ദിവസവും പുതുക്കാൻ ആവശ്യപ്പെടുന്നു. പേര് search.msn.com-ൽ അവസാനിക്കണമെന്ന റിവേഴ്സ്, ഫോർവേഡ് DNS പരിശോധനയാണ് അതിന്റെ സ്വന്തം ഗൈഡ് ശുപാർശ ചെയ്യുന്നത്.
ഉറവിടങ്ങൾ
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot