User agent-ët dhe gamat IP të zvarritësve AI: GPTBot, ClaudeBot, PerplexityBot dhe të tjerë
GPTBot identifikohet me një user agent që përmban GPTBot/1.4; +https://openai.com/gptbot, dhe OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple dhe Common Crawl publikojnë secili një listë JSON me gamat IP që përdorin zvarritësit e tyre. Një kërkesë është e vërtetë vetëm kur përputhen të dyja: user agent-i emërton zvarritësin dhe IP-ja burimore është në listën e atij ofruesi, ose, për Googlebot, bingbot, Applebot dhe CCBot, kalon një kontroll DNS të kundërt dhe të drejtë. Vetëm user agent-i nuk provon asgjë, sepse kushdo mund ta dërgojë.
Kur shihni GPTBot ose ClaudeBot në logjet tuaja, ose doni një rregull firewall-i që i lë të kalojnë zvarritësit e kërkimit me AI, ju duhen dy gjëra: vargu i saktë që dërgon çdo zvarritës dhe një mënyrë për të provuar që një kërkesë vjen nga kompania që emërton. Më poshtë janë vargjet siç i publikon sot çdo ofrues, lista zyrtare IP ose metoda DNS për secilin dhe dy skripte që mund t'i ekzekutoni për të kontrolluar një adresë.
Në këtë faqe
- Cilat janë vargjet user agent të GPTBot, ClaudeBot, PerplexityBot dhe zvarritësve të tjerë AI?
- Cili zvarritës bën çfarë dhe cilët emra janë vetëm tokenë të robots.txt?
- Ku i publikojnë ofruesit e zvarritësve AI gamat e tyre IP?
- Si ta kontrolloj një adresë IP kundrejt listave zyrtare të zvarritësve?
- Si t'i verifikoj Googlebot, bingbot ose Applebot me DNS të kundërt?
- Pse kontrolli i user agent-it nuk mjafton për të zbuluar GPTBot?
- Si mund të ndihmojë AISeeWhy për të verifikuar trafikun e zvarritësve AI?
Cilat janë vargjet user agent të GPTBot, ClaudeBot, PerplexityBot dhe zvarritësve të tjerë AI?
Këto janë kopjuar nga dokumentacioni i vetë ofruesve. OpenAI dhe Perplexity vërejnë se numrat e versioneve mund të ndryshojnë, Google dhe Microsoft vendosin versionin aktual të shfletuesit aty ku shfaqet W.X.Y.Z, dhe Apple thotë se herë pas here e përditëson pjesën e shfletuesit. Përputhni sipas tokenit të zvarritësit, si GPTBot ose bingbot, jo sipas gjithë vargut.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Artikulli i ndihmës i Anthropic përmend ClaudeBot, Claude-SearchBot dhe Claude-User, por nuk i jep vargjet e plota user agent, ndaj përputhni sipas këtyre tokenëve. Faqja e zvarritësve të Meta rendit vargje që fillojnë me tokenët e treguar, të ndjekur nga një lidhje drejt dokumentacionit të saj, dhe thotë se vargjet që shfaqen në logjet tuaja mund të ndryshojnë pak.
Cili zvarritës bën çfarë dhe cilët emra janë vetëm tokenë të robots.txt?
GPTBotmbledh përmbajtje që mund të përdoret për të trajnuar modelet bazë të OpenAI.OAI-SearchBoti nxjerr sajtet në kërkimin e ChatGPT.ChatGPT-Usermerr faqe për veprime që nis një përdorues, dhe OpenAI thotë se rregullat e robots.txt mund të mos zbatohen për të.OAI-AdsBotkontrollon faqet e dorëzuara si reklama në ChatGPT.ClaudeBotmbledh të dhëna për modelet e Anthropic,Claude-SearchBotpërmirëson rezultatet e kërkimit dheClaude-Usermerr faqe kur një person i bën Claude një pyetje.PerplexityBoti nxjerr dhe i lidh sajtet në kërkimin e Perplexity dhe nuk përdoret për trajnimin e modeleve bazë.Perplexity-Usermerr faqe kur një përdorues bën një pyetje.meta-externalagentzvarrit për trajnimin e modeleve AI ose indeksimin e përmbajtjes,meta-webindexerindekson përmbajtje për kërkimin e Meta AI, dhemeta-externalfetchermerr lidhje me kërkesë të përdoruesit.CCBotështë zvarritësi i Common Crawl, një arkivi publik i web-it.
Dy emra nuk shfaqen kurrë në logjet tuaja. Google-Extended është një token i robots.txt që kontrollon nëse përmbajtja që zvarrit Google mund të përdoret për modelet Gemini dhe për grounding; Google thotë se nuk ndikon në përfshirjen në Google Search. Applebot-Extended është, me fjalët e Apple, një user agent dytësor që nuk zvarrit faqe web; ai vetëm vendos si mund t'i përdorë Apple të dhënat që mblodhi Applebot. Një kërkesë që pretendon të jetë njëri prej tyre nuk është e vërtetë.
Ku i publikojnë ofruesit e zvarritësve AI gamat e tyre IP?
Shumica e ofruesve publikojnë një skedar JSON me të njëjtën formë: një varg prefixes me objekte që kanë ipv4Prefix ose ipv6Prefix, plus një creationTime që ju tregon sa i freskët është.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsondhehttps://openai.com/adsbot.json, një për çdo agjent. - Anthropic:
https://claude.com/crawling/bots.json, një listë për zvarritësit e tij. Anthropic thotë se një adresë në këtë listë tregon që zvarritësi vjen nga Anthropic, dhe gjithashtu se bllokimi sipas IP-së mund të mos e garantojë me siguri refuzimin. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsondhehttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonpër Googlebot, me skedarë të veçantë për zvarritësit e rasteve të veçanta dhe për marrjet e nisura nga përdoruesit. Funksionon edhe DNS-ja e kundërt. - Apple:
https://search.developer.apple.com/applebot.json, ose DNS e kundërt nëapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Për IPv4 rekomandon gjithashtu DNS të kundërt të konfirmuar në drejtimin e kundërt nëncrawl.commoncrawl.org; adresat IPv6 nuk kanë DNS të kundërt. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, të cilin Bing ju kërkon ta rifreskoni çdo ditë sepse mund të ndryshojë në çdo kohë, ose DNS e kundërt që mbaron mesearch.msn.com. Bing ofron edhe një mjet publik Verify Bingbot. - Meta: faqja e saj e zvarritësve nuk publikon listë IP.
Si ta kontrolloj një adresë IP kundrejt listave zyrtare të zvarritësve?
Ky skript ngarkon çdo listë dhe raporton cila prej tyre e përmban adresën. I duhet vetëm Python 3 dhe trajton IPv4 dhe IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Listat ndryshojnë. Çdo skedar ka creationTime e vet, Perplexity rekomandon automatizimin e përditësimeve të rregullave të firewall-it dhe Bing ju kërkon ta rifreskoni listën e tij çdo ditë. Nëse i përdorni listat në një firewall, merrini sipas një orari dhe mos i kopjoni vetëm një herë.
Si t'i verifikoj Googlebot, bingbot ose Applebot me DNS të kundërt?
Google, Microsoft, Apple dhe Common Crawl dokumentojnë të njëjtin kontroll me dy hapa: kërkoni emrin e adresës IP, konfirmoni që mbaron me domenin e ofruesit, pastaj kërkoni atë emër dhe konfirmoni që kthen të njëjtën IP. Të dy hapat kanë rëndësi, sepse kushdo që kontrollon një gamë IP mund të caktojë çfarëdo emri DNS të kundërt, por nuk mund ta bëjë domenin e ofruesit të tregojë drejt saj.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google pranon googlebot.com, google.com dhe googleusercontent.com për llojet e ndryshme të zvarritësve; funksioni i mësipërm pranon vetëm googlebot.com, që është ai që përdor vetë Googlebot në shembujt e Google. Për zvarritësit dhe marrjet e tjera të Google, përdorni listat e tij JSON. Kërkimet DNS marrin kohë, ndaj ekzekutojini kur shqyrtoni logjet ose ruajeni rezultatin në cache, në vend që t'i bëni për çdo kërkesë live.
Pse kontrolli i user agent-it nuk mjafton për të zbuluar GPTBot?
User agent-i është një header që e zgjedh klienti, ndaj kushdo mund të dërgojë GPTBot ose Googlebot. Common Crawl paralajmëron se disa zvarritës pretendojnë rrejshëm të jenë CCBot, dhe Bing publikon një udhëzues për të kontrolluar nëse trafiku që pretendon të jetë bingbot vjen vërtet nga Bing. Zbulimi i besueshëm i GPTBot do të thotë t'i kontrolloni të dyja: tokenin në user agent dhe IP-në burimore në gptbot.json. Një kërkesë me tokenin nga një adresë që nuk është në listë është imitues, dhe bllokimi i saj nuk ndikon te OpenAI.
Ndodh edhe e kundërta. Nëse firewall-i juaj lejon vetëm një user agent, imituesit hyjnë; nëse lejon vetëm një gamë IP, çdo agjent nga rrjeti i atij ofruesi merr të njëjtin trajtim, edhe ai që donit ta bllokonit. Përputhja e të dyjave është rregulli i besueshëm.
Si mund të ndihmojë AISeeWhy për të verifikuar trafikun e zvarritësve AI?
Kontrolli falas i IP-së së zvarritësve AI në AISeeWhy ju tregon, pa llogari, nëse një adresë IP i përket GPTBot ose një zvarritësi tjetër AI. Kontrolli falas i sajtit pastaj e kërkon faqen tuaj si 16 zvarritës AI dhe kërkimi krahas një shfletuesi real, që të shihni çfarë do të merrnin zvarritësit e vërtetë.
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Kontrolli i IP-së së zvarritësve AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
Cili është user agent-i i GPTBot?
OpenAI publikon Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot dhe vëren se versioni mund të ndryshojë. Përputhni sipas GPTBot dhe konfirmoni IP-në kundrejt https://openai.com/gptbot.json.
Cili është user agent-i i OAI-SearchBot?
Një varg në stilin e Chrome që mbaron me compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Adresat e tij renditen në https://openai.com/searchbot.json. OpenAI e përdor për të nxjerrë sajtet në kërkimin e ChatGPT, që është punë tjetër nga ajo e GPTBot.
A i publikon Anthropic adresat IP të ClaudeBot?
Po. Anthropic lidh me https://claude.com/crawling/bots.json dhe thotë se një IP burimore në atë listë tregon që zvarritësi është nga Anthropic. Artikulli i tij i ndihmës përmend tokenët e botëve, por jo vargjet e plota user agent.
A mund t'i shoh Google-Extended ose Applebot-Extended në logjet e mia?
Jo. Të dy janë tokenë të robots.txt, jo zvarritës. Google dhe Apple i marrin faqet me Googlebot dhe Applebot dhe këta tokenë i përdorin vetëm për të vendosur si mund të përdoret përmbajtja për AI.
Ku është lista e adresave IP të bingbot?
Bing e publikon në https://www.bing.com/toolbox/bingbot.json dhe ju kërkon ta rifreskoni çdo ditë. Udhëzuesi i tij rekomandon kontrollin DNS të kundërt dhe të drejtë, ku emri duhet të mbarojë me search.msn.com.
Burimet
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot