User agent-и и IP опсези AI краулера: GPTBot, ClaudeBot, PerplexityBot и други
GPTBot се представља user agent-ом који садржи GPTBot/1.4; +https://openai.com/gptbot, а OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple и Common Crawl објављују JSON листу IP опсега које користе њихови краулери. Захтев је прави само када се обоје поклапа: user agent наводи краулер, а изворна IP адреса је на листи тог добављача или, за Googlebot, bingbot, Applebot и CCBot, пролази обрнуту и директну DNS проверу. Сам user agent не доказује ништа, јер свако може да га пошаље.
Када у логовима видите GPTBot или ClaudeBot или желите правило заштитног зида које пропушта AI краулере за претрагу, потребне су вам две ствари: тачан стринг који сваки краулер шаље и начин да докажете да је захтев дошао од компаније коју наводи. У наставку су стрингови онако како их сваки добављач данас објављује, званична IP листа или DNS метода за сваког и две скрипте којима можете да проверите адресу.
На овој страници
- Који су user agent стрингови за GPTBot, ClaudeBot, PerplexityBot и друге AI краулере?
- Који краулер шта ради и која имена су само robots.txt токени?
- Где добављачи AI краулера објављују своје IP опсеге?
- Како да проверим IP адресу у односу на званичне листе краулера?
- Како да верификујем Googlebot, bingbot или Applebot обрнутим DNS-ом?
- Зашто провера user agent-а није довољна да се препозна GPTBot?
- Како AISeeWhy може да помогне у верификацији саобраћаја AI краулера?
Који су user agent стрингови за GPTBot, ClaudeBot, PerplexityBot и друге AI краулере?
Ово је копирано из документације самих добављача. OpenAI и Perplexity напомињу да се бројеви верзија могу мењати, Google и Microsoft на месту W.X.Y.Z уписују актуелну верзију прегледача, а Apple каже да повремено ажурира део који се односи на прегледач. Поклапајте по токену краулера, као што је GPTBot или bingbot, а не по целом стрингу.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 Anthropic-ов чланак помоћи наводи ClaudeBot, Claude-SearchBot и Claude-User, али не штампа пуне user agent стрингове, па поклапајте по тим токенима. Meta-ина страница о краулерима наводи стрингове који почињу приказаним токенима, иза којих следи линк ка њеној документацији, и каже да се стрингови у вашим логовима могу мало разликовати.
Који краулер шта ради и која имена су само robots.txt токени?
GPTBotприкупља садржај који може да се користи за обуку OpenAI-јевих основних модела.OAI-SearchBotприказује сајтове у ChatGPT претрази.ChatGPT-Userпреузима странице за радње које покреће корисник, а OpenAI каже да се robots.txt правила на њега можда не примењују.OAI-AdsBotпроверава странице послате као ChatGPT огласи.ClaudeBotприкупља податке за Anthropic-ове моделе,Claude-SearchBotпобољшава резултате претраге, аClaude-Userпреузима странице када неко постави питање Claude-у.PerplexityBotприказује и линкује сајтове у Perplexity претрази и не користи се за обуку основних модела.Perplexity-Userпреузима странице када корисник постави питање.meta-externalagentобилази веб за обуку AI модела или индексирање садржаја,meta-webindexerиндексира садржај за Meta AI претрагу, аmeta-externalfetcherпреузима линкове на захтев корисника.CCBotје краулер Common Crawl-а, јавне архиве веба.
Два имена се никада не појављују у вашим логовима. Google-Extended је robots.txt токен који контролише да ли садржај који Google индексира сме да се користи за Gemini моделе и утемељење одговора; Google каже да не утиче на укључивање у Google претрагу. Applebot-Extended је, Apple-овим речима, секундарни user agent који не индексира веб странице; он само одлучује како Apple сме да користи податке које је прикупио Applebot. Захтев који тврди да је било који од њих није прави.
Где добављачи AI краулера објављују своје IP опсеге?
Већина добављача објављује JSON фајл истог облика: низ prefixes објеката са ipv4Prefix или ipv6Prefix, плус creationTime који говори колико је фајл свеж.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonиhttps://openai.com/adsbot.json, по један за сваки агент. - Anthropic:
https://claude.com/crawling/bots.json, једна листа за све његове краулере. Anthropic каже да адреса са ове листе показује да краулер долази од Anthropic-а, али и да блокирање по IP адреси можда неће поуздано обезбедити одјаву. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonиhttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonза Googlebot, са засебним фајловима за краулере посебне намене и преузимања која покреће корисник. Ради и обрнути DNS. - Apple:
https://search.developer.apple.com/applebot.jsonили обрнути DNS уapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. За IPv4 препоручује и обрнути DNS потврђен директним упитом подcrawl.commoncrawl.org; IPv6 адресе немају обрнути DNS. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, коју Bing тражи да освежавате свакодневно јер може да се промени у било ком тренутку, или обрнути DNS који се завршава наsearch.msn.com. Bing нуди и јавни алат Verify Bingbot. - Meta: њена страница о краулерима не објављује IP листу.
Како да проверим IP адресу у односу на званичне листе краулера?
Ова скрипта учитава сваку листу и јавља која садржи адресу. Потребан јој је само Python 3 и ради са IPv4 и IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF Листе се мењају. Сваки фајл носи свој creationTime, Perplexity препоручује аутоматско ажурирање правила заштитног зида, а Bing тражи да своју листу освежавате свакодневно. Ако листе користите у заштитном зиду, преузимајте их по распореду уместо да их копирате једном.
Како да верификујем Googlebot, bingbot или Applebot обрнутим DNS-ом?
Google, Microsoft, Apple и Common Crawl документују исту проверу у два корака: потражите име IP адресе, потврдите да се завршава доменом добављача, затим потражите то име и потврдите да враћа исту IP адресу. Оба корака су важна, јер онај ко контролише IP опсег може да постави било које име за обрнути DNS, али не може да натера домен добављача да показује назад на њега.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified Google прихвата googlebot.com, google.com и googleusercontent.com у својим врстама краулера; функција изнад прихвата само googlebot.com, што сам Googlebot користи у Google-овим примерима. За друге Google-ове краулере и алате за преузимање користите његове JSON листе. DNS упити трају, па их покрећите када прегледате логове или кеширајте резултат, уместо при сваком живом захтеву.
Зашто провера user agent-а није довољна да се препозна GPTBot?
User agent је заглавље које бира клијент, па свако може да пошаље GPTBot или Googlebot. Common Crawl упозорава да се неки краулери лажно представљају као CCBot, а Bing објављује водич за проверу да ли саобраћај који тврди да је bingbot заиста долази од Bing-а. Поуздано препознавање GPTBot-а значи проверу обоје: токена у user agent-у и изворне IP адресе у gptbot.json. Захтев са токеном са адресе која није на листи је имитатор, а његово блокирање не утиче на OpenAI.
Дешава се и обрнуто. Ако ваш заштитни зид дозвољава само user agent, имитатори улазе; ако дозвољава само IP опсег, сваки агент из мреже тог добављача добија исти третман, чак и онај који сте хтели да блокирате. Поклапање обоје је поуздано правило.
Како AISeeWhy може да помогне у верификацији саобраћаја AI краулера?
Бесплатна AISeeWhy провера IP адреса AI краулера вам без налога говори да ли IP адреса припада GPTBot-у или другом AI краулеру. Бесплатна провера сајта затим захтева вашу страницу као 16 AI краулера и краулера претраживача поред правог прегледача, па можете да видите шта би прави краулери добили.
Следећи кораци
- robots.txt тестер и провера за AI краулере
- Провера IP адресе AI краулера
- Погледајте пример потпуног извештаја
- Праћење AI краулера
- Планови и цене
Краулери у овом чланку
Честа питања
Који је user agent за GPTBot?
OpenAI објављује Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot и напомиње да се верзија може променити. Поклапајте по GPTBot и проверите IP адресу у https://openai.com/gptbot.json.
Који је user agent за OAI-SearchBot?
Стринг у стилу Chrome-а који се завршава са compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Његове адресе су наведене у https://openai.com/searchbot.json. OpenAI га користи за приказ сајтова у ChatGPT претрази, што је другачији посао од GPTBot.
Да ли Anthropic објављује IP адресе ClaudeBot-а?
Да. Anthropic линкује https://claude.com/crawling/bots.json и каже да изворна IP адреса са те листе показује да је краулер од Anthropic-а. Његов чланак помоћи наводи токене ботова, али не и пуне user agent стрингове.
Могу ли да видим Google-Extended или Applebot-Extended у логовима?
Не. Оба су robots.txt токени, а не краулери. Google и Apple преузимају странице са Googlebot и Applebot и ове токене користе само да одлуче како садржај сме да се користи за AI.
Где је листа IP адреса bingbot-а?
Bing је објављује на https://www.bing.com/toolbox/bingbot.json и тражи да је освежавате свакодневно. Његов водич препоручује обрнуту и директну DNS проверу, при чему име мора да се завршава на search.msn.com.
Извори
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot