ЖИ краулерлерінің user agent-тері мен IP ауқымдары: GPTBot, ClaudeBot, PerplexityBot және басқалар

Жарияланды

Қысқа жауап

GPTBot өзін құрамында GPTBot/1.4; +https://openai.com/gptbot бар user agent-пен таныстырады, ал OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple және Common Crawl әрқайсысы краулерлері пайдаланатын IP ауқымдарының JSON тізімін жариялайды. Сұрау тек екеуі де сәйкес келсе ғана нақты: user agent краулерді атайды және бастапқы IP сол жеткізушінің тізімінде бар, ал Googlebot, bingbot, Applebot және CCBot үшін кері және тура DNS тексеруінен өтеді. Жалғыз user agent ештеңені дәлелдемейді, өйткені оны кез келген адам жібере алады.

Журналдарыңызда GPTBot не ClaudeBot көргенде немесе ЖИ іздеу краулерлерін өткізетін файрвол ережесі керек болғанда, сізге екі нәрсе қажет: әр краулер жіберетін нақты жол және сұраудың өзі атаған компаниядан келгенін дәлелдеу тәсілі. Төменде әр жеткізуші бүгін жариялаған жолдар, әрқайсысына арналған ресми IP тізімі немесе DNS әдісі және мекенжайды тексеру үшін іске қосуға болатын екі скрипт берілген.

Осы бетте
  1. GPTBot, ClaudeBot, PerplexityBot және басқа ЖИ краулерлерінің user agent жолдары қандай?
  2. Қай краулер не істейді және қай атаулар тек robots.txt токендері?
  3. ЖИ краулерлерінің жеткізушілері IP ауқымдарын қайда жариялайды?
  4. IP мекенжайын ресми краулер тізімдерімен қалай тексеремін?
  5. Googlebot, bingbot немесе Applebot-ты кері DNS арқылы қалай тексеремін?
  6. GPTBot-ты анықтауға неге user agent тексеруі жеткіліксіз?
  7. AISeeWhy ЖИ краулерлерінің трафигін тексеруге қалай көмектеседі?

GPTBot, ClaudeBot, PerplexityBot және басқа ЖИ краулерлерінің user agent жолдары қандай?

Олар жеткізушілердің өз құжаттамасынан көшірілген. OpenAI мен Perplexity нұсқа нөмірлері өзгеруі мүмкін екенін ескертеді, Google мен Microsoft W.X.Y.Z тұрған жерге браузердің ағымдағы нұсқасын қояды, ал Apple браузер бөлігін анда-санда жаңартып отыратынын айтады. Бүкіл жолды емес, GPTBot немесе bingbot сияқты краулер токенін салыстырыңыз.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic анықтама мақаласы ClaudeBot, Claude-SearchBot және Claude-User агенттерін атайды, бірақ толық user agent жолдарын бермейді, сондықтан осы токендерді салыстырыңыз. Meta краулер беті көрсетілген токендерден басталып, құжаттамаға сілтемемен жалғасатын жолдарды береді және журналдарыңыздағы жолдар сәл өзгеше болуы мүмкін екенін айтады.

Қай краулер не істейді және қай атаулар тек robots.txt токендері?

Екі атау журналдарыңызда ешқашан кездеспейді. Google-Extended — Google сканерлеген мазмұнды Gemini модельдері мен grounding үшін пайдалануға бола ма, соны басқаратын robots.txt токені; Google оның Google Search-ке енуге әсер етпейтінін айтады. Applebot-Extended — Apple сөзімен айтқанда, веб-беттерді сканерлемейтін қосалқы user agent; ол тек Applebot жинаған деректерді Apple қалай пайдалана алатынын шешеді. Осылардың бірі ретінде өзін таныстыратын сұрау шынайы емес.

ЖИ краулерлерінің жеткізушілері IP ауқымдарын қайда жариялайды?

Жеткізушілердің көбі бірдей пішіндегі JSON файлын жариялайды: ipv4Prefix немесе ipv6Prefix бар нысандардан тұратын prefixes массиві және файлдың қаншалықты жаңа екенін көрсететін creationTime.

IP мекенжайын ресми краулер тізімдерімен қалай тексеремін?

Бұл скрипт әр тізімді жүктеп, мекенжай қай тізімде бар екенін көрсетеді. Оған тек Python 3 керек, ол IPv4 мен IPv6-ны өңдейді.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Тізімдер өзгереді. Әр файлда өз creationTime мәні бар, Perplexity файрвол ережелерін жаңартуды автоматтандыруды ұсынады, ал Bing оның тізімін күн сайын жаңартуды сұрайды. Тізімдерді файрволда пайдалансаңыз, оларды бір рет көшіріп алмай, кесте бойынша жүктеп отырыңыз.

Googlebot, bingbot немесе Applebot-ты кері DNS арқылы қалай тексеремін?

Google, Microsoft, Apple және Common Crawl бірдей екі қадамды тексеруді сипаттайды: IP мекенжайының атын анықтап, оның жеткізуші доменімен аяқталатынын растаңыз, содан кейін сол атты шешіп, ол дәл сол IP-ді қайтаратынын растаңыз. Екі қадам да маңызды, өйткені IP ауқымын басқаратын кез келген адам қалаған кері DNS атын орната алады, бірақ жеткізушінің доменін өзіне қайта бағыттай алмайды.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google өз краулер түрлері үшін googlebot.com, google.com және googleusercontent.com домендерін қабылдайды; жоғарыдағы функция тек googlebot.com доменін қабылдайды, Google мысалдарында Googlebot-тың өзі соны пайдаланады. Google-дың басқа краулерлері мен fetcher-лері үшін оның JSON тізімдерін пайдаланыңыз. DNS сұраулары уақыт алады, сондықтан оларды әр тірі сұрауда емес, журналдарды қарағанда іске қосыңыз немесе нәтижені кэштеңіз.

GPTBot-ты анықтауға неге user agent тексеруі жеткіліксіз?

User agent — клиент өзі таңдайтын тақырып, сондықтан GPTBot немесе Googlebot атын кез келген адам жібере алады. Common Crawl кейбір краулерлер өзін жалған түрде CCBot деп көрсететінін ескертеді, ал Bing өзін bingbot деп таныстыратын трафик шынымен Bing-тен келе ме, соны тексеру нұсқаулығын жариялайды. GPTBot-ты сенімді анықтау екеуін де тексеруді білдіреді: user agent-тегі токенді және gptbot.json ішіндегі бастапқы IP-ді. Тізімде жоқ мекенжайдан токенмен келген сұрау — еліктеуші, оны бұғаттау OpenAI-ға әсер етпейді.

Керісінше де болады. Файрволыңыз тек user agent-ке рұқсат берсе, еліктеушілер өтеді; тек IP ауқымына рұқсат берсе, сол жеткізуші желісіндегі кез келген агент, тіпті сіз бұғаттамақ болғаны да, бірдей қарым-қатынас алады. Екеуін де сәйкестендіру — сенімді ереже.

AISeeWhy ЖИ краулерлерінің трафигін тексеруге қалай көмектеседі?

Тегін AISeeWhy ЖИ краулері IP тексеруі аккаунтсыз IP мекенжайы GPTBot-қа немесе басқа ЖИ краулеріне тиесілі ме, соны айтады. Содан кейін тегін сайт тексеруі бетіңізді нақты браузермен қатар 16 ЖИ және іздеу краулері ретінде сұрайды, сондықтан шынайы краулерлер не алатынын көресіз.

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

GPTBot user agent қандай?

OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot жолын жариялайды және нұсқасы өзгеруі мүмкін екенін ескертеді. GPTBot бойынша салыстырып, IP-ді https://openai.com/gptbot.json тізімімен тексеріңіз.

OAI-SearchBot user agent қандай?

compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot деп аяқталатын Chrome стиліндегі жол. Оның мекенжайлары https://openai.com/searchbot.json тізімінде берілген. OpenAI оны сайттарды ChatGPT іздеуінде көрсету үшін пайдаланады, бұл GPTBot жұмысынан өзгеше.

Anthropic ClaudeBot IP мекенжайларын жариялай ма?

Иә. Anthropic https://claude.com/crawling/bots.json тізіміне сілтеме береді және осы тізімдегі бастапқы IP краулердің Anthropic-тен екенін көрсететінін айтады. Оның анықтама мақаласы бот токендерін атайды, бірақ толық user agent жолдарын бермейді.

Журналдарымда Google-Extended немесе Applebot-Extended көре аламын ба?

Жоқ. Екеуі де краулер емес, robots.txt токендері. Google мен Apple беттерді Googlebot және Applebot арқылы алады, ал бұл токендерді тек мазмұнды ЖИ үшін қалай пайдалануға болатынын шешу үшін қолданады.

bingbot IP мекенжайларының тізімі қайда?

Bing оны https://www.bing.com/toolbox/bingbot.json мекенжайында жариялайды және күн сайын жаңартып отыруды сұрайды. Оның өз нұсқаулығы кері және тура DNS тексеруін ұсынады, онда атау search.msn.com деп аяқталуы керек.

Дереккөздер

Басқа мақалалар