AI crawler user agent'ları ve IP aralıkları: GPTBot, ClaudeBot, PerplexityBot ve diğerleri

Yayınlanma

Kısa cevap

GPTBot kendini GPTBot/1.4; +https://openai.com/gptbot içeren bir user agent ile tanıtır; OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple ve Common Crawl crawler'larının kullandığı IP aralıklarını birer JSON listesi olarak yayımlar. Bir istek ancak ikisi birden tuttuğunda gerçektir: user agent crawler'ı adlandırır ve kaynak IP o sağlayıcının listesindedir ya da Googlebot, bingbot, Applebot ve CCBot için ters ve ileri DNS kontrolünden geçer. Tek başına user agent hiçbir şey kanıtlamaz, çünkü herkes onu gönderebilir.

Günlüklerinizde GPTBot ya da ClaudeBot gördüğünüzde veya AI arama crawler'larını geçiren bir güvenlik duvarı kuralı istediğinizde iki şeye ihtiyacınız var: her crawler'ın gönderdiği tam dize ve bir isteğin adını verdiği şirketten geldiğini kanıtlamanın bir yolu. Aşağıda her sağlayıcının bugün yayımladığı dizeler, her biri için resmî IP listesi ya da DNS yöntemi ve bir adresi kontrol etmek için çalıştırabileceğiniz iki betik var.

Bu sayfada
  1. GPTBot, ClaudeBot, PerplexityBot ve diğer AI crawler'larının user agent dizeleri neler?
  2. Hangi crawler ne yapar, hangi adlar yalnızca robots.txt token'ıdır?
  3. AI crawler sağlayıcıları IP aralıklarını nerede yayımlıyor?
  4. Bir IP adresini resmî crawler listelerine göre nasıl kontrol ederim?
  5. Googlebot, bingbot veya Applebot'u ters DNS ile nasıl doğrularım?
  6. GPTBot'u tespit etmek için user agent kontrolü neden yetmez?
  7. AISeeWhy AI crawler trafiğini doğrulamaya nasıl yardım eder?

GPTBot, ClaudeBot, PerplexityBot ve diğer AI crawler'larının user agent dizeleri neler?

Bunlar sağlayıcıların kendi belgelerinden kopyalandı. OpenAI ve Perplexity sürüm numaralarının değişebileceğini belirtiyor, Google ve Microsoft W.X.Y.Z görünen yere güncel tarayıcı sürümünü koyuyor, Apple da tarayıcı kısmını zaman zaman güncellediğini söylüyor. Dizenin tamamına değil, GPTBot ya da bingbot gibi crawler token'ına göre eşleştirin.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

Anthropic'in yardım makalesi ClaudeBot, Claude-SearchBot ve Claude-User adlarını veriyor, ama tam user agent dizelerini yazmıyor; bu yüzden bu token'lara göre eşleştirin. Meta'nın crawler sayfası, gösterilen token'larla başlayıp belgelerine giden bir bağlantıyla devam eden dizeler listeliyor ve günlüklerinizde görünen dizelerin biraz farklı olabileceğini söylüyor.

Hangi crawler ne yapar, hangi adlar yalnızca robots.txt token'ıdır?

İki ad günlüklerinizde hiçbir zaman görünmez. Google-Extended, Google'ın taradığı içeriğin Gemini modelleri ve grounding için kullanılıp kullanılamayacağını denetleyen bir robots.txt token'ıdır; Google bunun Google Arama'ya dahil edilmeyi etkilemediğini söylüyor. Applebot-Extended ise Apple'ın deyişiyle web sayfalarını taramayan ikincil bir user agent'tır; yalnızca Apple'ın Applebot'un topladığı verileri nasıl kullanabileceğini belirler. Bunlardan biri olduğunu iddia eden bir istek gerçek değildir.

AI crawler sağlayıcıları IP aralıklarını nerede yayımlıyor?

Sağlayıcıların çoğu aynı yapıda bir JSON dosyası yayımlar: ipv4Prefix ya da ipv6Prefix içeren nesnelerden oluşan bir prefixes dizisi ve dosyanın ne kadar güncel olduğunu gösteren bir creationTime.

Bir IP adresini resmî crawler listelerine göre nasıl kontrol ederim?

Bu betik her listeyi yükler ve adresi hangisinin içerdiğini bildirir. Yalnızca Python 3 gerektirir ve IPv4 ile IPv6'yı destekler.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

Listeler değişir. Her dosya kendi creationTime değerini taşır, Perplexity güvenlik duvarı kurallarınızın güncellenmesini otomatikleştirmenizi öneriyor, Bing de listesini her gün yenilemenizi istiyor. Listeleri bir güvenlik duvarında kullanıyorsanız bir kez kopyalamak yerine düzenli aralıklarla çekin.

Googlebot, bingbot veya Applebot'u ters DNS ile nasıl doğrularım?

Google, Microsoft, Apple ve Common Crawl aynı iki adımlı kontrolü belgeliyor: IP adresinin adını sorgulayın, sağlayıcının alan adıyla bittiğini doğrulayın, ardından bu adı sorgulayın ve aynı IP'yi döndürdüğünü doğrulayın. İki adım da önemli, çünkü bir IP aralığını kontrol eden herkes istediği ters DNS adını ayarlayabilir, ama sağlayıcının alan adının kendisine geri işaret etmesini sağlayamaz.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

Google, crawler türlerinde googlebot.com, google.com ve googleusercontent.com alan adlarını kabul ediyor; yukarıdaki işlev yalnızca Google'ın örneklerinde Googlebot'un kendisinin kullandığı googlebot.com'u kabul eder. Google'ın diğer crawler'ları ve çekicileri için JSON listelerini kullanın. DNS sorguları zaman alır; bu yüzden onları her canlı istekte değil, günlükleri incelerken çalıştırın ya da sonucu önbelleğe alın.

GPTBot'u tespit etmek için user agent kontrolü neden yetmez?

User agent, istemcinin seçtiği bir başlıktır; yani herkes GPTBot ya da Googlebot gönderebilir. Common Crawl bazı crawler'ların kendilerini yanlışlıkla CCBot olarak tanıttığı konusunda uyarıyor, Bing de bingbot olduğunu iddia eden trafiğin gerçekten Bing'den gelip gelmediğini kontrol etmek için bir rehber yayımlıyor. GPTBot'u güvenilir biçimde tespit etmek ikisini birden kontrol etmek demektir: user agent'taki token ve gptbot.json içindeki kaynak IP. Listede olmayan bir adresten token'la gelen istek bir taklitçidir ve onu engellemek OpenAI'ı etkilemez.

Tersi de olur. Güvenlik duvarınız yalnızca bir user agent'a izin veriyorsa taklitçiler içeri girer; yalnızca bir IP aralığına izin veriyorsa o sağlayıcının ağından gelen her ajan, engellemek istediğiniz biri olsa bile, aynı muameleyi görür. İkisini birden eşleştirmek güvenilir kuraldır.

AISeeWhy AI crawler trafiğini doğrulamaya nasıl yardım eder?

Ücretsiz AISeeWhy AI crawler IP kontrolü, hesap gerektirmeden bir IP adresinin GPTBot'a ya da başka bir AI crawler'ına ait olup olmadığını söyler. Ücretsiz site denetimi ise sayfanızı gerçek bir tarayıcının yanı sıra 16 AI ve arama crawler'ı olarak ister; böylece gerçek crawler'ların ne alacağını görebilirsiniz.

Ücretsiz araçlar

Sonraki adımlar

Bu makaledeki tarayıcılar

Sık sorulan sorular

GPTBot user agent'ı nedir?

OpenAI Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot dizesini yayımlıyor ve sürümün değişebileceğini belirtiyor. GPTBot'a göre eşleştirin ve IP'yi https://openai.com/gptbot.json ile doğrulayın.

OAI-SearchBot user agent'ı nedir?

compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot ile biten Chrome tarzı bir dize. Adresleri https://openai.com/searchbot.json içinde listeleniyor. OpenAI onu siteleri ChatGPT aramasında göstermek için kullanıyor; bu, GPTBot'tan farklı bir iş.

Anthropic ClaudeBot IP adreslerini yayımlıyor mu?

Evet. Anthropic https://claude.com/crawling/bots.json adresine bağlantı veriyor ve bu listedeki bir kaynak IP'nin crawler'ın Anthropic'ten olduğunu gösterdiğini söylüyor. Yardım makalesi bot token'larını veriyor, ama tam user agent dizelerini vermiyor.

Google-Extended veya Applebot-Extended'ı günlüklerimde görebilir miyim?

Hayır. İkisi de crawler değil, robots.txt token'ı. Google ve Apple sayfaları Googlebot ve Applebot ile çeker ve bu token'ları yalnızca içeriğin yapay zekâ için nasıl kullanılabileceğine karar vermek için kullanır.

bingbot IP adresi listesi nerede?

Bing onu https://www.bing.com/toolbox/bingbot.json adresinde yayımlıyor ve her gün yenilemenizi istiyor. Kendi rehberi, adın search.msn.com ile bitmesi gereken ters ve ileri DNS kontrolünü öneriyor.

Kaynaklar

Diğer makaleler