User agents e faixas de IP de crawlers de IA: GPTBot, ClaudeBot, PerplexityBot e outros

Publicado em

Resposta curta

O GPTBot se identifica com um user agent que contém GPTBot/1.4; +https://openai.com/gptbot, e OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple e Common Crawl publicam cada uma uma lista JSON com as faixas de IP que seus crawlers usam. Uma solicitação só é legítima quando as duas coisas batem: o user agent cita o crawler e o IP de origem está na lista do fornecedor ou, no caso de Googlebot, bingbot, Applebot e CCBot, passa por uma verificação de DNS reverso e direto. Um user agent sozinho não prova nada, porque qualquer um pode enviá-lo.

Quando você vê GPTBot ou ClaudeBot nos seus logs, ou quer uma regra de firewall que deixe passar os crawlers de busca com IA, precisa de duas coisas: a string exata que cada crawler envia e uma forma de provar que a solicitação veio da empresa citada. Abaixo estão as strings como cada fornecedor as publica hoje, a lista oficial de IPs ou o método de DNS de cada um e dois scripts que você pode rodar para verificar um endereço.

Neste artigo
  1. Quais são os user agents do GPTBot, ClaudeBot, PerplexityBot e outros crawlers de IA?
  2. Qual crawler faz o quê, e quais nomes são só tokens do robots.txt?
  3. Onde os fornecedores de crawlers de IA publicam suas faixas de IP?
  4. Como verifico um endereço IP nas listas oficiais de crawlers?
  5. Como verifico Googlebot, bingbot ou Applebot com DNS reverso?
  6. Por que verificar só o user agent não basta para detectar o GPTBot?
  7. Como a AISeeWhy ajuda a verificar o tráfego de crawlers de IA?

Quais são os user agents do GPTBot, ClaudeBot, PerplexityBot e outros crawlers de IA?

Estas strings foram copiadas da documentação dos próprios fornecedores. A OpenAI e a Perplexity avisam que os números de versão podem mudar, o Google e a Microsoft colocam a versão atual do navegador onde aparece W.X.Y.Z, e a Apple diz que atualiza a parte do navegador de vez em quando. Faça a correspondência pelo token do crawler, como GPTBot ou bingbot, e não pela string inteira.

# OpenAI (version numbers may change)
GPTBot:          Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot:   Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot:      Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot

# Perplexity
PerplexityBot:   Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)

# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop:    Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop:    Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot:         Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile:  Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)

# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile:  Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)

# Common Crawl
CCBot:           CCBot/2.0 (https://commoncrawl.org/faq/)

# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1

O artigo de ajuda da Anthropic cita ClaudeBot, Claude-SearchBot e Claude-User, mas não mostra os user agents completos, então faça a correspondência por esses tokens. A página de crawlers da Meta lista strings que começam com os tokens mostrados, seguidos de um link para a documentação, e diz que as strings nos seus logs podem variar um pouco.

Qual crawler faz o quê, e quais nomes são só tokens do robots.txt?

Dois nomes nunca aparecem nos seus logs. O Google-Extended é um token do robots.txt que controla se o conteúdo rastreado pelo Google pode ser usado para os modelos Gemini e para grounding; o Google diz que ele não afeta a inclusão na Pesquisa Google. O Applebot-Extended é, nas palavras da Apple, um user agent secundário que não rastreia páginas; ele só define como a Apple pode usar os dados que o Applebot coletou. Uma solicitação que diz ser um dos dois não é legítima.

Onde os fornecedores de crawlers de IA publicam suas faixas de IP?

A maioria publica um arquivo JSON no mesmo formato: um array prefixes de objetos com ipv4Prefix ou ipv6Prefix, mais um creationTime que indica quão recente ele é.

Como verifico um endereço IP nas listas oficiais de crawlers?

Este script carrega cada lista e informa qual delas contém o endereço. Ele só precisa do Python 3 e funciona com IPv4 e IPv6.

python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request

LISTS = {
    "GPTBot": "https://openai.com/gptbot.json",
    "OAI-SearchBot": "https://openai.com/searchbot.json",
    "ChatGPT-User": "https://openai.com/chatgpt-user.json",
    "ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
    "PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
    "Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
    "Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
    "bingbot": "https://www.bing.com/toolbox/bingbot.json",
    "Applebot": "https://search.developer.apple.com/applebot.json",
    "CCBot": "https://index.commoncrawl.org/ccbot.json",
}

ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
    req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
    try:
        prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
    except Exception as err:
        print(f"{name}: list not loaded ({err})")
        continue
    nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
    if any(ip in net for net in nets if net.version == ip.version):
        print(f"{ip} is listed for {name}")
        found = True
if not found:
    print(f"{ip} is not in any of these lists")
EOF

As listas mudam. Cada arquivo traz o próprio creationTime, a Perplexity recomenda automatizar a atualização das regras de firewall e o Bing pede que você atualize a lista dele diariamente. Se usar as listas em um firewall, baixe-as periodicamente em vez de copiá-las uma única vez.

Como verifico Googlebot, bingbot ou Applebot com DNS reverso?

Google, Microsoft, Apple e Common Crawl documentam a mesma verificação em duas etapas: consulte o nome do endereço IP, confirme que ele termina no domínio do fornecedor, depois consulte esse nome e confirme que ele retorna o mesmo IP. As duas etapas importam, porque quem controla uma faixa de IP pode definir qualquer nome de DNS reverso, mas não consegue fazer o domínio do fornecedor apontar de volta para ela.

verify_crawler_ip() {
  ip="$1"
  name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
  if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
  case "$name" in
    *.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
    *) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
  esac
  if host "$name" | grep -qwF -- "$ip"; then
    echo "$ip -> $name -> $ip: verified"
  else
    echo "$ip -> $name: forward lookup does not return $ip"; return 1
  fi
}

verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified

O Google aceita googlebot.com, google.com e googleusercontent.com nos seus tipos de crawler; a função acima aceita só googlebot.com, que é o que o próprio Googlebot usa nos exemplos do Google. Para os outros crawlers e fetchers do Google, use as listas JSON. Consultas de DNS levam tempo, então rode-as ao revisar logs ou guarde o resultado em cache, em vez de fazer isso a cada solicitação ao vivo.

Por que verificar só o user agent não basta para detectar o GPTBot?

O user agent é um cabeçalho que o cliente escolhe, então qualquer um pode enviar GPTBot ou Googlebot. O Common Crawl avisa que alguns crawlers se passam pelo CCBot, e o Bing publica um guia para verificar se o tráfego que diz ser do bingbot vem mesmo do Bing. Detectar o GPTBot de forma confiável significa verificar as duas coisas: o token no user agent e o IP de origem em gptbot.json. Uma solicitação com o token vinda de um endereço fora da lista é uma imitação, e bloqueá-la não afeta a OpenAI.

O contrário também acontece. Se o seu firewall libera só por user agent, os imitadores entram; se libera só por faixa de IP, qualquer agente da rede daquele fornecedor recebe o mesmo tratamento, inclusive um que você queria bloquear. Exigir as duas correspondências é a regra confiável.

Como a AISeeWhy ajuda a verificar o tráfego de crawlers de IA?

A verificação gratuita de IP de crawlers de IA da AISeeWhy informa, sem conta, se um endereço IP pertence ao GPTBot ou a outro crawler de IA. A verificação gratuita do site então solicita sua página como 16 crawlers de IA e de busca ao lado de um navegador real, para você ver o que os crawlers legítimos receberiam.

Ferramentas gratuitas

Próximos passos

Crawlers neste artigo

Perguntas frequentes

Qual é o user agent do GPTBot?

A OpenAI publica Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot e avisa que a versão pode mudar. Faça a correspondência por GPTBot e confirme o IP em https://openai.com/gptbot.json.

Qual é o user agent do OAI-SearchBot?

Uma string no estilo do Chrome que termina em compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Os endereços dele estão em https://openai.com/searchbot.json. A OpenAI o usa para fazer sites aparecerem na busca do ChatGPT, uma função diferente da do GPTBot.

A Anthropic publica os endereços IP do ClaudeBot?

Sim. A Anthropic aponta para https://claude.com/crawling/bots.json e diz que um IP de origem dessa lista mostra que o crawler é da Anthropic. O artigo de ajuda dela cita os tokens dos bots, mas não os user agents completos.

Posso ver o Google-Extended ou o Applebot-Extended nos meus logs?

Não. Os dois são tokens do robots.txt, não crawlers. O Google e a Apple buscam páginas com o Googlebot e o Applebot e usam esses tokens só para decidir como o conteúdo pode ser usado para IA.

Onde fica a lista de endereços IP do bingbot?

O Bing a publica em https://www.bing.com/toolbox/bingbot.json e pede que você a atualize diariamente. O próprio guia dele recomenda a verificação de DNS reverso e direto, em que o nome precisa terminar em search.msn.com.

Fontes

Mais artigos