User agents e faixas de IP de crawlers de IA: GPTBot, ClaudeBot, PerplexityBot e outros
O GPTBot se identifica com um user agent que contém GPTBot/1.4; +https://openai.com/gptbot, e OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple e Common Crawl publicam cada uma uma lista JSON com as faixas de IP que seus crawlers usam. Uma solicitação só é legítima quando as duas coisas batem: o user agent cita o crawler e o IP de origem está na lista do fornecedor ou, no caso de Googlebot, bingbot, Applebot e CCBot, passa por uma verificação de DNS reverso e direto. Um user agent sozinho não prova nada, porque qualquer um pode enviá-lo.
Quando você vê GPTBot ou ClaudeBot nos seus logs, ou quer uma regra de firewall que deixe passar os crawlers de busca com IA, precisa de duas coisas: a string exata que cada crawler envia e uma forma de provar que a solicitação veio da empresa citada. Abaixo estão as strings como cada fornecedor as publica hoje, a lista oficial de IPs ou o método de DNS de cada um e dois scripts que você pode rodar para verificar um endereço.
Neste artigo
- Quais são os user agents do GPTBot, ClaudeBot, PerplexityBot e outros crawlers de IA?
- Qual crawler faz o quê, e quais nomes são só tokens do robots.txt?
- Onde os fornecedores de crawlers de IA publicam suas faixas de IP?
- Como verifico um endereço IP nas listas oficiais de crawlers?
- Como verifico Googlebot, bingbot ou Applebot com DNS reverso?
- Por que verificar só o user agent não basta para detectar o GPTBot?
- Como a AISeeWhy ajuda a verificar o tráfego de crawlers de IA?
Quais são os user agents do GPTBot, ClaudeBot, PerplexityBot e outros crawlers de IA?
Estas strings foram copiadas da documentação dos próprios fornecedores. A OpenAI e a Perplexity avisam que os números de versão podem mudar, o Google e a Microsoft colocam a versão atual do navegador onde aparece W.X.Y.Z, e a Apple diz que atualiza a parte do navegador de vez em quando. Faça a correspondência pelo token do crawler, como GPTBot ou bingbot, e não pela string inteira.
# OpenAI (version numbers may change)
GPTBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot
OAI-SearchBot: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot
ChatGPT-User: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot
OAI-AdsBot: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-AdsBot/1.0; +https://openai.com/adsbot
# Perplexity
PerplexityBot: Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
Perplexity-User: Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)
# Google (W.X.Y.Z is the current Chrome version)
Googlebot Smartphone: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot Desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot Desktop: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
# Microsoft Bing (W.X.Y.Z is the current Edge version)
bingbot desktop: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/W.X.Y.Z Safari/537.36
bingbot: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
bingbot mobile: Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
# Apple (the browser part changes from time to time)
Applebot desktop: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)
Applebot mobile: Mozilla/5.0 (iPhone; CPU iPhone OS 17_4_1 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4.1 Mobile/15E148 Safari/604.1 (Applebot/0.1; +http://www.apple.com/go/applebot)
# Common Crawl
CCBot: CCBot/2.0 (https://commoncrawl.org/faq/)
# Anthropic and Meta: match the token, see the notes below
ClaudeBot, Claude-SearchBot, Claude-User
meta-externalagent/1.1, meta-webindexer/1.1, meta-externalfetcher/1.1 O artigo de ajuda da Anthropic cita ClaudeBot, Claude-SearchBot e Claude-User, mas não mostra os user agents completos, então faça a correspondência por esses tokens. A página de crawlers da Meta lista strings que começam com os tokens mostrados, seguidos de um link para a documentação, e diz que as strings nos seus logs podem variar um pouco.
Qual crawler faz o quê, e quais nomes são só tokens do robots.txt?
- O
GPTBotcoleta conteúdo que pode ser usado para treinar os modelos de base da OpenAI. OOAI-SearchBotfaz sites aparecerem na busca do ChatGPT. OChatGPT-Userbusca páginas para ações iniciadas por um usuário, e a OpenAI diz que as regras do robots.txt podem não valer para ele. OOAI-AdsBotverifica páginas enviadas como anúncios do ChatGPT. - O
ClaudeBotcoleta dados para os modelos da Anthropic, oClaude-SearchBotmelhora os resultados de busca e oClaude-Userbusca páginas quando alguém faz uma pergunta ao Claude. - O
PerplexityBotfaz sites aparecerem e serem linkados na busca da Perplexity e não é usado para treinar modelos de base. OPerplexity-Userbusca páginas quando um usuário faz uma pergunta. - O
meta-externalagentrastreia para treinar modelos de IA ou indexar conteúdo, ometa-webindexerindexa conteúdo para a busca da Meta AI e ometa-externalfetcherbusca links a pedido de um usuário. - O
CCBoté o crawler do Common Crawl, um arquivo público da web.
Dois nomes nunca aparecem nos seus logs. O Google-Extended é um token do robots.txt que controla se o conteúdo rastreado pelo Google pode ser usado para os modelos Gemini e para grounding; o Google diz que ele não afeta a inclusão na Pesquisa Google. O Applebot-Extended é, nas palavras da Apple, um user agent secundário que não rastreia páginas; ele só define como a Apple pode usar os dados que o Applebot coletou. Uma solicitação que diz ser um dos dois não é legítima.
Onde os fornecedores de crawlers de IA publicam suas faixas de IP?
A maioria publica um arquivo JSON no mesmo formato: um array prefixes de objetos com ipv4Prefix ou ipv6Prefix, mais um creationTime que indica quão recente ele é.
- OpenAI:
https://openai.com/gptbot.json,https://openai.com/searchbot.json,https://openai.com/chatgpt-user.jsonehttps://openai.com/adsbot.json, um por agente. - Anthropic:
https://claude.com/crawling/bots.json, uma lista para os seus crawlers. A Anthropic diz que um endereço dessa lista mostra que o crawler vem da Anthropic, e também que bloquear por IP pode não garantir de forma confiável a exclusão. - Perplexity:
https://www.perplexity.ai/perplexitybot.jsonehttps://www.perplexity.ai/perplexity-user.json. - Google:
https://developers.google.com/static/crawling/ipranges/common-crawlers.jsonpara o Googlebot, com arquivos separados para crawlers de casos especiais e fetchers acionados por usuários. O DNS reverso também funciona. - Apple:
https://search.developer.apple.com/applebot.json, ou DNS reverso emapplebot.apple.com. - Common Crawl:
https://index.commoncrawl.org/ccbot.json. Para IPv4, ele também recomenda DNS reverso confirmado por DNS direto emcrawl.commoncrawl.org; endereços IPv6 não têm DNS reverso. - Microsoft:
https://www.bing.com/toolbox/bingbot.json, que o Bing pede para atualizar diariamente porque pode mudar a qualquer momento, ou DNS reverso terminando emsearch.msn.com. O Bing também oferece uma ferramenta pública Verify Bingbot. - Meta: a página de crawlers dela não publica uma lista de IPs.
Como verifico um endereço IP nas listas oficiais de crawlers?
Este script carrega cada lista e informa qual delas contém o endereço. Ele só precisa do Python 3 e funciona com IPv4 e IPv6.
python3 - 20.171.206.5 <<'EOF'
import ipaddress, json, sys, urllib.request
LISTS = {
"GPTBot": "https://openai.com/gptbot.json",
"OAI-SearchBot": "https://openai.com/searchbot.json",
"ChatGPT-User": "https://openai.com/chatgpt-user.json",
"ClaudeBot, Claude-SearchBot, Claude-User": "https://claude.com/crawling/bots.json",
"PerplexityBot": "https://www.perplexity.ai/perplexitybot.json",
"Perplexity-User": "https://www.perplexity.ai/perplexity-user.json",
"Googlebot": "https://developers.google.com/static/crawling/ipranges/common-crawlers.json",
"bingbot": "https://www.bing.com/toolbox/bingbot.json",
"Applebot": "https://search.developer.apple.com/applebot.json",
"CCBot": "https://index.commoncrawl.org/ccbot.json",
}
ip = ipaddress.ip_address(sys.argv[1])
found = False
for name, url in LISTS.items():
req = urllib.request.Request(url, headers={"User-Agent": "ip-list-check"})
try:
prefixes = json.load(urllib.request.urlopen(req, timeout=15))["prefixes"]
except Exception as err:
print(f"{name}: list not loaded ({err})")
continue
nets = [ipaddress.ip_network(p.get("ipv4Prefix") or p.get("ipv6Prefix")) for p in prefixes]
if any(ip in net for net in nets if net.version == ip.version):
print(f"{ip} is listed for {name}")
found = True
if not found:
print(f"{ip} is not in any of these lists")
EOF As listas mudam. Cada arquivo traz o próprio creationTime, a Perplexity recomenda automatizar a atualização das regras de firewall e o Bing pede que você atualize a lista dele diariamente. Se usar as listas em um firewall, baixe-as periodicamente em vez de copiá-las uma única vez.
Como verifico Googlebot, bingbot ou Applebot com DNS reverso?
Google, Microsoft, Apple e Common Crawl documentam a mesma verificação em duas etapas: consulte o nome do endereço IP, confirme que ele termina no domínio do fornecedor, depois consulte esse nome e confirme que ele retorna o mesmo IP. As duas etapas importam, porque quem controla uma faixa de IP pode definir qualquer nome de DNS reverso, mas não consegue fazer o domínio do fornecedor apontar de volta para ela.
verify_crawler_ip() {
ip="$1"
name=$(host "$ip" | awk '/domain name pointer/ {print $NF}' | sed 's/\.$//' | head -n 1)
if [ -z "$name" ]; then echo "$ip: no reverse DNS name"; return 1; fi
case "$name" in
*.googlebot.com|*.search.msn.com|*.applebot.apple.com|*.crawl.commoncrawl.org) ;;
*) echo "$ip -> $name: not a crawler hostname"; return 1 ;;
esac
if host "$name" | grep -qwF -- "$ip"; then
echo "$ip -> $name -> $ip: verified"
else
echo "$ip -> $name: forward lookup does not return $ip"; return 1
fi
}
verify_crawler_ip 66.249.66.1
# 66.249.66.1 -> crawl-66-249-66-1.googlebot.com -> 66.249.66.1: verified O Google aceita googlebot.com, google.com e googleusercontent.com nos seus tipos de crawler; a função acima aceita só googlebot.com, que é o que o próprio Googlebot usa nos exemplos do Google. Para os outros crawlers e fetchers do Google, use as listas JSON. Consultas de DNS levam tempo, então rode-as ao revisar logs ou guarde o resultado em cache, em vez de fazer isso a cada solicitação ao vivo.
Por que verificar só o user agent não basta para detectar o GPTBot?
O user agent é um cabeçalho que o cliente escolhe, então qualquer um pode enviar GPTBot ou Googlebot. O Common Crawl avisa que alguns crawlers se passam pelo CCBot, e o Bing publica um guia para verificar se o tráfego que diz ser do bingbot vem mesmo do Bing. Detectar o GPTBot de forma confiável significa verificar as duas coisas: o token no user agent e o IP de origem em gptbot.json. Uma solicitação com o token vinda de um endereço fora da lista é uma imitação, e bloqueá-la não afeta a OpenAI.
O contrário também acontece. Se o seu firewall libera só por user agent, os imitadores entram; se libera só por faixa de IP, qualquer agente da rede daquele fornecedor recebe o mesmo tratamento, inclusive um que você queria bloquear. Exigir as duas correspondências é a regra confiável.
Como a AISeeWhy ajuda a verificar o tráfego de crawlers de IA?
A verificação gratuita de IP de crawlers de IA da AISeeWhy informa, sem conta, se um endereço IP pertence ao GPTBot ou a outro crawler de IA. A verificação gratuita do site então solicita sua página como 16 crawlers de IA e de busca ao lado de um navegador real, para você ver o que os crawlers legítimos receberiam.
Próximos passos
- Testador e verificador de robots.txt para crawlers de IA
- Verificação de IP de crawlers de IA
- Veja um exemplo de relatório completo
- Monitoramento de crawlers de IA
- Planos e preços
Crawlers neste artigo
Perguntas frequentes
Qual é o user agent do GPTBot?
A OpenAI publica Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot e avisa que a versão pode mudar. Faça a correspondência por GPTBot e confirme o IP em https://openai.com/gptbot.json.
Qual é o user agent do OAI-SearchBot?
Uma string no estilo do Chrome que termina em compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot. Os endereços dele estão em https://openai.com/searchbot.json. A OpenAI o usa para fazer sites aparecerem na busca do ChatGPT, uma função diferente da do GPTBot.
A Anthropic publica os endereços IP do ClaudeBot?
Sim. A Anthropic aponta para https://claude.com/crawling/bots.json e diz que um IP de origem dessa lista mostra que o crawler é da Anthropic. O artigo de ajuda dela cita os tokens dos bots, mas não os user agents completos.
Posso ver o Google-Extended ou o Applebot-Extended nos meus logs?
Não. Os dois são tokens do robots.txt, não crawlers. O Google e a Apple buscam páginas com o Googlebot e o Applebot e usam esses tokens só para decidir como o conteúdo pode ser usado para IA.
Onde fica a lista de endereços IP do bingbot?
O Bing a publica em https://www.bing.com/toolbox/bingbot.json e pede que você a atualize diariamente. O próprio guia dele recomenda a verificação de DNS reverso e direto, em que o nome precisa terminar em search.msn.com.
Fontes
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl the web? What is Claude Bot?
- Perplexity: Perplexity crawlers
- Google: Google's common crawlers
- Google: Verifying Googlebot and other Google crawlers
- Bing Webmaster Tools: Which crawlers does Bing use?
- Bing Webmaster Tools: How to verify Bingbot
- Microsoft Bing: Verify Bingbot tool
- Apple: About Applebot
- Meta: Meta web crawlers
- Common Crawl: CCBot