Como testar as regras do robots.txt para uma URL e um crawler específico?

Publicado em

Resposta curta

Para testar uma URL para um crawler, encontre o grupo que cita o token do crawler (ou User-agent: *, se nenhum citar), reúna todas as regras Allow e Disallow desse grupo que correspondem ao caminho da URL e aplique a mais longa; em caso de empate, vence Allow. Você pode fazer isso à mão, com o parser open source do Google ou com um verificador que mostra o resultado por crawler. O antigo testador de robots.txt do Search Console não existe mais, e o relatório de robots.txt que o substituiu mostra o que o Google buscou, não um veredito para uma URL.

Um robots.txt parece simples até você precisar de uma resposta definitiva: o GPTBot pode buscar esta página, e o OAI-SearchBot pode? A resposta depende de qual grupo o crawler escolhe e de qual regra vence dentro desse grupo, e é fácil errar nas duas etapas. Veja como funciona a correspondência segundo a RFC 9309, quatro exemplos resolvidos e três formas de testar um arquivo por conta própria.

Neste artigo
  1. O que aconteceu com o testador de robots.txt do Google Search Console?
  2. Como um crawler decide se uma URL é permitida?
  3. Pode mostrar um exemplo de teste de robots.txt passo a passo?
  4. Como rodo o parser de robots.txt open source do Google?
  5. Posso testar o robots.txt com o urllib.robotparser do Python?
  6. Por que o teste de robots.txt passa e o crawler continua bloqueado?
  7. Como verifico o robots.txt para todos os crawlers de IA de uma vez?

O que aconteceu com o testador de robots.txt do Google Search Console?

Em novembro de 2023, o Google adicionou um relatório de robots.txt ao Search Console e disse que estava descontinuando o testador de robots.txt. O relatório fica em Configurações e cobre apenas os crawlers do Google. Ele mostra:

O relatório não recebe uma URL para responder se ela está permitida ou bloqueada. Para verificar uma URL para o Googlebot, o Google indica a ferramenta de inspeção de URL e, para testes locais, sua biblioteca open source de robots.txt. Nenhuma das duas diz nada sobre crawlers de IA como o GPTBot ou o ClaudeBot.

Como um crawler decide se uma URL é permitida?

A RFC 9309, o Robots Exclusion Protocol, define a correspondência. O Google documenta o mesmo comportamento para os crawlers dele.

O código de resposta do robots.txt importa tanto quanto as regras. Uma resposta 4xx significa que o crawler pode buscar tudo; o Google trata qualquer 4xx, exceto 429, como se o arquivo não existisse. Uma resposta 5xx significa que o crawler deve assumir que o site inteiro está bloqueado. O Google para de rastrear nas primeiras 12 horas e depois usa a última cópia válida por até 30 dias. A RFC 9309 exige que os crawlers processem pelo menos 500 KiB, e o Google ignora tudo o que vem depois de 500 KiB.

Pode mostrar um exemplo de teste de robots.txt passo a passo?

Aqui está um robots.txt pequeno com um grupo padrão e dois crawlers de IA com grupo próprio:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

Empates são mais raros, mas seguem a mesma lógica. A documentação do Google dá o caso de allow: /folder e disallow: /folder para a URL /folder/page: as duas têm o mesmo tamanho, então a URL é permitida.

Como rodo o parser de robots.txt open source do Google?

O Google publica a biblioteca em C++ que usa em produção para comparar regras do robots.txt, com um pequeno programa de linha de comando para testar uma URL e um user agent contra um arquivo local. Com o Bazel instalado:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

O repositório também documenta um build com CMake, que gera um binário chamado robots com os mesmos argumentos. A ferramenta só faz o parsing e a correspondência; ela não baixa o robots.txt, então salve o arquivo publicado antes. O README também observa que comportamentos específicos de crawlers fora do parsing e da correspondência não fazem parte da biblioteca.

Posso testar o robots.txt com o urllib.robotparser do Python?

A biblioteca padrão do Python inclui um parser que responde se um user agent pode ou não acessar uma URL. Este script testa o exemplo acima:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Confira a versão do Python antes de confiar no resultado. O suporte à correspondência da RFC 9309 foi adicionado ao CPython em 2026 e saiu primeiro no Python 3.13.14 e 3.14.5. Versões mais antigas, incluindo toda a 3.12 e anteriores, aplicam a primeira regra que corresponde na ordem do arquivo, não a mais longa, e não entendem * nem $ dentro de caminhos. Nessas versões, o script dá o primeiro e o quarto testes ao contrário: Googlebot bloqueado em /search/help/billing e OAI-SearchBot liberado para buscar o PDF.

Mais duas diferenças valem para todas as versões. RobotFileParser.read() trata uma resposta 401 ou 403 do robots.txt como bloqueio total, enquanto a RFC 9309 diz que um 4xx significa que tudo pode ser buscado. E read() baixa o arquivo com o user agent padrão do Python, que alguns firewalls bloqueiam, então um teste pode dizer bloqueado por motivos que nada têm a ver com suas regras. Buscar o arquivo você mesmo e passá-lo para parse(), como acima, evita os dois problemas.

Por que o teste de robots.txt passa e o crawler continua bloqueado?

Um testador responde a uma única pergunta: as regras permitem esta URL? Várias coisas ficam fora dessa resposta:

Como verifico o robots.txt para todos os crawlers de IA de uma vez?

O verificador de robots.txt gratuito da AISeeWhy recebe o endereço de uma página ou um robots.txt colado e mostra, para cada crawler de IA e de busca, se aquela página pode ser buscada. O gerador de robots.txt gratuito cria um arquivo a partir das suas escolhas, e a verificação gratuita busca a página como 16 crawlers para mostrar se um firewall bloqueia o que o robots.txt permite.

Correções para este problema

Ferramentas gratuitas

Próximos passos

Crawlers neste artigo

Perguntas frequentes

Ainda existe um testador de robots.txt no Google Search Console?

Não. Em novembro de 2023, o Google o substituiu pelo relatório de robots.txt, que mostra os arquivos que o Google buscou, o status deles e eventuais erros. Para verificar se o Googlebot pode rastrear uma URL específica, use a ferramenta de inspeção de URL.

Allow tem prioridade sobre Disallow no robots.txt?

Só quando a regra Allow é mais longa ou tem exatamente o mesmo tamanho. Vence a regra com o caminho correspondente mais longo, seja de qual tipo for, e Allow vence em caso de empate.

O robots.txt diferencia maiúsculas de minúsculas?

Em parte. O valor de User-agent é comparado sem diferenciar maiúsculas de minúsculas, então gptbot e GPTBot indicam o mesmo grupo. Os caminhos diferenciam, então Disallow: /Private/ não bloqueia /private/.

O que um validador de robots.txt verifica?

Um validador verifica se o arquivo está acessível, é servido como texto e tem sintaxe válida. Um testador vai além e dá um veredito para uma URL e um crawler específicos. Em geral você precisa dos dois, porque um arquivo válido ainda pode bloquear uma página que você queria liberar.

Se um crawler tem grupo próprio, ele ainda segue User-agent: *?

Não. Um grupo com nome substitui completamente o grupo * para aquele crawler. Toda regra que você quiser aplicar a todos precisa ser repetida em cada grupo com nome.

Fontes

Mais artigos