Com provo les regles del robots.txt per a un URL i un rastrejador concret?
Per provar un URL per a un rastrejador, busca el grup que anomena el token del rastrejador (o User-agent: * si no n'hi ha cap), agafa totes les regles Allow i Disallow d'aquest grup que coincideixen amb el camí de l'URL i aplica la més llarga; en cas d'empat, guanya Allow. Ho pots fer a mà, amb el parser de codi obert de Google o amb un comprovador que doni un veredicte per a cada rastrejador. L'antic provador de robots.txt de Search Console ja no existeix, i l'informe de robots.txt que el substitueix mostra què ha obtingut Google, no un veredicte per a un URL.
Un fitxer robots.txt sembla senzill fins que necessites una resposta clara: GPTBot pot obtenir aquesta pàgina? I OAI-SearchBot? La resposta depèn de quin grup tria el rastrejador i de quina regla guanya dins d'aquest grup, i és fàcil equivocar-se en tots dos passos. Aquí tens com funciona la coincidència segons l'RFC 9309, quatre exemples resolts i tres maneres de provar un fitxer tu mateix.
En aquesta pàgina
- Què ha passat amb el provador de robots.txt de Google Search Console?
- Com decideix un rastrejador si un URL està permès?
- Em pots mostrar un exemple de prova de robots.txt?
- Com executo el parser de robots.txt de codi obert de Google?
- Puc provar el robots.txt amb urllib.robotparser de Python?
- Per què una prova de robots.txt passa però el rastrejador continua bloquejat?
- Com comprovo el robots.txt per a tots els rastrejadors d'IA alhora?
Què ha passat amb el provador de robots.txt de Google Search Console?
El novembre de 2023, Google va afegir un informe de robots.txt a Search Console i va anunciar que retirava el provador de robots.txt. L'informe és a Configuració i només cobreix els rastrejadors de Google. Mostra:
- Els fitxers robots.txt que Google ha trobat per als 20 amfitrions principals de la teva propietat.
- L'estat d'obtenció de cada fitxer (
Fetched,Not Fetched - Not found (404)oNot Fetched - Any other reason), quan el va comprovar Google per última vegada i la mida en bytes. - Els problemes del fitxer. Google diu que els errors impedeixen que s'apliqui una regla, mentre que els avisos no.
- Les versions que Google ha obtingut els darrers 30 dies i un botó per demanar un nou rastreig després de corregir el fitxer.
L'informe no accepta un URL ni respon permès o bloquejat. Per comprovar un URL per a Googlebot, Google remet a l'eina d'inspecció d'URL, i per fer proves en local, a la seva biblioteca de robots.txt de codi obert. Cap de les dues no diu res dels rastrejadors d'IA com GPTBot o ClaudeBot.
Com decideix un rastrejador si un URL està permès?
L'RFC 9309, el Robots Exclusion Protocol, defineix la coincidència. Google documenta el mateix comportament per als seus rastrejadors.
- Tria el grup. La coincidència del user agent no distingeix entre majúscules i minúscules. Si un o més grups anomenen el token del rastrejador, les seves regles es combinen i el grup
User-agent: *s'ignora del tot. Només un rastrejador sense cap grup propi segueix*. - Tria la regla. Entre les regles
AllowiDisallowel camí de les quals coincideix amb l'URL, guanya la que té més caràcters. Si unAllowi unDisallowtenen la mateixa llargada, hauria de guanyarAllow. - Llegeix els patrons.
*coincideix amb qualsevol seqüència de caràcters i$marca el final de l'URL. Els camins distingeixen majúscules i minúscules, així que/Admin/no coincideix amb/admin/. - Si no hi coincideix cap regla, està permès. El mateix
/robots.txtsempre està permès.
El codi de resposta del robots.txt importa tant com les seves regles. Una resposta 4xx vol dir que el rastrejador pot obtenir-ho tot; Google tracta qualsevol 4xx excepte el 429 com si no hi hagués fitxer. Una resposta 5xx vol dir que el rastrejador ha de suposar que tot el lloc està bloquejat. Google deixa de rastrejar durant les primeres 12 hores i després fa servir l'última còpia bona durant un màxim de 30 dies. L'RFC 9309 obliga els rastrejadors a analitzar com a mínim 500 KiB, i Google ignora tot el que hi ha després dels 500 KiB.
Em pots mostrar un exemple de prova de robots.txt?
Aquí tens un robots.txt petit amb un grup per defecte i dos rastrejadors d'IA amb grup propi:
Googleboti/search/help/billing: permès. No hi ha cap grup per a Googlebot, així que s'aplica el grup*. Hi coincideixen tantDisallow: /searchcomAllow: /search/help, i la reglaAllowés més llarga.GPTBoti/blog/post: bloquejat. GPTBot té el seu propi grup, iDisallow: /coincideix amb qualsevol camí.OAI-SearchBoti/admin/settings: permès. OAI-SearchBot té el seu propi grup, així queDisallow: /admin/del grup*no s'hi aplica. És la sorpresa més habitual: repeteix les regles comunes a cada grup amb nom.OAI-SearchBoti/files/report.pdf: bloquejat.Allow: /coincideix amb un caràcter,Disallow: /*.pdf$amb set, i guanya la regla més llarga.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ Els empats són menys freqüents però segueixen la mateixa lògica. La documentació de Google posa el cas d'allow: /folder i disallow: /folder per a l'URL /folder/page: les dues tenen la mateixa llargada, així que l'URL està permès.
Com executo el parser de robots.txt de codi obert de Google?
Google publica la biblioteca de C++ que fa servir en producció per comparar regles de robots.txt, amb un petit programa de línia d'ordres per provar un URL i un user agent contra un fitxer local. Amb Bazel instal·lat:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed El repositori també documenta una compilació amb CMake, que genera un binari anomenat robots amb els mateixos arguments. L'eina només analitza i compara; no descarrega el robots.txt, així que primer desa el fitxer publicat. El README també indica que el comportament específic de cada rastrejador fora de l'anàlisi i la coincidència no forma part de la biblioteca.
Puc provar el robots.txt amb urllib.robotparser de Python?
La biblioteca estàndard de Python inclou un parser que respon permès o bloquejat per a un user agent i un URL. Aquest script prova l'exemple anterior:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Comprova la versió de Python abans de fiar-te del resultat. El suport per a la coincidència de l'RFC 9309 es va afegir a CPython el 2026 i va arribar per primer cop a Python 3.13.14 i 3.14.5. Les versions anteriors, incloses totes les 3.12 i anteriors, apliquen la primera regla que coincideix segons l'ordre del fitxer, no la més llarga, i no entenen * ni $ dins dels camins. En aquestes versions, l'script dona la primera i la quarta prova al revés: Googlebot bloquejat a /search/help/billing i OAI-SearchBot autoritzat a obtenir el PDF.
Hi ha dues diferències més que afecten totes les versions. RobotFileParser.read() tracta una resposta 401 o 403 del robots.txt com a bloqueig total, mentre que l'RFC 9309 diu que un 4xx vol dir que es pot obtenir tot. I read() descarrega el fitxer amb el user agent per defecte de Python, que alguns tallafocs bloquegen, de manera que una prova pot dir bloquejat per motius que no tenen res a veure amb les teves regles. Si obtens el fitxer tu mateix i el passes a parse(), com a dalt, evites tots dos problemes.
Per què una prova de robots.txt passa però el rastrejador continua bloquejat?
Un provador respon una sola pregunta: les regles permeten aquest URL? Hi ha diverses coses que queden fora d'aquesta resposta:
- El fitxer publicat és diferent del que has provat, o el rastrejador encara fa servir una còpia en memòria cau. L'RFC 9309 diu que els rastrejadors no haurien de fer servir una còpia en memòria cau durant més de 24 hores, i Google en general la guarda fins a 24 hores.
- L'URL del robots.txt retorna una pàgina HTML o un error. Una pàgina HTML amb estat 200 no conté cap regla vàlida, i una resposta 5xx bloqueja tot el lloc.
- El robots.txt és una petició, no un control d'accés. Un tallafoc, una CDN o una protecció contra bots encara poden respondre al rastrejador amb un 403 o una pàgina de desafiament.
Com comprovo el robots.txt per a tots els rastrejadors d'IA alhora?
El comprovador de robots.txt gratuït d'AISeeWhy accepta l'adreça d'una pàgina o un robots.txt enganxat i mostra, per a cada rastrejador d'IA i de cerca, si pot obtenir aquella pàgina. El generador de robots.txt gratuït escriu un fitxer a partir de les teves opcions, i la comprovació gratuïta obté la pàgina com a 16 rastrejadors per mostrar si un tallafoc bloqueja el que el robots.txt permet.
Correccions per a aquest problema
- robots.txt permet GPTBot, però el servidor el bloqueja
- robots.txt no permet OAI-SearchBot
- robots.txt és una pàgina HTML
- No es pot obtenir robots.txt
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Encara hi ha un provador de robots.txt a Google Search Console?
No. Google el va substituir el novembre de 2023 per l'informe de robots.txt, que mostra els fitxers que Google ha obtingut, el seu estat i els errors. Per comprovar si Googlebot pot rastrejar un URL concret, fes servir l'eina d'inspecció d'URL.
Allow té prioritat sobre Disallow al robots.txt?
Només quan la regla Allow és més llarga o exactament igual de llarga. Guanya la regla amb el camí coincident més llarg, sigui del tipus que sigui, i Allow guanya en cas d'empat.
El robots.txt distingeix majúscules i minúscules?
En part. El valor de User-agent es compara sense distingir majúscules i minúscules, així que gptbot i GPTBot designen el mateix grup. Els camins sí que les distingeixen, així que Disallow: /Private/ no bloqueja /private/.
Què comprova un validador de robots.txt?
Un validador comprova que el fitxer sigui accessible, que se serveixi com a text i que tingui una sintaxi vàlida. Un provador va més enllà i dona un veredicte per a un URL i un rastrejador concrets. Normalment necessites totes dues coses, perquè un fitxer vàlid pot bloquejar igualment una pàgina que volies permetre.
Si un rastrejador té el seu propi grup, continua seguint User-agent: *?
No. Un grup amb nom substitueix completament el grup * per a aquell rastrejador. Qualsevol regla que vulguis aplicar a tothom s'ha de repetir a cada grup amb nom.
Fonts
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py