Come testo le regole del robots.txt per un URL e un crawler specifico?

Pubblicato

Risposta breve

Per testare un URL per un crawler, trova il gruppo che nomina il token del crawler (o User-agent: * se nessuno lo nomina), raccogli tutte le regole Allow e Disallow del gruppo che corrispondono al percorso dell'URL e applica la più lunga; a parità, vince Allow. Puoi farlo a mano, con il parser open source di Google o con uno strumento che mostra un verdetto per ogni crawler. Il vecchio Tester dei file robots.txt di Search Console non c'è più, e il report robots.txt che l'ha sostituito mostra cosa ha scaricato Google, non un verdetto per un URL.

Un file robots.txt sembra semplice finché non ti serve una risposta certa: GPTBot può scaricare questa pagina? E OAI-SearchBot? La risposta dipende da quale gruppo sceglie il crawler e da quale regola vince all'interno di quel gruppo, e in entrambi i passaggi è facile sbagliare. Ecco come funziona la corrispondenza secondo RFC 9309, quattro esempi svolti e tre modi per testare un file da solo.

In questa pagina
  1. Che fine ha fatto il Tester dei file robots.txt in Google Search Console?
  2. Come decide un crawler se un URL è consentito?
  3. Mi mostri un esempio di test del robots.txt passo per passo?
  4. Come uso il parser robots.txt open source di Google?
  5. Posso testare il robots.txt con urllib.robotparser di Python?
  6. Perché un test del robots.txt passa ma il crawler è ancora bloccato?
  7. Come controllo il robots.txt per tutti i crawler di IA in una volta?

Che fine ha fatto il Tester dei file robots.txt in Google Search Console?

A novembre 2023 Google ha aggiunto a Search Console un report robots.txt e ha annunciato il ritiro del tester. Il report si trova in Impostazioni e riguarda solo i crawler di Google. Mostra:

Il report non accetta un URL per restituire consentito o bloccato. Per controllare un URL per Googlebot, Google rimanda allo strumento Controllo URL, e per i test in locale alla sua libreria robots.txt open source. Nessuno dei due ti dice qualcosa sui crawler di IA come GPTBot o ClaudeBot.

Come decide un crawler se un URL è consentito?

RFC 9309, il Robots Exclusion Protocol, definisce la corrispondenza. Google documenta lo stesso comportamento per i suoi crawler.

Il codice di risposta del robots.txt conta quanto le sue regole. Una risposta 4xx significa che il crawler può scaricare tutto; Google tratta ogni 4xx tranne il 429 come se il file non esistesse. Una risposta 5xx significa che il crawler deve considerare vietato l'intero sito. Google sospende la scansione per le prime 12 ore, poi usa l'ultima copia valida per un massimo di 30 giorni. RFC 9309 richiede ai crawler di analizzare almeno 500 KiB, e Google ignora tutto ciò che viene dopo i 500 KiB.

Mi mostri un esempio di test del robots.txt passo per passo?

Ecco un piccolo robots.txt con un gruppo predefinito e due crawler di IA nominati:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

I pareggi sono più rari ma seguono la stessa logica. La documentazione di Google riporta il caso di allow: /folder e disallow: /folder per l'URL /folder/page: le due regole hanno la stessa lunghezza, quindi l'URL è consentito.

Come uso il parser robots.txt open source di Google?

Google pubblica la libreria C++ che usa in produzione per applicare le regole del robots.txt, con un piccolo programma a riga di comando per testare un URL e uno user agent su un file locale. Con Bazel installato:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

Il repository documenta anche una build con CMake, che produce un binario chiamato robots con gli stessi argomenti. Lo strumento si limita ad analizzare e confrontare; non scarica il robots.txt, quindi salva prima il file pubblicato. Il README ricorda anche che i comportamenti specifici dei crawler al di fuori di analisi e corrispondenza non fanno parte della libreria.

Posso testare il robots.txt con urllib.robotparser di Python?

La libreria standard di Python include un parser che risponde consentito o bloccato per uno user agent e un URL. Questo script testa l'esempio precedente:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

Controlla la versione di Python prima di fidarti del risultato. Il supporto della corrispondenza RFC 9309 è stato aggiunto a CPython nel 2026 ed è arrivato per la prima volta in Python 3.13.14 e 3.14.5. Le versioni precedenti, compresa tutta la 3.12 e quelle prima, applicano la prima regola corrispondente in ordine di file, non la più lunga, e non capiscono * o $ nei percorsi. Su quelle versioni lo script dà al contrario il primo e il quarto test: Googlebot bloccato su /search/help/billing e OAI-SearchBot autorizzato a scaricare il PDF.

Altre due differenze valgono per tutte le versioni. RobotFileParser.read() tratta una risposta 401 o 403 per il robots.txt come divieto totale, mentre RFC 9309 dice che un 4xx significa che si può scaricare tutto. E read() scarica il file con lo user agent predefinito di Python, che alcuni firewall bloccano, quindi un test può segnalare bloccato per motivi che non c'entrano con le tue regole. Scaricare il file da te e passarlo a parse(), come sopra, evita entrambi i problemi.

Perché un test del robots.txt passa ma il crawler è ancora bloccato?

Un tester risponde a una domanda: le regole consentono questo URL? Diverse cose restano fuori da quella risposta:

Come controllo il robots.txt per tutti i crawler di IA in una volta?

Il controllo robots.txt gratuito di AISeeWhy accetta l'indirizzo di una pagina o un robots.txt incollato e mostra, per ogni crawler di IA e di ricerca, se quella pagina può essere scaricata. Il generatore di robots.txt gratuito scrive un file in base alle tue scelte, e il controllo gratuito scarica la pagina come 16 crawler per mostrare se un firewall blocca ciò che il robots.txt consente.

Correzioni per questo problema

Strumenti gratuiti

Prossimi passi

Crawler in questo articolo

Domande frequenti

Esiste ancora un tester del robots.txt in Google Search Console?

No. Google l'ha sostituito a novembre 2023 con il report robots.txt, che mostra i file scaricati da Google, il loro stato ed eventuali errori. Per verificare se Googlebot può scansionare un URL specifico, usa lo strumento Controllo URL.

Allow prevale su Disallow nel robots.txt?

Solo quando la regola Allow è più lunga, o esattamente lunga uguale. Vince la regola con il percorso corrispondente più lungo, di qualunque tipo sia, e a parità vince Allow.

Il robots.txt distingue tra maiuscole e minuscole?

In parte. Il valore di User-agent viene confrontato senza badare a maiuscole e minuscole, quindi gptbot e GPTBot indicano lo stesso gruppo. I percorsi invece le distinguono, quindi Disallow: /Private/ non blocca /private/.

Cosa controlla un validatore di robots.txt?

Un validatore controlla che il file sia raggiungibile, servito come testo e scritto con una sintassi valida. Un tester va oltre e dà un verdetto per un URL e un crawler specifici. Di solito servono entrambi, perché un file valido può comunque bloccare una pagina che volevi consentire.

Se un crawler ha un gruppo suo, segue ancora User-agent: *?

No. Un gruppo nominato sostituisce completamente il gruppo * per quel crawler. Ogni regola che vuoi applicare a tutti va ripetuta in ogni gruppo nominato.

Fonti

Altri articoli