Come testo le regole del robots.txt per un URL e un crawler specifico?
Per testare un URL per un crawler, trova il gruppo che nomina il token del crawler (o User-agent: * se nessuno lo nomina), raccogli tutte le regole Allow e Disallow del gruppo che corrispondono al percorso dell'URL e applica la più lunga; a parità, vince Allow. Puoi farlo a mano, con il parser open source di Google o con uno strumento che mostra un verdetto per ogni crawler. Il vecchio Tester dei file robots.txt di Search Console non c'è più, e il report robots.txt che l'ha sostituito mostra cosa ha scaricato Google, non un verdetto per un URL.
Un file robots.txt sembra semplice finché non ti serve una risposta certa: GPTBot può scaricare questa pagina? E OAI-SearchBot? La risposta dipende da quale gruppo sceglie il crawler e da quale regola vince all'interno di quel gruppo, e in entrambi i passaggi è facile sbagliare. Ecco come funziona la corrispondenza secondo RFC 9309, quattro esempi svolti e tre modi per testare un file da solo.
In questa pagina
- Che fine ha fatto il Tester dei file robots.txt in Google Search Console?
- Come decide un crawler se un URL è consentito?
- Mi mostri un esempio di test del robots.txt passo per passo?
- Come uso il parser robots.txt open source di Google?
- Posso testare il robots.txt con urllib.robotparser di Python?
- Perché un test del robots.txt passa ma il crawler è ancora bloccato?
- Come controllo il robots.txt per tutti i crawler di IA in una volta?
Che fine ha fatto il Tester dei file robots.txt in Google Search Console?
A novembre 2023 Google ha aggiunto a Search Console un report robots.txt e ha annunciato il ritiro del tester. Il report si trova in Impostazioni e riguarda solo i crawler di Google. Mostra:
- I file robots.txt che Google ha trovato per i primi 20 host della tua proprietà.
- Lo stato di recupero di ogni file (
Fetched,Not Fetched - Not found (404)oNot Fetched - Any other reason), l'ultima volta che Google l'ha controllato e la sua dimensione in byte. - I problemi nel file. Google dice che gli errori impediscono l'uso di una regola, mentre gli avvisi no.
- Le versioni che Google ha scaricato negli ultimi 30 giorni e un pulsante per richiedere una nuova scansione dopo aver corretto il file.
Il report non accetta un URL per restituire consentito o bloccato. Per controllare un URL per Googlebot, Google rimanda allo strumento Controllo URL, e per i test in locale alla sua libreria robots.txt open source. Nessuno dei due ti dice qualcosa sui crawler di IA come GPTBot o ClaudeBot.
Come decide un crawler se un URL è consentito?
RFC 9309, il Robots Exclusion Protocol, definisce la corrispondenza. Google documenta lo stesso comportamento per i suoi crawler.
- Scegli il gruppo. La corrispondenza dello user agent non distingue tra maiuscole e minuscole. Se uno o più gruppi nominano il token del crawler, le loro regole vengono unite e il gruppo
User-agent: *viene ignorato del tutto. Solo un crawler senza un gruppo con il suo nome segue*. - Scegli la regola. Tra le regole
AlloweDisallowil cui percorso corrisponde all'URL, vince quella con più caratteri. Se unAllowe unDisallowsono lunghi uguali, dovrebbe vincereAllow. - Leggi i pattern.
*corrisponde a qualsiasi sequenza di caratteri e$indica la fine dell'URL. I percorsi distinguono tra maiuscole e minuscole, quindi/Admin/non corrisponde a/admin/. - Nessuna regola corrispondente significa consentito.
/robots.txtstesso è sempre consentito.
Il codice di risposta del robots.txt conta quanto le sue regole. Una risposta 4xx significa che il crawler può scaricare tutto; Google tratta ogni 4xx tranne il 429 come se il file non esistesse. Una risposta 5xx significa che il crawler deve considerare vietato l'intero sito. Google sospende la scansione per le prime 12 ore, poi usa l'ultima copia valida per un massimo di 30 giorni. RFC 9309 richiede ai crawler di analizzare almeno 500 KiB, e Google ignora tutto ciò che viene dopo i 500 KiB.
Mi mostri un esempio di test del robots.txt passo per passo?
Ecco un piccolo robots.txt con un gruppo predefinito e due crawler di IA nominati:
Googlebote/search/help/billing: consentito. Non c'è un gruppo Googlebot, quindi si applica il gruppo*. Corrispondono siaDisallow: /searchsiaAllow: /search/help, e la regolaAllowè più lunga.GPTBote/blog/post: bloccato. GPTBot ha un gruppo suo, eDisallow: /corrisponde a ogni percorso.OAI-SearchBote/admin/settings: consentito. OAI-SearchBot ha un gruppo suo, quindiDisallow: /admin/nel gruppo*non gli si applica. È la sorpresa più comune: ripeti le regole condivise in ogni gruppo nominato.OAI-SearchBote/files/report.pdf: bloccato.Allow: /corrisponde con un carattere,Disallow: /*.pdf$con sette, e vince la regola più lunga.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ I pareggi sono più rari ma seguono la stessa logica. La documentazione di Google riporta il caso di allow: /folder e disallow: /folder per l'URL /folder/page: le due regole hanno la stessa lunghezza, quindi l'URL è consentito.
Come uso il parser robots.txt open source di Google?
Google pubblica la libreria C++ che usa in produzione per applicare le regole del robots.txt, con un piccolo programma a riga di comando per testare un URL e uno user agent su un file locale. Con Bazel installato:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed Il repository documenta anche una build con CMake, che produce un binario chiamato robots con gli stessi argomenti. Lo strumento si limita ad analizzare e confrontare; non scarica il robots.txt, quindi salva prima il file pubblicato. Il README ricorda anche che i comportamenti specifici dei crawler al di fuori di analisi e corrispondenza non fanno parte della libreria.
Posso testare il robots.txt con urllib.robotparser di Python?
La libreria standard di Python include un parser che risponde consentito o bloccato per uno user agent e un URL. Questo script testa l'esempio precedente:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") Controlla la versione di Python prima di fidarti del risultato. Il supporto della corrispondenza RFC 9309 è stato aggiunto a CPython nel 2026 ed è arrivato per la prima volta in Python 3.13.14 e 3.14.5. Le versioni precedenti, compresa tutta la 3.12 e quelle prima, applicano la prima regola corrispondente in ordine di file, non la più lunga, e non capiscono * o $ nei percorsi. Su quelle versioni lo script dà al contrario il primo e il quarto test: Googlebot bloccato su /search/help/billing e OAI-SearchBot autorizzato a scaricare il PDF.
Altre due differenze valgono per tutte le versioni. RobotFileParser.read() tratta una risposta 401 o 403 per il robots.txt come divieto totale, mentre RFC 9309 dice che un 4xx significa che si può scaricare tutto. E read() scarica il file con lo user agent predefinito di Python, che alcuni firewall bloccano, quindi un test può segnalare bloccato per motivi che non c'entrano con le tue regole. Scaricare il file da te e passarlo a parse(), come sopra, evita entrambi i problemi.
Perché un test del robots.txt passa ma il crawler è ancora bloccato?
Un tester risponde a una domanda: le regole consentono questo URL? Diverse cose restano fuori da quella risposta:
- Il file pubblicato è diverso da quello che hai testato, oppure il crawler usa ancora una copia in cache. RFC 9309 dice che i crawler non dovrebbero usare una copia in cache per più di 24 ore, e Google in generale tiene la cache fino a 24 ore.
- L'URL del robots.txt restituisce una pagina HTML o un errore. Una pagina HTML con stato 200 non contiene regole valide, e una risposta 5xx blocca l'intero sito.
- Il robots.txt è una richiesta, non un controllo degli accessi. Un firewall, una CDN o una protezione dai bot possono comunque rispondere al crawler con un 403 o una pagina di verifica.
Come controllo il robots.txt per tutti i crawler di IA in una volta?
Il controllo robots.txt gratuito di AISeeWhy accetta l'indirizzo di una pagina o un robots.txt incollato e mostra, per ogni crawler di IA e di ricerca, se quella pagina può essere scaricata. Il generatore di robots.txt gratuito scrive un file in base alle tue scelte, e il controllo gratuito scarica la pagina come 16 crawler per mostrare se un firewall blocca ciò che il robots.txt consente.
Correzioni per questo problema
- robots.txt consente GPTBot, ma il server lo blocca
- robots.txt vieta OAI-SearchBot
- robots.txt è una pagina HTML
- robots.txt non è raggiungibile
Prossimi passi
- Tester e verifica robots.txt per i crawler AI
- Guarda un esempio di report completo
- Monitoraggio dei crawler AI
- Piani e prezzi
Crawler in questo articolo
Domande frequenti
Esiste ancora un tester del robots.txt in Google Search Console?
No. Google l'ha sostituito a novembre 2023 con il report robots.txt, che mostra i file scaricati da Google, il loro stato ed eventuali errori. Per verificare se Googlebot può scansionare un URL specifico, usa lo strumento Controllo URL.
Allow prevale su Disallow nel robots.txt?
Solo quando la regola Allow è più lunga, o esattamente lunga uguale. Vince la regola con il percorso corrispondente più lungo, di qualunque tipo sia, e a parità vince Allow.
Il robots.txt distingue tra maiuscole e minuscole?
In parte. Il valore di User-agent viene confrontato senza badare a maiuscole e minuscole, quindi gptbot e GPTBot indicano lo stesso gruppo. I percorsi invece le distinguono, quindi Disallow: /Private/ non blocca /private/.
Cosa controlla un validatore di robots.txt?
Un validatore controlla che il file sia raggiungibile, servito come testo e scritto con una sintassi valida. Un tester va oltre e dà un verdetto per un URL e un crawler specifici. Di solito servono entrambi, perché un file valido può comunque bloccare una pagina che volevi consentire.
Se un crawler ha un gruppo suo, segue ancora User-agent: *?
No. Un gruppo nominato sostituisce completamente il gruppo * per quel crawler. Ogni regola che vuoi applicare a tutti va ripetuta in ogni gruppo nominato.
Fonti
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py