Comprovador i provador de robots.txt per a rastrejadors d'IA
Introdueix l'adreça d'una pàgina: llegim el robots.txt del lloc i mostrem, per a cada rastrejador d'IA i de cerca, si pot obtenir aquesta pàgina. O enganxa un robots.txt per provar-lo abans de publicar-lo.
robots.txt només és una petició. Un tallafoc o una protecció contra bots pot bloquejar igualment un rastrejador que robots.txt permet; la comprovació completa ho prova. Fes la comprovació completa →
Cada rastrejador segueix el grup que esmenta el seu token (per exemple GPTBot o PerplexityBot); només si no n'hi ha cap, segueix User-agent: *. Dins d'un grup guanya la regla coincident més llarga, i en cas d'empat guanya Allow. Bloquejar rastrejadors d'entrenament com GPTBot, ClaudeBot o Google-Extended manté el teu contingut fora de l'entrenament de models; bloquejar rastrejadors de cerca i d'usuari com OAI-SearchBot, ChatGPT-User o PerplexityBot manté les teves pàgines fora de les respostes d'IA.
Guia
Com fer servir el provador de robots.txt
Aquest text s'ha traduït de l'anglès de manera automàtica.
Què comprova aquest provador de robots.txt
Introdueix l'adreça d'una pàgina. El provador agafa l'esquema i l'amfitrió d'aquesta adreça, llegeix /robots.txt a l'arrel d'aquest amfitrió i avalua les seves regles per a la ruta de la teva pàgina. Respon una pregunta per a cadascun dels 16 rastrejadors: pot aquest rastrejador obtenir aquesta pàgina?
Els rastrejadors s'agrupen segons el que fan. Els rastrejadors d'entrenament recullen pàgines per a models d'IA: GPTBot, ClaudeBot, CCBot, Bytespider i Meta-ExternalAgent, a més dels tokens exclusius de robots.txt Google-Extended i Applebot-Extended, que mai no visiten pel seu compte, sinó que indiquen a Google i a Apple si poden fer servir les pàgines que ja han obtingut. Els rastrejadors de cerca creen els índexs que citen les respostes d'IA i els resultats de cerca: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot i Applebot. Els agents d'usuari obtenen una pàgina quan una persona demana a un assistent que l'obri: ChatGPT-User, Claude-User i Perplexity-User.
També pots enganxar un robots.txt en lloc d'una adreça. Aleshores no s'obté res: el provador avalua el text que has enganxat, així que pots provar un canvi abans de publicar-lo. El text enganxat s'utilitza per respondre i no es desa.
Com llegir els resultats
La taula té una fila per rastrejador. La columna de la teva ruta diu Permès o Bloquejat. L'última columna diu quina part del fitxer ho ha decidit:
El seu propi grup: el fitxer té una línia User-agent amb el token d'aquest rastrejador, i per a ell només compten les regles d'aquest grup.
User-agent: *: cap grup no esmenta el rastrejador, així que segueix el grup general.
Cap regla: no s'aplica cap grup, així que la pàgina està permesa.
Sota la taula veuràs les línies Sitemap que indica el fitxer i la seva línia Content-Signal, si en té. Si l'adreça ha retornat una pàgina web en lloc d'un fitxer de text, o cap fitxer, el provador t'ho diu: els rastrejadors tracten una pàgina HTML a /robots.txt com un fitxer inexistent.
Una fila que diu Permès només vol dir que robots.txt no atura aquest rastrejador. No vol dir que el rastrejador vagi a visitar la pàgina, i no diu res del teu tallafoc.
Com tria un rastrejador les seves regles
L'RFC 9309, l'estàndard de robots.txt, fixa tres regles que expliquen gairebé tots els resultats sorprenents. Un rastrejador busca primer els grups el User-agent dels quals coincideix amb el seu token, sense distingir majúscules i minúscules. Si en troba un, segueix només aquests grups i ignora completament User-agent: *. Dins del grup triat guanya la regla amb la ruta coincident més llarga, i si un Allow i un Disallow coincideixen amb la mateixa longitud, guanya Allow.
Amb aquest fitxer, GPTBot queda bloquejat a totes les pàgines, perquè té el seu propi grup. Qualsevol altre rastrejador pot obtenir /private/press/kit.pdf, perquè Allow: /private/press/ és més llarg que Disallow: /private/, i queda bloquejat a /private/notes/. Prova les dues rutes al provador i veuràs com la decisió passa d'un grup a l'altre.
Errors habituals, amb exemples
Les línies User-agent apilades comparteixen un grup. Un fitxer amb User-agent: GPTBot, després User-agent: OAI-SearchBot i després Disallow: / bloqueja tots dos rastrejadors, de manera que un lloc que només volia aturar l'entrenament també desapareix de la cerca de ChatGPT.
Bloquejar el token equivocat d'OpenAI. GPTBot recull dades d'entrenament; OAI-SearchBot decideix si la cerca de ChatGPT et pot mostrar i citar. Bloquejar OAI-SearchBot o ChatGPT-User per aturar l'entrenament et treu de les respostes.
Un caràcter capgira una regla. Disallow: sense res al darrere ho permet tot; Disallow: / ho bloqueja tot.
Les rutes distingeixen majúscules i minúscules. Disallow: /Blog/ no bloqueja /blog/.
Els comodins demanen cura. Disallow: /*.pdf també bloqueja /file.pdf?download=1; Disallow: /*.pdf$ només bloqueja les adreces que acaben en .pdf.
El fitxer és a l'amfitrió equivocat. robots.txt només compta per a l'esquema i l'amfitrió des dels quals se serveix, així que www.example.com, example.com i shop.example.com necessiten cadascun el seu propi fitxer.
El servidor respon amb un error. Una resposta 4xx vol dir que els rastrejadors ho poden obtenir tot. Una resposta 5xx o un temps d'espera esgotat vol dir que han de suposar que tot està prohibit fins que el fitxer es pugui tornar a llegir, així que un /robots.txt trencat pot aturar tot el rastreig.
Regles que els rastrejadors no segueixen. Noindex: i Crawl-delay: no formen part de l'RFC 9309, i Google les ignora totes dues.
Esperar que robots.txt tregui una pàgina de la cerca. Atura el rastreig, no la indexació: una adreça bloquejada pot continuar apareixent sense el seu text. Per mantenir una pàgina fora de l'índex, permet el rastreig i fes servir una metaetiqueta o una capçalera noindex.
Rastrejadors d'entrenament, de cerca i d'usuari: què passa si bloqueges cadascun
Bloquejar un rastrejador d'entrenament és una decisió de política. Manté les teves pàgines fora de l'entrenament de models futurs i no afecta que la cerca amb IA et pugui citar avui. Bloquejar un rastrejador de cerca com OAI-SearchBot, Claude-SearchBot o PerplexityBot manté les teves pàgines fora de les respostes d'aquell assistent. Bloquejar Googlebot o Bingbot et treu d'aquests cercadors i de les funcions d'IA que s'hi basen.
Els agents d'usuari com ChatGPT-User actuen en nom d'una persona que ha demanat la teva pàgina. Alguns proveïdors diuen que aquests agents poden no seguir robots.txt en aquestes peticions, així que una regla per a ells és una petició, no una garantia. Si vols l'entrenament desactivat i la cerca amb IA activada, bloqueja els tokens d'entrenament i deixa tranquils els de cerca i d'usuari.
Prova abans de publicar i torna a provar després
Enganxa el teu esborrany al provador, indica la ruta d'una pàgina important, com una pàgina de producte o de preus, i llegeix la fila de cada rastrejador que t'interessi. Repeteix-ho amb una ruta que volies bloquejar. Quan els resultats coincideixin amb la teva intenció, publica el fitxer i torna a fer servir el provador amb l'adreça real, cosa que demostra que el servidor retorna el fitxer que has editat.
Els rastrejadors desen robots.txt a la memòria cau; Google, per exemple, sol actualitzar-ne la còpia en 24 hores. Un canvi pot trigar un dia a notar-se en el seu comportament, i l'informe de robots.txt de Google Search Console mostra l'última còpia que ha obtingut Google.
Quan robots.txt permet un rastrejador i tot i així està bloquejat
robots.txt només és una petició. Un tallafoc, un servei de protecció contra bots o una regla de la CDN poden respondre a un rastrejador amb un 403 o una pàgina de desafiament mentre les persones veuen la pàgina. El provador no ho pot veure, perquè només llegeix un fitxer. La comprovació completa obté la teva pàgina amb el user agent de cada rastrejador al costat d'un navegador normal i mostra quin rastrejador rep una resposta diferent, amb l'estat HTTP i la signatura del tallafoc.
Preguntes freqüents
És el mateix que el provador de robots.txt de Google?
No. Google va retirar el seu provador de robots.txt independent el 2023; l'informe de robots.txt de Search Console ara mostra el fitxer que ha obtingut Google i els errors d'anàlisi, només per als rastrejadors de Google. Aquest provador aplica les mateixes regles de l'RFC 9309 a 16 rastrejadors d'IA i de cerca alhora.
Permès vol dir que el rastrejador llegirà o citarà la meva pàgina?
No. Vol dir que robots.txt no ho prohibeix. Que el rastrejador obtingui la pàgina depèn del teu servidor i del teu tallafoc, i que un assistent la citi depèn del teu contingut i de la pregunta que es faci.
Per què un rastrejador mostra "cap regla"?
El teu fitxer no té cap grup per al seu token ni cap grup User-agent: *, així que no s'hi aplica res i totes les rutes estan permeses.
Puc provar un robots.txt que encara no està publicat?
Sí. Enganxa el text al segon camp i introdueix la ruta que vols provar. No s'obté res del teu lloc i el text enganxat no es desa.
El provador envia peticions com a GPTBot o els altres rastrejadors?
No. Només llegeix el teu robots.txt i aplica les regles. Per veure què rep realment cada rastrejador del teu servidor, fes la comprovació completa.
Amb quina freqüència el puc fer servir?
És gratuït i no cal cap compte. Perquè continuï disponible per a tothom, cada xarxa pot fer un nombre limitat de proves per hora.