Hem llegit el robots.txt dels 10.000 llocs més populars. Això és el que fan amb els rastrejadors d'IA
Dels 6.192 dominis del top 10.000 de Tranco que serveixen un robots.txt, el 23,2% bloqueja almenys un rastrejador d'entrenament d'IA i el 12,3% bloqueja almenys un rastrejador de cerca o d'usuari d'IA. El 51,6% dels llocs que bloquegen l'entrenament també bloqueja la cerca d'IA. Només l'11,2% es treu de l'entrenament i alhora permet tots els rastrejadors de cerca d'IA.
Al novembre vam llegir el robots.txt dels 1.000 dominis més populars. Aquesta vegada n'hem llegit 10.000, amb el mateix mètode, i hem afegit una comprovació de com canvia el panorama a mesura que els llocs són més petits. La conclusió principal es manté: bloquejar l'entrenament i bloquejar la cerca es tracta com una sola decisió, tot i que són dues.
En aquesta pàgina
Com ho hem mesurat?
Vam agafar els 10.000 dominis principals de la llista Tranco (ID de llista JZWZY) i vam descarregar una vegada, el 21 de novembre de 2026, la pàgina d'inici, el robots.txt i el llms.txt de cada domini, amb l'agent d'usuari propi d'AISeeWhy. Vam jutjar cada robots.txt segons l'RFC 9309 per a la pàgina d'inici (/) i per a 16 rastrejadors d'IA i de cerca.
6.192 dels 10.000 dominis servien un robots.txt (una resposta correcta que no és una pàgina HTML). 1.121 van respondre amb un 4xx, cosa que vol dir cap regla i tots els rastrejadors permesos, i 2.687 no en servien cap (lloc sense HTTPS, errors, temps d'espera esgotats o una pàgina HTML en lloc seu). Tots els percentatges següents són sobre els 6.192. La llista inclou CDN i API que no serveixen cap lloc web.
Què hem trobat?
- El 23,2% (1.437 dominis) bloqueja almenys un rastrejador d'entrenament d'IA.
- El 12,3% (762) bloqueja almenys un rastrejador de cerca o d'usuari d'IA, de manera que les pàgines no haurien de ser usades ni citades per les respostes que en depenen.
- El 51,6% dels dominis que bloquegen un rastrejador d'entrenament (742 de 1.437) també bloqueja almenys un rastrejador de cerca o d'usuari d'IA.
- Només l'11,2% (695) tria la via selectiva: bloqueja els rastrejadors d'entrenament i permet tots els de cerca i d'usuari d'IA.
- El 6,5% (401) expressa les seves preferències sobre la IA amb
Content-Signal. - El 12,4% de tots els 10.000 dominis (1.240) publica un
llms.txt. - Com a comparació, el 2,0% (124) bloqueja
Googlebota la pàgina d'inici.
Quins rastrejadors es bloquegen més sovint?
Percentatge dels 6.192 dominis el robots.txt dels quals prohibeix la pàgina d'inici al rastrejador:
Bytespider18,7%,CCBot18,5%,GPTBot17,4%,ClaudeBot16,5%.Meta-ExternalAgent15,5%,Google-Extended14,9%,Applebot-Extended14,6%.PerplexityBot10,4% és el rastrejador de cerca d'IA més bloquejat, per davant d'OAI-SearchBot7,0% iClaude-SearchBot7,0%.- Els rastrejadors que obren una pàgina quan una persona ho demana:
ChatGPT-User8,9%,Perplexity-User7,7%,Claude-User7,4%.
Els llocs més grans bloquegen més?
Sí, i confonen l'entrenament amb la cerca més sovint. Hem dividit la llista per posició:
- Posicions 1 a 1.000 (560 dominis amb robots.txt): el 28,6% bloqueja l'entrenament, el 18,6% bloqueja la cerca d'IA, i el 63,1% dels que bloquegen l'entrenament també bloqueja la cerca d'IA.
- Posicions 1.001 a 3.000 (1.256 dominis): 23,5%, 13,5% i 55,6%.
- Posicions 3.001 a 10.000 (4.376 dominis): 22,4%, 11,2% i 48,6%.
La via selectiva és rara a totes les mides: el 10,5%, el 10,4% i l'11,5% dels dominis dels tres grups.
Ha canviat res des del nostre informe del 12 de novembre?
Hem tornat a processar els primers 1.000 dominis amb la mateixa llista. El resultat és estable amb una diferència d'uns pocs punts: el 28,6% bloqueja l'entrenament (29,9% el 12 de novembre), el 18,6% bloqueja la cerca d'IA (19,5%), i el 63,1% dels que bloquegen l'entrenament també bloqueja la cerca d'IA (63,2%). Els denominadors difereixen una mica (ara 560 dominis amb robots.txt, abans 518) perquè aquesta vegada se segueix la redirecció d'un domini cap al seu host principal abans de descarregar.
Què significa per al teu robots.txt?
La majoria d'empreses d'IA documenten rastrejadors separats per a l'entrenament i per a la cerca, i diuen que els paràmetres són independents. Prohibir GPTBot no afecta OAI-SearchBot, i prohibir ClaudeBot no afecta Claude-SearchBot. Si vols excloure't de l'entrenament i continuar sent citat, bloqueja els tokens d'entrenament i permet els de cerca i d'usuari, i repeteix els camins privats a cada grup, perquè un grup amb nom no hereta de *.
Com de fiables són aquestes xifres?
Són regles de robots.txt per a la pàgina d'inici, llegides per un sol analitzador en un sol dia. No mesuren els bloquejos del tallafoc, que poden rebutjar un rastrejador que robots.txt permet. No poden dir què pretenia cada lloc, i la llista Tranco inclou dominis que no serveixen cap lloc web. Una regla que bloqueja un rastrejador de cerca no és prova d'un error, sinó d'una elecció que sovint es fa sense conèixer la diferència. Pots citar les xifres amb un enllaç a aquesta pàgina.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovador i validador de llms.txt
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Quin percentatge de llocs populars bloqueja els rastrejadors d'IA?
Entre els 6.192 dominis del top 10.000 de Tranco que serveixen un robots.txt, el 23,2% bloqueja almenys un rastrejador d'entrenament d'IA i el 12,3% bloqueja almenys un rastrejador de cerca o d'usuari d'IA.
Els llocs que bloquegen l'entrenament d'IA també bloquegen la cerca d'IA?
Sovint. El 51,6% dels llocs que bloquegen un rastrejador d'entrenament també bloqueja almenys un rastrejador de cerca o d'usuari d'IA, tot i que els proveïdors els documenten com a rastrejadors separats amb paràmetres independents.
Quin rastrejador d'IA es bloqueja més sovint?
Entre els d'entrenament, Bytespider (18,7%) i CCBot (18,5%), seguits de GPTBot (17,4%). Entre els de cerca d'IA, PerplexityBot és el més bloquejat, al 10,4% dels dominis.
Per què les xifres són diferents de les del vostre informe de 1.000 llocs?
Els primers 1.000 dominis donen percentatges gairebé iguals (28,6% i 18,6% davant de 29,9% i 19,5%). Les xifres dels 10.000 llocs són més baixes perquè els llocs més petits bloquegen menys.
Fonts
- AISeeWhy: Informe d'accés dels rastrejadors d'IA, 2026-11
- Tranco: una classificació de llocs destacats orientada a la recerca
- RFC 9309: Protocol d'exclusió de robots
- OpenAI: Visió general dels rastrejadors d'OpenAI
- Anthropic: Anthropic rastreja dades del web i com poden els propietaris de llocs bloquejar el rastrejador?
- Perplexity: Rastrejadors de Perplexity