Hem llegit el robots.txt dels 10.000 llocs més populars. Això és el que fan amb els rastrejadors d'IA

Publicat

Resposta breu

Dels 6.192 dominis del top 10.000 de Tranco que serveixen un robots.txt, el 23,2% bloqueja almenys un rastrejador d'entrenament d'IA i el 12,3% bloqueja almenys un rastrejador de cerca o d'usuari d'IA. El 51,6% dels llocs que bloquegen l'entrenament també bloqueja la cerca d'IA. Només l'11,2% es treu de l'entrenament i alhora permet tots els rastrejadors de cerca d'IA.

Al novembre vam llegir el robots.txt dels 1.000 dominis més populars. Aquesta vegada n'hem llegit 10.000, amb el mateix mètode, i hem afegit una comprovació de com canvia el panorama a mesura que els llocs són més petits. La conclusió principal es manté: bloquejar l'entrenament i bloquejar la cerca es tracta com una sola decisió, tot i que són dues.

En aquesta pàgina
  1. Com ho hem mesurat?
  2. Què hem trobat?
  3. Quins rastrejadors es bloquegen més sovint?
  4. Els llocs més grans bloquegen més?
  5. Ha canviat res des del nostre informe del 12 de novembre?
  6. Què significa per al teu robots.txt?
  7. Com de fiables són aquestes xifres?

Com ho hem mesurat?

Vam agafar els 10.000 dominis principals de la llista Tranco (ID de llista JZWZY) i vam descarregar una vegada, el 21 de novembre de 2026, la pàgina d'inici, el robots.txt i el llms.txt de cada domini, amb l'agent d'usuari propi d'AISeeWhy. Vam jutjar cada robots.txt segons l'RFC 9309 per a la pàgina d'inici (/) i per a 16 rastrejadors d'IA i de cerca.

6.192 dels 10.000 dominis servien un robots.txt (una resposta correcta que no és una pàgina HTML). 1.121 van respondre amb un 4xx, cosa que vol dir cap regla i tots els rastrejadors permesos, i 2.687 no en servien cap (lloc sense HTTPS, errors, temps d'espera esgotats o una pàgina HTML en lloc seu). Tots els percentatges següents són sobre els 6.192. La llista inclou CDN i API que no serveixen cap lloc web.

Què hem trobat?

Quins rastrejadors es bloquegen més sovint?

Percentatge dels 6.192 dominis el robots.txt dels quals prohibeix la pàgina d'inici al rastrejador:

Els llocs més grans bloquegen més?

Sí, i confonen l'entrenament amb la cerca més sovint. Hem dividit la llista per posició:

La via selectiva és rara a totes les mides: el 10,5%, el 10,4% i l'11,5% dels dominis dels tres grups.

Ha canviat res des del nostre informe del 12 de novembre?

Hem tornat a processar els primers 1.000 dominis amb la mateixa llista. El resultat és estable amb una diferència d'uns pocs punts: el 28,6% bloqueja l'entrenament (29,9% el 12 de novembre), el 18,6% bloqueja la cerca d'IA (19,5%), i el 63,1% dels que bloquegen l'entrenament també bloqueja la cerca d'IA (63,2%). Els denominadors difereixen una mica (ara 560 dominis amb robots.txt, abans 518) perquè aquesta vegada se segueix la redirecció d'un domini cap al seu host principal abans de descarregar.

Què significa per al teu robots.txt?

La majoria d'empreses d'IA documenten rastrejadors separats per a l'entrenament i per a la cerca, i diuen que els paràmetres són independents. Prohibir GPTBot no afecta OAI-SearchBot, i prohibir ClaudeBot no afecta Claude-SearchBot. Si vols excloure't de l'entrenament i continuar sent citat, bloqueja els tokens d'entrenament i permet els de cerca i d'usuari, i repeteix els camins privats a cada grup, perquè un grup amb nom no hereta de *.

Com de fiables són aquestes xifres?

Són regles de robots.txt per a la pàgina d'inici, llegides per un sol analitzador en un sol dia. No mesuren els bloquejos del tallafoc, que poden rebutjar un rastrejador que robots.txt permet. No poden dir què pretenia cada lloc, i la llista Tranco inclou dominis que no serveixen cap lloc web. Una regla que bloqueja un rastrejador de cerca no és prova d'un error, sinó d'una elecció que sovint es fa sense conèixer la diferència. Pots citar les xifres amb un enllaç a aquesta pàgina.

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

Quin percentatge de llocs populars bloqueja els rastrejadors d'IA?

Entre els 6.192 dominis del top 10.000 de Tranco que serveixen un robots.txt, el 23,2% bloqueja almenys un rastrejador d'entrenament d'IA i el 12,3% bloqueja almenys un rastrejador de cerca o d'usuari d'IA.

Els llocs que bloquegen l'entrenament d'IA també bloquegen la cerca d'IA?

Sovint. El 51,6% dels llocs que bloquegen un rastrejador d'entrenament també bloqueja almenys un rastrejador de cerca o d'usuari d'IA, tot i que els proveïdors els documenten com a rastrejadors separats amb paràmetres independents.

Quin rastrejador d'IA es bloqueja més sovint?

Entre els d'entrenament, Bytespider (18,7%) i CCBot (18,5%), seguits de GPTBot (17,4%). Entre els de cerca d'IA, PerplexityBot és el més bloquejat, al 10,4% dels dominis.

Per què les xifres són diferents de les del vostre informe de 1.000 llocs?

Els primers 1.000 dominis donen percentatges gairebé iguals (28,6% i 18,6% davant de 29,9% i 19,5%). Les xifres dels 10.000 llocs són més baixes perquè els llocs més petits bloquegen menys.

Fonts

Més articles