Quatre de cada deu webs d'empresa rebutgen els rastrejadors d'IA

Publicat

Resposta breu

En les nostres auditories de 165 webs d'empresa als EUA, el Regne Unit i França, el 38% va rebutjar al servidor almenys un rastrejador d'IA, gairebé sempre un bot d'entrenament o de scraping. Una de cada deu webs també va rebutjar un rastrejador d'IA de cerca, com ara PerplexityBot o OAI-SearchBot, els que poden portar a una citació. Comproveu la vostra amb una sola petició per rastrejador.

Pregunteu a ChatGPT pel vostre propi producte i us anomena un competidor, un web de ressenyes i un fil d'un fòrum. De vegades és una qüestió de contingut. Sovint és un tallafoc que respon als rastrejadors d'IA amb un no, i ningú de l'equip ho ha vist mai perquè el web funciona bé al navegador.

En aquesta pàgina
  1. Què hem provat?
  2. Què hem trobat?
  3. Per què passa i quan és una decisió deliberada?
  4. Els webs més grans ho fan millor?
  5. Com puc comprovar el meu web en deu minuts?
  6. Com de fiables són aquestes xifres?

Què hem provat?

Demanem una pàgina diverses vegades des de la mateixa adreça: una com a navegador normal i una per cadascun dels 14 rastrejadors d'IA i de cerca, entre ells GPTBot, OAI-SearchBot i ChatGPT-User d'OpenAI, ClaudeBot i Claude-SearchBot d'Anthropic i PerplexityBot de Perplexity. Si el navegador rep la pàgina i un rastrejador rep un 401, 403, 406, 429, 451, 503 o una pàgina de verificació, el web està rebutjant aquell rastrejador.

La mostra és de 218 webs d'empresa als EUA, el Regne Unit i França, auditades del 18 al 21 de novembre de 2026. Vam poder fer la prova completa a 165. Les altres 53 van rebutjar fins i tot la nostra petició simple de navegador o no van respondre, així que les vam deixar fora en lloc de fer suposicions.

Què hem trobat?

Per què passa i quan és una decisió deliberada?

Gran part d'això probablement és deliberat. Molts propietaris no volen que el seu contingut serveixi per entrenar models, i és fàcil activar la protecció contra bots que bloqueja els scrapers. És una decisió raonable.

El problema és que les empreses d'IA fan servir rastrejadors diferents per a l'entrenament i per a la cerca. Bloquejar el d'entrenament no obliga a bloquejar el de cerca, i el de cerca és el que pot fer que la vostra pàgina sigui citada en una resposta.

Els webs més grans ho fan millor?

No gaire. En el nostre informe de robots.txt sobre els 1.000 dominis més populars, el 29,9% dels webs amb robots.txt bloqueja almenys un rastrejador d'entrenament d'IA, i el 63,2% d'aquests també bloqueja almenys un rastrejador d'IA de cerca o d'usuari. Només l'11,0% bloqueja l'entrenament i permet tots els rastrejadors d'IA de cerca, que és la configuració que probablement volien la majoria.

Com puc comprovar el meu web en deu minuts?

  1. Obriu yoursite.com/robots.txt. Per a cada rastrejador d'IA que us interessi, mireu si hi ha un grup que el nomeni i què diu. Un grup que anomena un rastrejador substitueix del tot el grup general *.
  2. Proveu què fa el servidor, no què diu el fitxer. Demaneu la vostra pàgina clau com a navegador i com a rastrejador. Un 403, un 429, una pàgina titulada Just a moment... o una resposta molt més petita que la del navegador són la signatura d'un bloqueig del tallafoc.
  3. Pregunteu a l'assistent. Amb la cerca activada, feu a ChatGPT o Perplexity les preguntes que fan els vostres compradors i mireu quins webs cita. Si l'accés és correcte i encara no hi sortiu, el problema és el contingut, no l'accés.

Com de fiables són aquestes xifres?

Considereu-les un patró, no un cens. La mostra no és aleatòria: són empreses trobades a través de biblioteques d'anuncis, borses de treball i fitxes de mapes. Provem per user agent des d'una sola adreça, mentre que els rastrejadors reals vénen de les adreces que publiquen els seus proveïdors, de manera que alguns tallafocs tractarien els reals de manera diferent. I un bloqueig no sempre és un error.

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

Quin percentatge de webs bloqueja els rastrejadors d'IA?

En la nostra auditoria de 165 webs d'empresa que es podien provar, el 38% va rebutjar al servidor almenys un rastrejador d'IA, sobretot bots d'entrenament i de scraping. Un 10% també va rebutjar un rastrejador d'IA de cerca.

Bloquejar GPTBot treu el meu web de la cerca de ChatGPT?

No. OpenAI indica que cada configuració de robots.txt dels seus rastrejadors és independent: GPTBot es relaciona amb l'entrenament i OAI-SearchBot amb la cerca de ChatGPT. Bloquejar-ne un no bloqueja l'altre.

Com pot un web bloquejar un rastrejador sense robots.txt?

Una regla de tallafoc, CDN o protecció contra bots pot respondre a un rastrejador amb un 403, un 429 o una pàgina de verificació. robots.txt no ho mostra mai, així que cal provar-ho demanant la pàgina com a rastrejador.

Rebutjar un rastrejador és sempre un error?

No. Molts propietaris volen mantenir fora els rastrejadors d'entrenament i els scrapers. L'error és bloquejar per accident els rastrejadors de cerca, perquè són els que poden citar la vostra pàgina.

Fonts

Més articles