Quatre de cada deu webs d'empresa rebutgen els rastrejadors d'IA
En les nostres auditories de 165 webs d'empresa als EUA, el Regne Unit i França, el 38% va rebutjar al servidor almenys un rastrejador d'IA, gairebé sempre un bot d'entrenament o de scraping. Una de cada deu webs també va rebutjar un rastrejador d'IA de cerca, com ara PerplexityBot o OAI-SearchBot, els que poden portar a una citació. Comproveu la vostra amb una sola petició per rastrejador.
Pregunteu a ChatGPT pel vostre propi producte i us anomena un competidor, un web de ressenyes i un fil d'un fòrum. De vegades és una qüestió de contingut. Sovint és un tallafoc que respon als rastrejadors d'IA amb un no, i ningú de l'equip ho ha vist mai perquè el web funciona bé al navegador.
En aquesta pàgina
Què hem provat?
Demanem una pàgina diverses vegades des de la mateixa adreça: una com a navegador normal i una per cadascun dels 14 rastrejadors d'IA i de cerca, entre ells GPTBot, OAI-SearchBot i ChatGPT-User d'OpenAI, ClaudeBot i Claude-SearchBot d'Anthropic i PerplexityBot de Perplexity. Si el navegador rep la pàgina i un rastrejador rep un 401, 403, 406, 429, 451, 503 o una pàgina de verificació, el web està rebutjant aquell rastrejador.
La mostra és de 218 webs d'empresa als EUA, el Regne Unit i França, auditades del 18 al 21 de novembre de 2026. Vam poder fer la prova completa a 165. Les altres 53 van rebutjar fins i tot la nostra petició simple de navegador o no van respondre, així que les vam deixar fora en lloc de fer suposicions.
Què hem trobat?
- El 38% dels webs que es poden provar (63 de 165) va rebutjar almenys un rastrejador d'IA.
- Tots aquests webs van rebutjar almenys un rastrejador d'entrenament o de scraping.
Bytespiderel va rebutjar el 35% de tots els webs,ClaudeBotel 13% iGPTBotl'11%. - El 10% dels webs (16) també va rebutjar almenys un rastrejador d'IA de cerca, i el 5% (8) va rebutjar un rastrejador que obre una pàgina en directe quan una persona pregunta a l'assistent sobre ella.
- Els rastrejadors de cerca més afectats van ser
PerplexityBot(11 webs) iOAI-SearchBot(5 webs). - Cloudflare era al darrere de 32 dels 66 webs que van rebutjar algun dels rastrejadors provats. En 30 més no hem pogut saber quin tallafoc responia.
Per què passa i quan és una decisió deliberada?
Gran part d'això probablement és deliberat. Molts propietaris no volen que el seu contingut serveixi per entrenar models, i és fàcil activar la protecció contra bots que bloqueja els scrapers. És una decisió raonable.
El problema és que les empreses d'IA fan servir rastrejadors diferents per a l'entrenament i per a la cerca. Bloquejar el d'entrenament no obliga a bloquejar el de cerca, i el de cerca és el que pot fer que la vostra pàgina sigui citada en una resposta.
Els webs més grans ho fan millor?
No gaire. En el nostre informe de robots.txt sobre els 1.000 dominis més populars, el 29,9% dels webs amb robots.txt bloqueja almenys un rastrejador d'entrenament d'IA, i el 63,2% d'aquests també bloqueja almenys un rastrejador d'IA de cerca o d'usuari. Només l'11,0% bloqueja l'entrenament i permet tots els rastrejadors d'IA de cerca, que és la configuració que probablement volien la majoria.
Com puc comprovar el meu web en deu minuts?
- Obriu
yoursite.com/robots.txt. Per a cada rastrejador d'IA que us interessi, mireu si hi ha un grup que el nomeni i què diu. Un grup que anomena un rastrejador substitueix del tot el grup general*. - Proveu què fa el servidor, no què diu el fitxer. Demaneu la vostra pàgina clau com a navegador i com a rastrejador. Un 403, un 429, una pàgina titulada
Just a moment...o una resposta molt més petita que la del navegador són la signatura d'un bloqueig del tallafoc. - Pregunteu a l'assistent. Amb la cerca activada, feu a ChatGPT o Perplexity les preguntes que fan els vostres compradors i mireu quins webs cita. Si l'accés és correcte i encara no hi sortiu, el problema és el contingut, no l'accés.
Com de fiables són aquestes xifres?
Considereu-les un patró, no un cens. La mostra no és aleatòria: són empreses trobades a través de biblioteques d'anuncis, borses de treball i fitxes de mapes. Provem per user agent des d'una sola adreça, mentre que els rastrejadors reals vénen de les adreces que publiquen els seus proveïdors, de manera que alguns tallafocs tractarien els reals de manera diferent. I un bloqueig no sempre és un error.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Preguntes freqüents
Quin percentatge de webs bloqueja els rastrejadors d'IA?
En la nostra auditoria de 165 webs d'empresa que es podien provar, el 38% va rebutjar al servidor almenys un rastrejador d'IA, sobretot bots d'entrenament i de scraping. Un 10% també va rebutjar un rastrejador d'IA de cerca.
Bloquejar GPTBot treu el meu web de la cerca de ChatGPT?
No. OpenAI indica que cada configuració de robots.txt dels seus rastrejadors és independent: GPTBot es relaciona amb l'entrenament i OAI-SearchBot amb la cerca de ChatGPT. Bloquejar-ne un no bloqueja l'altre.
Com pot un web bloquejar un rastrejador sense robots.txt?
Una regla de tallafoc, CDN o protecció contra bots pot respondre a un rastrejador amb un 403, un 429 o una pàgina de verificació. robots.txt no ho mostra mai, així que cal provar-ho demanant la pàgina com a rastrejador.
Rebutjar un rastrejador és sempre un error?
No. Molts propietaris volen mantenir fora els rastrejadors d'entrenament i els scrapers. L'error és bloquejar per accident els rastrejadors de cerca, perquè són els que poden citar la vostra pàgina.
Fonts
- AISeeWhy: Informe d'accés dels rastrejadors d'IA, 2026-11
- RFC 9309: Protocol d'exclusió de robots
- OpenAI: Visió general dels rastrejadors d'OpenAI
- Perplexity: Rastrejadors de Perplexity
- Cloudflare: Gestioneu els rastrejadors d'IA (AI Crawl Control)