Com comprovar si un lloc web bloqueja els rastrejadors d'IA
Enganxa qualsevol adreça i comprova si bloqueja GPTBot, ClaudeBot, PerplexityBot i els altres rastrejadors d'IA: al robots.txt, al tallafoc o en tots dos.
Gratis · Sense registre · Resultats en 30 segons
Quins rastrejadors estan bloquejats
Els rastrejadors d'entrenament, de cerca i d'usuari es mostren per separat, perquè bloquejar GPTBot no bloqueja OAI-SearchBot, i bloquejar ClaudeBot no bloqueja Claude-SearchBot.
La línia que decideix
Per a cada rastrejador, el robots.txt es llegeix segons les regles de l'RFC 9309: el grup que el nomena, o User-agent: * com a alternativa, i la regla que preval.
Rebuigs del tallafoc
La pàgina se sol·licita com a 14 rastrejadors i com a navegador normal. Els bloquejos i les pàgines de desafiament es marquen i s'indica quin tallafoc ha respost.
Una solució per a cada troballa
Cada troballa inclou el canvi que cal fer. La comprovació gratuïta mostra la teva puntuació i la primera troballa; l'informe complet costa $29, un únic pagament.
Un lloc pot bloquejar els rastrejadors d'IA en dos punts: el robots.txt, que els demana que no hi entrin, i el servidor o el tallafoc, que els rebutja de debò. Busca al robots.txt el token de cada rastrejador i, si no hi és, User-agent: *; després descarrega la pàgina com el rastrejador i compara-la amb el que rep un navegador. Una extensió de navegador fa la part del robots.txt per a 16 rastrejadors d'IA amb un clic.
Comprova-ho a mà en 3 passos
- Tria el rastrejador
Cada empresa d'IA n'utilitza de diferents. Entrenament:
GPTBot,ClaudeBot. Cerca:OAI-SearchBot,Claude-SearchBot,PerplexityBot. A petició d'una persona:ChatGPT-User,Claude-User,Perplexity-User. - Llegeix-hi el robots.txt
Obre
https://example.com/robots.txti busca el grup que nomena el rastrejador. Si cap grup ho fa, s'aplica el grupUser-agent: *; si no hi ha cap dels dos, tot està permès. - Descarrega la pàgina com el rastrejador
Demana la pàgina amb el user agent del rastrejador i compara l'estat i la mida amb els d'un navegador. Un 403, una pàgina de desafiament o un 200 molt més petit vol dir que el tallafoc el rebutja.
Preguntes freqüents
Un lloc sense robots.txt està obert als rastrejadors d'IA?
Sí, pel que fa al robots.txt. Un 404 al robots.txt vol dir que no hi ha regles, així que qualsevol rastrejador pot descarregar qualsevol pàgina. Tot i així, un tallafoc pot bloquejar rastrejadors.
L'extensió mostra els bloquejos del tallafoc?
No. Llegeix el robots.txt des del teu navegador, i això mostra què demana el lloc als rastrejadors. Per veure els bloquejos del tallafoc i de la protecció contra bots cal una petició enviada com el rastrejador, i això ho fa la comprovació completa d'aiseewhy.com.
Puc comprovar un lloc que no és meu?
Sí. El robots.txt és públic, i l'extensió només llegeix els fitxers robots.txt i llms.txt que publica el lloc, els mateixos que llegeix qualsevol rastrejador.
Llegeix la guia completa
Tant si revises el teu lloc després d'un canvi com si mires el d'una altra persona abans de refiar-te'n, la pregunta «aquest lloc bloqueja els rastrejadors d'IA?» té una resposta precisa. Depèn de quin rastrejador vulguis dir, perquè les empreses d'IA tenen rastrejadors separats per a l'entrenament, per a la cerca i per a les visites en directe, i un lloc pot tractar cadascun de manera diferent. Aquesta guia mostra tres comprovacions, de la més ràpida a la més completa.
On pot un lloc bloquejar els rastrejadors d'IA?
Hi ha tres capes, i un rastrejador les ha de superar totes per fer servir una pàgina.
- robots.txt: un fitxer públic de regles que els rastrejadors que es comporten bé llegeixen abans de descarregar res. És una petició, no un pany.
- El servidor, la CDN o el tallafoc: aquí es decideix què es retorna de veritat. Una regla de protecció contra bots pot respondre a un rastrejador amb un 403, un 429 o una pàgina de desafiament encara que el robots.txt el permeti.
- La mateixa pàgina: si el text principal només apareix després que s'executi JavaScript, un rastrejador que llegeix l'HTML inicial rep una pàgina gairebé buida, tot i que res no l'ha bloquejat.
La majoria de comprovacions ràpides només miren la primera capa. És un bon començament, sempre que recordis les altres dues.
Com llegeixo el robots.txt per a un rastrejador d'IA?
Obre https://example.com/robots.txt en un navegador i busca el grup que s'aplica al rastrejador. Un grup comença amb una o més línies User-agent. El rastrejador fa servir el grup que nomena el seu token, com ara GPTBot; la coincidència no distingeix majúscules de minúscules. Si cap grup no el nomena, fa servir el grup User-agent: *. Si no n'hi ha cap dels dos, tot està permès.
Dins del grup guanya la regla amb el camí coincident més llarg, i quan un Allow i un Disallow tenen la mateixa longitud, guanya Allow. Per tant, el fitxer de sota bloqueja GPTBot a tot el lloc, però deixa entrar tots els altres rastrejadors:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / Fixa't també en com respon el fitxer. Segons l'RFC 9309, un 404 vol dir que no hi ha regles, així que tot està permès. Un error del servidor (5xx) o cap resposta vol dir que el rastrejador ha de tractar tot el lloc com a bloquejat. Una adreça de robots.txt que retorna una pàgina HTML és un error habitual: els rastrejadors no hi troben cap regla vàlida.
Com comprovo tots els rastrejadors d'IA alhora?
Llegir el fitxer a mà es fa lent quan t'importa més d'un rastrejador. Cada empresa d'IA en té diversos, amb feines diferents:
- Els rastrejadors d'entrenament recullen contingut per entrenar models:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, a més dels tokensGoogle-ExtendediApplebot-Extended, que només apareixen al robots.txt. - Els rastrejadors de cerca indexen pàgines perquè les respostes d'IA les puguin citar:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - Els rastrejadors d'usuari descarreguen una pàgina quan una persona ho demana a l'assistent:
ChatGPT-User,Claude-User,Perplexity-User.
L'extensió gratuïta Comprovador de rastrejadors d'IA per a Chrome ho fa amb un clic. Obre qualsevol pàgina i fes clic a la icona: l'extensió llegeix el robots.txt d'aquell lloc i mostra, per a cadascun dels 16 rastrejadors, si la pàgina està permesa i quina línia ho decideix. També mostra les preferències de Content-Signal, si el lloc té un llms.txt i els sitemaps que apareixen al robots.txt. Funciona al teu navegador, no necessita cap compte i només llegeix el lloc on la fas servir.
Sense Chrome, el comprovador gratuït de robots.txt d'aiseewhy.com dona la mateixa resposta per a una URL que hi enganxis.
Com comprovo si el tallafoc els deixa passar?
El robots.txt mostra què demana el lloc. Per veure què rep de debò un rastrejador, demana la pàgina dues vegades, una com a navegador i una amb el user agent del rastrejador, i compara el codi d'estat i la mida de la resposta:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page Si el navegador rep un 200 i el rastrejador un 403, 429 o 503, o una pàgina molt més petita, un tallafoc o una protecció contra bots tracta el rastrejador de manera diferent. Hi ha un límit que s'aplica a qualsevol prova externa: surt de la teva xarxa, no de la de l'empresa d'IA. Un tallafoc que es refia dels rastrejadors per les seves adreces IP publicades pot tractar el rastrejador real de manera diferent, així que l'última paraula la tenen els registres del teu servidor.
La comprovació completa d'aiseewhy.com descarrega la pàgina com cadascun dels 16 rastrejadors al costat d'un navegador real, indica el tallafoc o la regla que bloqueja un rastrejador i compara el text que ha rebut cadascun.
Quin resultat hauria de buscar?
Depèn del que vulguis. Si vols que et citin a la cerca de ChatGPT, a Claude i a Perplexity, els rastrejadors de cerca i d'usuari han d'estar permesos al robots.txt i rebre la pàgina real del servidor. Si no vols que el teu contingut s'utilitzi per a l'entrenament, bloqueja només els tokens d'entrenament. Són decisions separades: bloquejar GPTBot no bloqueja OAI-SearchBot, i bloquejar ClaudeBot no bloqueja Claude-SearchBot.
Molts llocs les confonen. Al nostre informe de novembre de 2026 sobre els 1.000 dominis més populars, el 63 % dels llocs que bloquegen un rastrejador d'entrenament també bloquegen almenys un rastrejador de cerca o d'usuari d'IA, i això deixa les seves pàgines fora d'aquestes respostes d'IA.
Passos següents
- Comprovador i provador de robots.txt per a rastrejadors d'IA
- Comprovador i validador de llms.txt
- Mireu un exemple d'informe complet
- Monitoratge de rastrejadors d'IA
- Plans i preus
Rastrejadors en aquest article
Fonts
- RFC 9309: Protocol d'exclusió de robots
- OpenAI: Resum dels rastrejadors d'OpenAI
- Anthropic: Anthropic rastreja dades del web i com poden bloquejar el rastrejador els propietaris de llocs?
- Perplexity: rastrejadors de Perplexity
- Google: Rastrejadors comuns, inclòs Google-Extended
- AISeeWhy: Informe d'accés dels rastrejadors d'IA, 2026-11