Rastrejadors d'IA i AEO, explicats

Guies pràctiques per a propietaris de llocs, equips de màrqueting i desenvolupadors: quins rastrejadors d'IA existeixen, què poden llegir i com assegurar-te que les respostes d'IA poden llegir i citar les teves pàgines.

llms.txt

Quants llocs publiquen un llms.txt? Hem comprovat 10.000 dominis

El 12,4% dels 10.000 dominis més populars publica un llms.txt, i els que ho fan bloquegen molt menys els rastrejadors d'IA. Què mostren les dades i què no.

Llegeix l'article →
Recerca sobre rastrejadors d'IA

Hem llegit el robots.txt dels 10.000 llocs més populars. Això és el que fan amb els rastrejadors d'IA

El 23% dels dominis populars bloqueja un rastrejador d'entrenament d'IA, el 12% un de cerca, i la meitat del primer grup bloqueja tots dos. Dades de 10.000 robots.txt.

Llegeix l'article →
Crawler access

Quatre de cada deu webs d'empresa rebutgen els rastrejadors d'IA

Hem provat 165 webs d'empresa als EUA, el Regne Unit i França amb 14 rastrejadors d'IA: el 38% en rebutja algun i el 10% un d'IA de cerca. Com comprovar-ho.

Llegeix l'article →
Proves de rastrejadors

Què reben realment els rastrejadors d'IA del teu web? Un script de 66 línies

Demana una pàgina com OAI-SearchBot, ClaudeBot, PerplexityBot i un navegador i compara estat, mida i robots.txt. Detecta 403, pàgines de repte i respostes buides.

Llegeix l'article →
SEO amb IA

SEO 2.0: com la cerca i els assistents d'IA han canviat el SEO, capa per capa

SEO 2.0: com la cerca i els assistents d'IA han canviat el SEO, i les cinc capes que cal revisar avui (base SEO, AEO, GEO, AIO, SXO), amb una llista.

Llegeix l'article →
Citacions a la IA

12 maneres que el teu lloc aparegui citat a les respostes d'IA (2027)

12 maneres documentades d'aparèixer citat a ChatGPT, Claude, Perplexity i Google AI Overviews: accés dels rastrejadors, resposta primer, fets en text i marcatge.

Llegeix l'article →
Llista de comprovació d'AEO

12 comprovacions d'AEO que cal fer abans de publicar una pàgina (2027)

Llista d'AEO abans de publicar: 12 comprovacions amb ordres per a estat, robots.txt, tallafoc, HTML en brut, noindex, canonical, marcatge, dates, sitemap i indexació.

Llegeix l'article →
Productes a les respostes d'IA

11 maneres de fer arribar els teus productes a les respostes d'IA (2027)

Com fer arribar productes i preus a ChatGPT, Perplexity i les respostes d'IA de Google: preus en text, marcatge Product, enviament, devolucions, feeds i ressenyes.

Llegeix l'article →
Accés de Claude

Claude pot veure el meu lloc web? Com comprovar-ho

Comprova en 5 minuts si Claude llegeix i cita el teu lloc: robots.txt per a Claude-SearchBot i Claude-User, prova del tallafoc, els teus registres i una prova a Claude.

Llegeix l'article →
Accés de Gemini

Gemini pot veure el meu lloc web? Com comprovar-ho

Descobreix en 5 minuts si Gemini pot fer servir i citar el teu lloc: indexació, el token Google-Extended, una prova del tallafoc per a Googlebot i una altra a Gemini.

Llegeix l'article →
Trànsit d'IA

Com fer el seguiment del trànsit de ChatGPT i altres assistents d'IA a Google Analytics

Visites de ChatGPT, Gemini, Claude, Perplexity i Copilot a GA4: el canal AI Assistant, un grup de canals personalitzat amb regex i què no mostra l'analítica.

Llegeix l'article →
Accés dels rastrejadors

Per què el meu lloc bloqueja de sobte els rastrejadors d'IA?

Els rastrejadors d'IA llegien el teu lloc i ara no? Revisa el robots.txt servit, les polítiques d'IA de Cloudflare del 2026, la protecció contra bots i l'allotjament.

Llegeix l'article →
Content Signals

Què és Content-Signal al robots.txt i algú el respecta?

Què diu la línia Content-Signal del robots.txt, com s'escriuen search, ai-input i ai-train, què hi afegeix Cloudflare i quins rastrejadors d'IA documenten que l'admeten.

Llegeix l'article →
Càrrega de rastreig

Com alentir els rastrejadors d'IA sense bloquejar-los

Rastrejadors d'IA que sobrecarreguen el servidor? Alenteix-los i continua a les respostes d'IA: Crawl-delay on funciona, 429 o 503 amb Retry-After i memòria cau.

Llegeix l'article →
Contingut d'IA

Puc fer servir contingut de ChatGPT al meu lloc web?

Què diuen les condicions d'OpenAI, les polítiques antispam de Google i la Copyright Office dels EUA sobre publicar text de ChatGPT: propietat, drets d'autor i revisió.

Llegeix l'article →
Visibilitat de marca a la IA

Com comprovar si ChatGPT, Perplexity o l'AI Mode de Google esmenten la teva marca

Com comprovar si ChatGPT, Perplexity, Claude, Gemini i l'AI Mode de Google esmenten, citen o enllacen la teva marca, i què poden mesurar Search Console i l'analítica.

Llegeix l'article →
Visibilitat dels competidors

El meu competidor surt a ChatGPT i Perplexity i jo no. Com puc saber per què?

Com diagnosticar-ho quan la IA cita un competidor i no a tu: primer l'accés dels rastrejadors, després respostes, dades, coherència, mencions externes i dates.

Llegeix l'article →
Proves de robots.txt

Com provo les regles del robots.txt per a un URL i un rastrejador concret?

Prova el robots.txt per a un URL i un rastrejador: coincidència segons l'RFC 9309, exemples, el parser de Google, robotparser de Python i el substitut del provador.

Llegeix l'article →
Controls d'IA de Cloudflare

Com llegir l'informe AI Crawl Control de Cloudflare i veure quins rastrejadors d'IA entren

On és l'informe de rastrejadors d'IA de Cloudflare, què vol dir cada columna, com permetre la cerca amb IA i bloquejar l'entrenament, i com provar el resultat amb curl.

Llegeix l'article →
Verificació de rastrejadors

User agents i rangs d'IP dels rastrejadors d'IA: GPTBot, ClaudeBot, PerplexityBot i més

Cadenes user agent de GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, bingbot, Applebot i CCBot, les seves llistes oficials d'IP i com verificar una petició.

Llegeix l'article →
Fonaments d'AEO

Què és l'AEO (answer engine optimization) i per què és important?

L'AEO explicada: motors de respostes, relació amb el SEO i el GEO, les quatre parts pràctiques, una llista, com mesurar resultats i què demanar a un proveïdor.

Llegeix l'article →
Dades estructurades de FAQ

Què és l'esquema FAQ (marcatge FAQPage) i encara serveix el 2026?

L'esquema FAQ explicat: què és FAQPage, per què Google va retirar els resultats enriquits de FAQ el maig de 2026, què fa per a la IA, un exemple JSON-LD i proves.

Llegeix l'article →
Sitemaps

Què volen dir els errors de sitemap de Google Search Console i com els corregeixo?

Què volen dir Couldn't fetch, Sitemap could not be read i Has errors a Google Search Console, com provar un sitemap des de fora i com corregir cada error.

Llegeix l'article →
hreflang

Què és hreflang x-default i quan el necessites?

Què vol dir hreflang x-default, quan el recomana Google, com afegir-lo a l'HTML, a capçaleres HTTP o a un sitemap XML, i els errors que fan ignorar l'hreflang.

Llegeix l'article →
llms-full.txt

Què és el llms-full.txt i te'n cal publicar un al costat del llms.txt?

Què és el llms-full.txt, en què es diferencia del llms.txt i de les pàgines .md, qui el publica, què en documenten els rastrejadors d'IA i com generar-lo i comprovar-lo.

Llegeix l'article →
Accés dels rastrejadors

Com comprovar si un lloc web bloqueja els rastrejadors d'IA

Tres maneres de saber si un lloc bloqueja GPTBot, ClaudeBot, PerplexityBot i altres rastrejadors d'IA: llegir el robots.txt, revisar-los amb un clic i provar el tallafoc.

Llegeix l'article →
Visibilitat a Perplexity

Per què el meu lloc web no apareix a Perplexity?

Per què Perplexity pot no mostrar ni citar el teu lloc: PerplexityBot i Perplexity-User, robots.txt, tallafocs, JavaScript i els rangs d'IP que publica Perplexity.

Llegeix l'article →
Entrenament i cerca

Com bloquejar l'entrenament d'IA i continuar a les respostes de la cerca amb IA

Bloqueja GPTBot, ClaudeBot i Google-Extended per a l'entrenament i continua a les respostes de ChatGPT, Claude, Perplexity i Google: tokens, robots.txt i Content-Signal.

Llegeix l'article →
Registres del servidor

Com buscar rastrejadors d'IA als registres del servidor

Troba GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot i altres rastrejadors d'IA als registres de nginx o Apache amb grep i awk, i verifica'ls per IP o DNS inversa.

Llegeix l'article →
Funcions d'IA de Google

Bloquejar Google-Extended et treu de les AI Overviews i l'AI Mode?

Què documenta Google sobre Google-Extended, Googlebot, les AI Overviews i l'AI Mode: què fa cada control, l'exclusió a Search Console i què has de comprovar.

Llegeix l'article →
Accés de ChatGPT

ChatGPT pot veure el meu lloc web? Com comprovar-ho

Descobreix en 5 minuts si ChatGPT pot llegir i citar el teu lloc: robots.txt per a OAI-SearchBot, una prova del tallafoc, una prova amb curl i una altra a ChatGPT.

Llegeix l'article →
Rastrejadors d'OpenAI

Els rastrejadors d'OpenAI explicats: GPTBot, OAI-SearchBot i ChatGPT-User

Què fan els tres rastrejadors d'OpenAI, les seves cadenes user agent i llistes d'IP, quin token del robots.txt controla cada cosa i què canvia si bloqueges cadascun.

Llegeix l'article →
Tallafocs i CDN

Cloudflare bloqueja els rastrejadors d'IA? Com saber-ho i corregir-ho

Per què Cloudflare i altres WAF responen als rastrejadors d'IA amb un 403 o un desafiament, com detectar-ho i com deixar passar amb seguretat els rastrejadors de cerca.

Llegeix l'article →
robots.txt

robots.txt per a rastrejadors d'IA: què permetre i què bloquejar

Com escriure el robots.txt per a rastrejadors d'IA: permetre la cerca, decidir sobre l'entrenament, el token de cada rastrejador, l'RFC 9309 i els errors habituals.

Llegeix l'article →
llms.txt

Què és llms.txt i val la pena afegir-lo?

llms.txt explicat: què és la proposta, el seu format Markdown, qui el llegeix avui i com escriure'n un en deu minuts, amb una mirada honesta a la seva adopció.

Llegeix l'article →
Fonaments d'AEO

AEO i SEO: què és igual i què canvia per a les respostes d'IA

AEO comparat amb SEO: què es manté igual, què canvia per a les respostes d'IA (accés, contingut que respon primer, entitats, actualitat) i una llista de comprovació.

Llegeix l'article →
Rastrejadors de Claude

Els rastrejadors d'Anthropic: ClaudeBot, Claude-SearchBot i Claude-User

Els tres agents web d'Anthropic: què fan ClaudeBot, Claude-SearchBot i Claude-User, els seus tokens del robots.txt i què canvia si en bloqueges cadascun.

Llegeix l'article →
Rastrejadors de Perplexity

Els rastrejadors de Perplexity: PerplexityBot i Perplexity-User

Els dos agents de Perplexity: què fan PerplexityBot i Perplexity-User, quin controla el robots.txt i com permetre'ls o bloquejar-los al tallafoc.

Llegeix l'article →
Dades estructurades

Dades estructurades per a la cerca i les respostes d'IA: què marcar i com

Quin marcatge de schema.org ajuda les respostes d'IA a llegir la teva pàgina: Organization amb sameAs, dates i autor d'Article, FAQPage i Product amb preu, en JSON-LD.

Llegeix l'article →
Renderització amb JavaScript

Els rastrejadors d'IA poden llegir contingut renderitzat amb JavaScript?

Per què el contingut que només renderitza JavaScript sovint no arriba als rastrejadors d'IA, com comprovar què reben i com solucionar-ho amb SSR o HTML estàtic.

Llegeix l'article →