Rastrejadors d'IA i AEO, explicats
Guies pràctiques per a propietaris de llocs, equips de màrqueting i desenvolupadors: quins rastrejadors d'IA existeixen, què poden llegir i com assegurar-te que les respostes d'IA poden llegir i citar les teves pàgines.
Quants llocs publiquen un llms.txt? Hem comprovat 10.000 dominis
El 12,4% dels 10.000 dominis més populars publica un llms.txt, i els que ho fan bloquegen molt menys els rastrejadors d'IA. Què mostren les dades i què no.
Llegeix l'article →Recerca sobre rastrejadors d'IAHem llegit el robots.txt dels 10.000 llocs més populars. Això és el que fan amb els rastrejadors d'IA
El 23% dels dominis populars bloqueja un rastrejador d'entrenament d'IA, el 12% un de cerca, i la meitat del primer grup bloqueja tots dos. Dades de 10.000 robots.txt.
Llegeix l'article →Crawler accessQuatre de cada deu webs d'empresa rebutgen els rastrejadors d'IA
Hem provat 165 webs d'empresa als EUA, el Regne Unit i França amb 14 rastrejadors d'IA: el 38% en rebutja algun i el 10% un d'IA de cerca. Com comprovar-ho.
Llegeix l'article →Proves de rastrejadorsQuè reben realment els rastrejadors d'IA del teu web? Un script de 66 línies
Demana una pàgina com OAI-SearchBot, ClaudeBot, PerplexityBot i un navegador i compara estat, mida i robots.txt. Detecta 403, pàgines de repte i respostes buides.
Llegeix l'article →SEO amb IASEO 2.0: com la cerca i els assistents d'IA han canviat el SEO, capa per capa
SEO 2.0: com la cerca i els assistents d'IA han canviat el SEO, i les cinc capes que cal revisar avui (base SEO, AEO, GEO, AIO, SXO), amb una llista.
Llegeix l'article →Citacions a la IA12 maneres que el teu lloc aparegui citat a les respostes d'IA (2027)
12 maneres documentades d'aparèixer citat a ChatGPT, Claude, Perplexity i Google AI Overviews: accés dels rastrejadors, resposta primer, fets en text i marcatge.
Llegeix l'article →Llista de comprovació d'AEO12 comprovacions d'AEO que cal fer abans de publicar una pàgina (2027)
Llista d'AEO abans de publicar: 12 comprovacions amb ordres per a estat, robots.txt, tallafoc, HTML en brut, noindex, canonical, marcatge, dates, sitemap i indexació.
Llegeix l'article →Productes a les respostes d'IA11 maneres de fer arribar els teus productes a les respostes d'IA (2027)
Com fer arribar productes i preus a ChatGPT, Perplexity i les respostes d'IA de Google: preus en text, marcatge Product, enviament, devolucions, feeds i ressenyes.
Llegeix l'article →Accés de ClaudeClaude pot veure el meu lloc web? Com comprovar-ho
Comprova en 5 minuts si Claude llegeix i cita el teu lloc: robots.txt per a Claude-SearchBot i Claude-User, prova del tallafoc, els teus registres i una prova a Claude.
Llegeix l'article →Accés de GeminiGemini pot veure el meu lloc web? Com comprovar-ho
Descobreix en 5 minuts si Gemini pot fer servir i citar el teu lloc: indexació, el token Google-Extended, una prova del tallafoc per a Googlebot i una altra a Gemini.
Llegeix l'article →Trànsit d'IACom fer el seguiment del trànsit de ChatGPT i altres assistents d'IA a Google Analytics
Visites de ChatGPT, Gemini, Claude, Perplexity i Copilot a GA4: el canal AI Assistant, un grup de canals personalitzat amb regex i què no mostra l'analítica.
Llegeix l'article →Accés dels rastrejadorsPer què el meu lloc bloqueja de sobte els rastrejadors d'IA?
Els rastrejadors d'IA llegien el teu lloc i ara no? Revisa el robots.txt servit, les polítiques d'IA de Cloudflare del 2026, la protecció contra bots i l'allotjament.
Llegeix l'article →Content SignalsQuè és Content-Signal al robots.txt i algú el respecta?
Què diu la línia Content-Signal del robots.txt, com s'escriuen search, ai-input i ai-train, què hi afegeix Cloudflare i quins rastrejadors d'IA documenten que l'admeten.
Llegeix l'article →Càrrega de rastreigCom alentir els rastrejadors d'IA sense bloquejar-los
Rastrejadors d'IA que sobrecarreguen el servidor? Alenteix-los i continua a les respostes d'IA: Crawl-delay on funciona, 429 o 503 amb Retry-After i memòria cau.
Llegeix l'article →Contingut d'IAPuc fer servir contingut de ChatGPT al meu lloc web?
Què diuen les condicions d'OpenAI, les polítiques antispam de Google i la Copyright Office dels EUA sobre publicar text de ChatGPT: propietat, drets d'autor i revisió.
Llegeix l'article →Visibilitat de marca a la IACom comprovar si ChatGPT, Perplexity o l'AI Mode de Google esmenten la teva marca
Com comprovar si ChatGPT, Perplexity, Claude, Gemini i l'AI Mode de Google esmenten, citen o enllacen la teva marca, i què poden mesurar Search Console i l'analítica.
Llegeix l'article →Visibilitat dels competidorsEl meu competidor surt a ChatGPT i Perplexity i jo no. Com puc saber per què?
Com diagnosticar-ho quan la IA cita un competidor i no a tu: primer l'accés dels rastrejadors, després respostes, dades, coherència, mencions externes i dates.
Llegeix l'article →Proves de robots.txtCom provo les regles del robots.txt per a un URL i un rastrejador concret?
Prova el robots.txt per a un URL i un rastrejador: coincidència segons l'RFC 9309, exemples, el parser de Google, robotparser de Python i el substitut del provador.
Llegeix l'article →Controls d'IA de CloudflareCom llegir l'informe AI Crawl Control de Cloudflare i veure quins rastrejadors d'IA entren
On és l'informe de rastrejadors d'IA de Cloudflare, què vol dir cada columna, com permetre la cerca amb IA i bloquejar l'entrenament, i com provar el resultat amb curl.
Llegeix l'article →Verificació de rastrejadorsUser agents i rangs d'IP dels rastrejadors d'IA: GPTBot, ClaudeBot, PerplexityBot i més
Cadenes user agent de GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot, Googlebot, bingbot, Applebot i CCBot, les seves llistes oficials d'IP i com verificar una petició.
Llegeix l'article →Fonaments d'AEOQuè és l'AEO (answer engine optimization) i per què és important?
L'AEO explicada: motors de respostes, relació amb el SEO i el GEO, les quatre parts pràctiques, una llista, com mesurar resultats i què demanar a un proveïdor.
Llegeix l'article →Dades estructurades de FAQQuè és l'esquema FAQ (marcatge FAQPage) i encara serveix el 2026?
L'esquema FAQ explicat: què és FAQPage, per què Google va retirar els resultats enriquits de FAQ el maig de 2026, què fa per a la IA, un exemple JSON-LD i proves.
Llegeix l'article →SitemapsQuè volen dir els errors de sitemap de Google Search Console i com els corregeixo?
Què volen dir Couldn't fetch, Sitemap could not be read i Has errors a Google Search Console, com provar un sitemap des de fora i com corregir cada error.
Llegeix l'article →hreflangQuè és hreflang x-default i quan el necessites?
Què vol dir hreflang x-default, quan el recomana Google, com afegir-lo a l'HTML, a capçaleres HTTP o a un sitemap XML, i els errors que fan ignorar l'hreflang.
Llegeix l'article →llms-full.txtQuè és el llms-full.txt i te'n cal publicar un al costat del llms.txt?
Què és el llms-full.txt, en què es diferencia del llms.txt i de les pàgines .md, qui el publica, què en documenten els rastrejadors d'IA i com generar-lo i comprovar-lo.
Llegeix l'article →Accés dels rastrejadorsCom comprovar si un lloc web bloqueja els rastrejadors d'IA
Tres maneres de saber si un lloc bloqueja GPTBot, ClaudeBot, PerplexityBot i altres rastrejadors d'IA: llegir el robots.txt, revisar-los amb un clic i provar el tallafoc.
Llegeix l'article →Visibilitat a PerplexityPer què el meu lloc web no apareix a Perplexity?
Per què Perplexity pot no mostrar ni citar el teu lloc: PerplexityBot i Perplexity-User, robots.txt, tallafocs, JavaScript i els rangs d'IP que publica Perplexity.
Llegeix l'article →Entrenament i cercaCom bloquejar l'entrenament d'IA i continuar a les respostes de la cerca amb IA
Bloqueja GPTBot, ClaudeBot i Google-Extended per a l'entrenament i continua a les respostes de ChatGPT, Claude, Perplexity i Google: tokens, robots.txt i Content-Signal.
Llegeix l'article →Registres del servidorCom buscar rastrejadors d'IA als registres del servidor
Troba GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot i altres rastrejadors d'IA als registres de nginx o Apache amb grep i awk, i verifica'ls per IP o DNS inversa.
Llegeix l'article →Funcions d'IA de GoogleBloquejar Google-Extended et treu de les AI Overviews i l'AI Mode?
Què documenta Google sobre Google-Extended, Googlebot, les AI Overviews i l'AI Mode: què fa cada control, l'exclusió a Search Console i què has de comprovar.
Llegeix l'article →Accés de ChatGPTChatGPT pot veure el meu lloc web? Com comprovar-ho
Descobreix en 5 minuts si ChatGPT pot llegir i citar el teu lloc: robots.txt per a OAI-SearchBot, una prova del tallafoc, una prova amb curl i una altra a ChatGPT.
Llegeix l'article →Rastrejadors d'OpenAIEls rastrejadors d'OpenAI explicats: GPTBot, OAI-SearchBot i ChatGPT-User
Què fan els tres rastrejadors d'OpenAI, les seves cadenes user agent i llistes d'IP, quin token del robots.txt controla cada cosa i què canvia si bloqueges cadascun.
Llegeix l'article →Tallafocs i CDNCloudflare bloqueja els rastrejadors d'IA? Com saber-ho i corregir-ho
Per què Cloudflare i altres WAF responen als rastrejadors d'IA amb un 403 o un desafiament, com detectar-ho i com deixar passar amb seguretat els rastrejadors de cerca.
Llegeix l'article →robots.txtrobots.txt per a rastrejadors d'IA: què permetre i què bloquejar
Com escriure el robots.txt per a rastrejadors d'IA: permetre la cerca, decidir sobre l'entrenament, el token de cada rastrejador, l'RFC 9309 i els errors habituals.
Llegeix l'article →llms.txtQuè és llms.txt i val la pena afegir-lo?
llms.txt explicat: què és la proposta, el seu format Markdown, qui el llegeix avui i com escriure'n un en deu minuts, amb una mirada honesta a la seva adopció.
Llegeix l'article →Fonaments d'AEOAEO i SEO: què és igual i què canvia per a les respostes d'IA
AEO comparat amb SEO: què es manté igual, què canvia per a les respostes d'IA (accés, contingut que respon primer, entitats, actualitat) i una llista de comprovació.
Llegeix l'article →Rastrejadors de ClaudeEls rastrejadors d'Anthropic: ClaudeBot, Claude-SearchBot i Claude-User
Els tres agents web d'Anthropic: què fan ClaudeBot, Claude-SearchBot i Claude-User, els seus tokens del robots.txt i què canvia si en bloqueges cadascun.
Llegeix l'article →Rastrejadors de PerplexityEls rastrejadors de Perplexity: PerplexityBot i Perplexity-User
Els dos agents de Perplexity: què fan PerplexityBot i Perplexity-User, quin controla el robots.txt i com permetre'ls o bloquejar-los al tallafoc.
Llegeix l'article →Dades estructuradesDades estructurades per a la cerca i les respostes d'IA: què marcar i com
Quin marcatge de schema.org ajuda les respostes d'IA a llegir la teva pàgina: Organization amb sameAs, dates i autor d'Article, FAQPage i Product amb preu, en JSON-LD.
Llegeix l'article →Renderització amb JavaScriptEls rastrejadors d'IA poden llegir contingut renderitzat amb JavaScript?
Per què el contingut que només renderitza JavaScript sovint no arriba als rastrejadors d'IA, com comprovar què reben i com solucionar-ho amb SSR o HTML estàtic.
Llegeix l'article →