Els rastrejadors d'IA poden llegir contingut renderitzat amb JavaScript?

Publicat

Resposta breu

Sovint no. Googlebot renderitza JavaScript en un pas posterior, però la majoria de rastrejadors d'IA no documenten que ho facin, i la mateixa Google recorda que no tots els bots poden executar JavaScript. Si el teu text només apareix després d'executar els scripts, un rastrejador d'IA pot rebre una pàgina buida. Serveix el contingut principal a l'HTML inicial amb renderització al servidor o pàgines estàtiques.

Les aplicacions d'una sola pàgina i els frameworks del costat del client són a tot arreu, i en un navegador es veuen bé. Un rastrejador que només llegeix l'HTML que envia el teu servidor veu una altra cosa: un <div id="root"></div>, unes quantes etiquetes script i poc text o gens. Per a les respostes d'IA, aquesta pàgina no té res per citar.

En aquesta pàgina
  1. Per què els rastrejadors d'IA no veuen el contingut de JavaScript?
  2. Com comprovo què rep un rastrejador?
  3. Quines pàgines tenen més risc?
  4. Com soluciono el contingut que només existeix amb JavaScript?
  5. Les pantalles d'inici de sessió, de consentiment i els murs de pagament també bloquegen els rastrejadors d'IA?
  6. Com detecta AISeeWhy les pàgines que només funcionen amb JavaScript?

Per què els rastrejadors d'IA no veuen el contingut de JavaScript?

Executar JavaScript és costós. Un rastrejador ha de baixar els scripts, executar-los en un motor de navegador i esperar que es carreguin les dades. Google ho fa per a la Cerca: rastreja, posa les pàgines en una cua per renderitzar-les i les renderitza amb Chromium sense interfície quan els recursos ho permeten. Tot i així, Google recomana la renderització al servidor o la prerenderització perquè és més ràpida per als usuaris i els rastrejadors, i recorda que no tots els bots poden executar JavaScript.

OpenAI, Anthropic i Perplexity no diuen a la seva documentació de rastrejadors que els seus agents executin JavaScript. Apple diu que Applebot pot renderitzar pàgines en un navegador. Sense una afirmació clara, el més segur és suposar que els rastrejadors d'IA només llegeixen l'HTML inicial.

Com comprovo què rep un rastrejador?

Mira l'HTML en brut, no la pàgina renderitzada. Les eines per a desenvolupadors del navegador mostren el DOM després d'executar els scripts, que no és el que rep un rastrejador. Fes servir l'opció de veure el codi font, o desa l'HTML en brut des de la línia d'ordres i busca-hi:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Un resultat de 0 vol dir que la frase no és a l'HTML que ha enviat el servidor, així que els rastrejadors que no executen scripts no la trobaran. Una ullada ràpida al fitxer t'ho acaba de dir: un article renderitzat al servidor hi té el text complet; una carcassa del costat del client té un element arrel buit i una llista de scripts.

Quines pàgines tenen més risc?

Com soluciono el contingut que només existeix amb JavaScript?

La solució és enviar el contingut important a la primera resposta. Tria l'opció més lleugera que permeti la teva tecnologia:

No cal convertir tota una aplicació de cop. Comença per les pàgines que vols que et citin: articles, documentació, pàgines de producte i de preus. Les àrees de compte i els taulers poden continuar al costat del client, perquè de tota manera són darrere d'un inici de sessió.

Evita servir als rastrejadors una pàgina diferent de la dels usuaris segons el seu user agent. Renderitzar el mateix HTML per a tothom és més senzill de mantenir i evita qualsevol dubte de cloaking.

Les pantalles d'inici de sessió, de consentiment i els murs de pagament també bloquegen els rastrejadors d'IA?

Sí. Un rastrejador no inicia sessió, no fa clic en un bàner de galetes i no resol desafiaments. Anthropic afirma que els seus bots no intentaran saltar-se els CAPTCHA. Si un gestor de consentiment substitueix la pàgina per una capa a pantalla completa a l'HTML, o redirigeix els visitants nous a una pàgina de consentiment, el rastrejador rep això en lloc del teu contingut.

Assegura't que les pàgines públiques renderitzin el seu contingut a l'HTML sigui quin sigui l'estat del consentiment, amb el bàner com una capa superposada i no com un substitut. Mantén les pàgines que vols que et citin fora dels murs d'inici de sessió, i comprova que un rastrejador no sigui redirigit a una pàgina d'inici de sessió.

Com detecta AISeeWhy les pàgines que només funcionen amb JavaScript?

AISeeWhy llegeix l'HTML inicial tal com el rep cada rastrejador, sense executar scripts. Quan una pàgina gairebé no té text visible però sí un element arrel d'un framework i scripts, informa d'una troballa P1: el contingut necessita JavaScript. També marca les redireccions que envien els rastrejadors a un lloc diferent de la pàgina que rep un navegador.

Correccions per a aquest problema

Eines gratuïtes

Passos següents

Rastrejadors en aquest article

Preguntes freqüents

Googlebot renderitza JavaScript?

Sí. Google rastreja l'HTML, posa les pàgines en una cua per renderitzar-les i les renderitza amb Chromium sense interfície quan els recursos ho permeten. Tot i així, Google recomana la renderització al servidor o la prerenderització.

Els rastrejadors de ChatGPT, Claude i Perplexity executen JavaScript?

La documentació de rastrejadors dels seus proveïdors no ho diu. Mentre un proveïdor no digui el contrari, suposa que el rastrejador llegeix l'HTML inicial i assegura't que el teu contingut hi sigui.

La renderització dinàmica per a bots és una bona idea?

Funciona com a solució provisional, però afegeix un segon camí de renderització que cal mantenir. La renderització al servidor o l'HTML estàtic serveixen el mateix contingut a tothom i són la solució més senzilla a llarg termini.

Compta el JSON-LD afegit amb JavaScript?

Google el pot llegir després de renderitzar, però els rastrejadors que no executen scripts no el veuran. Posa el JSON-LD a l'HTML inicial.

Fonts

Més articles