Dokážu AI crawlery čítať obsah vykresľovaný JavaScriptom?
Často nie. Googlebot vykresľuje JavaScript v neskoršom kroku, no väčšina AI crawlerov neuvádza, že by to robila, a sám Google pripomína, že nie všetky boty dokážu JavaScript spustiť. Ak sa váš text objaví až po spustení skriptov, AI crawler môže dostať prázdnu stránku. Hlavný obsah posielajte v počiatočnom HTML cez vykresľovanie na serveri alebo statické stránky.
Jednostránkové aplikácie a klientske frameworky sú všade a v prehliadači vyzerajú dobre. Crawler, ktorý číta len HTML, ktoré posiela váš server, vidí niečo iné: <div id="root"></div>, niekoľko značiek skriptov a málo alebo žiadny text. Pre odpovede AI taká stránka nemá čo citovať.
Na tejto stránke
Prečo AI crawlery prehliadajú obsah v JavaScripte?
Spúšťanie JavaScriptu je drahé. Crawler musí stiahnuť skripty, spustiť ich v jadre prehliadača a počkať, kým sa načítajú dáta. Google to pre Vyhľadávanie robí: prechádza, zaraďuje stránky do frontu na vykreslenie a vykresľuje ich v headless Chromiu, keď to zdroje dovolia. Aj tak Google odporúča vykresľovanie na serveri alebo predvykresľovanie, pretože je rýchlejšie pre používateľov aj crawlery, a pripomína, že nie všetky boty dokážu JavaScript spustiť.
OpenAI, Anthropic a Perplexity v dokumentácii crawlerov neuvádzajú, že by ich agenti spúšťali JavaScript. Apple uvádza, že Applebot môže stránky vykresľovať v prehliadači. Bez jasného vyhlásenia je pri AI crawleroch bezpečný predpoklad, že čítajú len počiatočné HTML.
Ako overiť, čo crawler dostane?
Pozrite sa na surové HTML, nie na vykreslenú stránku. Vývojárske nástroje prehliadača ukazujú DOM po spustení skriptov, čo nie je to, čo dostane crawler. Použite zobrazenie zdroja alebo si surové HTML uložte z príkazového riadku a prehľadajte ho:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Výsledok 0 znamená, že veta nie je v HTML, ktoré server poslal, takže crawlery, ktoré nespúšťajú skripty, ju nenájdu. Zvyšok prezradí rýchly pohľad do súboru: článok vykreslený na serveri tam má celý text; klientska kostra má prázdny koreňový prvok a zoznam skriptov.
Ktoré stránky sú najviac ohrozené?
- Jednostránkové aplikácie v React, Vue, Angular alebo Svelte, ktoré všetko vykresľujú v prehliadači.
- Stránky, ktoré si hlavný text sťahujú z API po načítaní, napríklad detaily produktu, ceny alebo recenzie.
- Obsah v kartách, akordeónoch alebo sekciách „načítať viac“, ktorý sa vyžiada až po kliknutí.
- Stránky za prihlásením, platobnou bránou (paywall) alebo súhlasovou stenou, cez ktoré crawler neprejde.
- Stránky, ktoré nastavujú
noindexalebo kanonickú URL len cez JavaScript. Google upozorňuje, že keď v pôvodnom HTML uvidínoindex, môže vykresľovanie úplne preskočiť.
Ako opraviť obsah dostupný len cez JavaScript?
Riešením je poslať dôležitý obsah v prvej odpovedi. Vyberte najľahšiu možnosť, ktorú vaša technológia dovoľuje:
- Vykresľovanie na serveri (SSR): frameworky ako Next.js, Nuxt, SvelteKit a Angular SSR vykreslia stránku na serveri a v prehliadači ju hydratujú.
- Statické generovanie alebo predvykresľovanie: HTML zostavte pri nasadení pre stránky, ktoré sa menia zriedka, napríklad články, dokumentáciu a vstupné stránky.
- Progresívne vylepšovanie: text, nadpisy, odkazy, ceny a JSON-LD dajte do HTML a JavaScript používajte len na interakciu.
- Dôležité veci priamo v HTML: ak karty skrývajú obsah, dajte ho celý do HTML a viditeľnosť prepínajte cez CSS alebo skript, namiesto sťahovania po kliknutí.
Nemusíte prerobiť celú aplikáciu naraz. Začnite stránkami, ktoré chcete mať citované: články, dokumentácia, stránky produktov a cenník. Účty a dashboardy môžu zostať na strane klienta, keďže sú aj tak za prihlásením.
Nedávajte crawlerom inú stránku ako používateľom podľa ich user agenta. Vykresľovanie toho istého HTML pre všetkých sa jednoduchšie udržiava a nevzbudzuje žiadne podozrenie z cloakingu.
Blokujú AI crawlery aj obrazovky prihlásenia, súhlasu a paywallu?
Áno. Crawler sa neprihlási, neklikne na cookie banner a nerieši overovacie výzvy. Anthropic uvádza, že jeho boty sa nepokúsia obísť CAPTCHA. Ak správca súhlasov nahradí stránku v HTML prekrytím na celú obrazovku alebo návštevníkov pri prvej návšteve presmeruje na stránku so súhlasom, crawler dostane toto namiesto vášho obsahu.
Zabezpečte, aby verejné stránky vykresľovali svoj obsah v HTML bez ohľadu na stav súhlasu, s bannerom ako prekrytím, nie ako náhradou. Stránky, ktoré chcete mať citované, držte mimo prihlasovacích stien a overte, že crawler nie je presmerovaný na prihlasovaciu stránku.
Ako AISeeWhy zisťuje stránky dostupné len cez JavaScript?
AISeeWhy číta počiatočné HTML tak, ako ho dostane každý crawler, bez spúšťania skriptov. Keď stránka nemá takmer žiadny viditeľný text, ale má koreňový prvok frameworku a skripty, nahlási zistenie P1, že obsah potrebuje JavaScript. Upozorní aj na presmerovania, ktoré crawlery posielajú inam ako na stránku, ktorú dostane prehliadač.
Opravy tohto problému
- Chýba verzia v Markdowne pre AI agentov
- Obsah stránky potrebuje JavaScript
- Cena v značení, ale nie v texte stránky
- Hodnotenia v značení, ktoré stránka nezobrazuje
Ďalšie kroky
- robots.txt tester a kontrola pre AI crawlery
- Pozrite si ukážku úplnej správy
- Monitoring AI crawlerov
- Plány a ceny
Crawlery v tomto článku
Časté otázky
Vykresľuje Googlebot JavaScript?
Áno. Google prechádza HTML, zaraďuje stránky do frontu na vykreslenie a vykresľuje ich v headless Chromiu, keď to zdroje dovolia. Google aj tak odporúča vykresľovanie na serveri alebo predvykresľovanie.
Spúšťajú crawlery ChatGPT, Claude a Perplexity JavaScript?
Dokumentácia crawlerov ich dodávateľov to neuvádza. Kým dodávateľ neuvedie opak, predpokladajte, že crawler číta počiatočné HTML, a zabezpečte, aby v ňom bol váš obsah.
Je dynamické vykresľovanie pre boty dobrý nápad?
Funguje ako dočasné riešenie, no pridáva druhú cestu vykresľovania, ktorú treba udržiavať. Vykresľovanie na serveri alebo statické HTML dáva všetkým ten istý obsah a je jednoduchším dlhodobým riešením.
Počíta sa JSON-LD pridané JavaScriptom?
Google ho po vykreslení prečítať dokáže, no crawlery, ktoré nespúšťajú skripty, ho neuvidia. JSON-LD dajte do počiatočného HTML.
Zdroje
- Google Search Central: Základy JavaScript SEO
- Apple: O crawleri Applebot
- OpenAI: Prehľad crawlerov OpenAI
- Anthropic: Prechádza Anthropic dáta z webu a ako môžu majitelia webov crawler zablokovať?
- Perplexity: crawlery Perplexity