Dokážu AI crawlery čítať obsah vykresľovaný JavaScriptom?

Publikované

Krátka odpoveď

Často nie. Googlebot vykresľuje JavaScript v neskoršom kroku, no väčšina AI crawlerov neuvádza, že by to robila, a sám Google pripomína, že nie všetky boty dokážu JavaScript spustiť. Ak sa váš text objaví až po spustení skriptov, AI crawler môže dostať prázdnu stránku. Hlavný obsah posielajte v počiatočnom HTML cez vykresľovanie na serveri alebo statické stránky.

Jednostránkové aplikácie a klientske frameworky sú všade a v prehliadači vyzerajú dobre. Crawler, ktorý číta len HTML, ktoré posiela váš server, vidí niečo iné: <div id="root"></div>, niekoľko značiek skriptov a málo alebo žiadny text. Pre odpovede AI taká stránka nemá čo citovať.

Na tejto stránke
  1. Prečo AI crawlery prehliadajú obsah v JavaScripte?
  2. Ako overiť, čo crawler dostane?
  3. Ktoré stránky sú najviac ohrozené?
  4. Ako opraviť obsah dostupný len cez JavaScript?
  5. Blokujú AI crawlery aj obrazovky prihlásenia, súhlasu a paywallu?
  6. Ako AISeeWhy zisťuje stránky dostupné len cez JavaScript?

Prečo AI crawlery prehliadajú obsah v JavaScripte?

Spúšťanie JavaScriptu je drahé. Crawler musí stiahnuť skripty, spustiť ich v jadre prehliadača a počkať, kým sa načítajú dáta. Google to pre Vyhľadávanie robí: prechádza, zaraďuje stránky do frontu na vykreslenie a vykresľuje ich v headless Chromiu, keď to zdroje dovolia. Aj tak Google odporúča vykresľovanie na serveri alebo predvykresľovanie, pretože je rýchlejšie pre používateľov aj crawlery, a pripomína, že nie všetky boty dokážu JavaScript spustiť.

OpenAI, Anthropic a Perplexity v dokumentácii crawlerov neuvádzajú, že by ich agenti spúšťali JavaScript. Apple uvádza, že Applebot môže stránky vykresľovať v prehliadači. Bez jasného vyhlásenia je pri AI crawleroch bezpečný predpoklad, že čítajú len počiatočné HTML.

Ako overiť, čo crawler dostane?

Pozrite sa na surové HTML, nie na vykreslenú stránku. Vývojárske nástroje prehliadača ukazujú DOM po spustení skriptov, čo nie je to, čo dostane crawler. Použite zobrazenie zdroja alebo si surové HTML uložte z príkazového riadku a prehľadajte ho:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Výsledok 0 znamená, že veta nie je v HTML, ktoré server poslal, takže crawlery, ktoré nespúšťajú skripty, ju nenájdu. Zvyšok prezradí rýchly pohľad do súboru: článok vykreslený na serveri tam má celý text; klientska kostra má prázdny koreňový prvok a zoznam skriptov.

Ktoré stránky sú najviac ohrozené?

Ako opraviť obsah dostupný len cez JavaScript?

Riešením je poslať dôležitý obsah v prvej odpovedi. Vyberte najľahšiu možnosť, ktorú vaša technológia dovoľuje:

Nemusíte prerobiť celú aplikáciu naraz. Začnite stránkami, ktoré chcete mať citované: články, dokumentácia, stránky produktov a cenník. Účty a dashboardy môžu zostať na strane klienta, keďže sú aj tak za prihlásením.

Nedávajte crawlerom inú stránku ako používateľom podľa ich user agenta. Vykresľovanie toho istého HTML pre všetkých sa jednoduchšie udržiava a nevzbudzuje žiadne podozrenie z cloakingu.

Blokujú AI crawlery aj obrazovky prihlásenia, súhlasu a paywallu?

Áno. Crawler sa neprihlási, neklikne na cookie banner a nerieši overovacie výzvy. Anthropic uvádza, že jeho boty sa nepokúsia obísť CAPTCHA. Ak správca súhlasov nahradí stránku v HTML prekrytím na celú obrazovku alebo návštevníkov pri prvej návšteve presmeruje na stránku so súhlasom, crawler dostane toto namiesto vášho obsahu.

Zabezpečte, aby verejné stránky vykresľovali svoj obsah v HTML bez ohľadu na stav súhlasu, s bannerom ako prekrytím, nie ako náhradou. Stránky, ktoré chcete mať citované, držte mimo prihlasovacích stien a overte, že crawler nie je presmerovaný na prihlasovaciu stránku.

Ako AISeeWhy zisťuje stránky dostupné len cez JavaScript?

AISeeWhy číta počiatočné HTML tak, ako ho dostane každý crawler, bez spúšťania skriptov. Keď stránka nemá takmer žiadny viditeľný text, ale má koreňový prvok frameworku a skripty, nahlási zistenie P1, že obsah potrebuje JavaScript. Upozorní aj na presmerovania, ktoré crawlery posielajú inam ako na stránku, ktorú dostane prehliadač.

Opravy tohto problému

Nástroje zadarmo

Ďalšie kroky

Crawlery v tomto článku

Časté otázky

Vykresľuje Googlebot JavaScript?

Áno. Google prechádza HTML, zaraďuje stránky do frontu na vykreslenie a vykresľuje ich v headless Chromiu, keď to zdroje dovolia. Google aj tak odporúča vykresľovanie na serveri alebo predvykresľovanie.

Spúšťajú crawlery ChatGPT, Claude a Perplexity JavaScript?

Dokumentácia crawlerov ich dodávateľov to neuvádza. Kým dodávateľ neuvedie opak, predpokladajte, že crawler číta počiatočné HTML, a zabezpečte, aby v ňom bol váš obsah.

Je dynamické vykresľovanie pre boty dobrý nápad?

Funguje ako dočasné riešenie, no pridáva druhú cestu vykresľovania, ktorú treba udržiavať. Vykresľovanie na serveri alebo statické HTML dáva všetkým ten istý obsah a je jednoduchším dlhodobým riešením.

Počíta sa JSON-LD pridané JavaScriptom?

Google ho po vykreslení prečítať dokáže, no crawlery, ktoré nespúšťajú skripty, ho neuvidia. JSON-LD dajte do počiatočného HTML.

Zdroje

Ďalšie články