Mogu li AI crawleri pročitati sadržaj koji renderira JavaScript?

Objavljeno

Kratki odgovor

Često ne mogu. Googlebot renderira JavaScript u kasnijem koraku, ali većina AI crawlera ne dokumentira da to radi, a i sam Google napominje da ne mogu svi botovi izvoditi JavaScript. Ako se vaš tekst pojavljuje tek nakon izvođenja skripti, AI crawler može dobiti praznu stranicu. Glavni sadržaj poslužite u početnom HTML-u renderiranjem na poslužitelju ili statičkim stranicama.

Jednostranične aplikacije i klijentski okviri su posvuda i u pregledniku izgledaju dobro. Crawler koji čita samo HTML koji šalje vaš poslužitelj vidi nešto drugo: <div id="root"></div>, nekoliko oznaka script i malo ili nimalo teksta. Za AI odgovore takva stranica nema što ponuditi za citiranje.

Na ovoj stranici
  1. Zašto AI crawleri propuštaju sadržaj iz JavaScripta?
  2. Kako provjeriti što crawler dobiva?
  3. Koje su stranice najugroženije?
  4. Kako ispraviti sadržaj koji postoji samo u JavaScriptu?
  5. Blokiraju li AI crawlere i zasloni za prijavu, privolu i naplatni zid?
  6. Kako AISeeWhy otkriva stranice koje ovise samo o JavaScriptu?

Zašto AI crawleri propuštaju sadržaj iz JavaScripta?

Izvođenje JavaScripta je skupo. Crawler mora preuzeti skripte, izvesti ih u pregledničkom pogonu i pričekati da se podaci učitaju. Google to radi za pretraživanje: indeksira, stavlja stranice u red za renderiranje i renderira ih headless Chromiumom kad resursi to dopuštaju. Ipak, Google preporučuje renderiranje na poslužitelju ili predrenderiranje jer je brže za korisnike i crawlere te napominje da ne mogu svi botovi izvoditi JavaScript.

OpenAI, Anthropic i Perplexity u svojoj dokumentaciji o crawlerima ne navode da njihovi agenti izvode JavaScript. Apple navodi da Applebot može renderirati stranice u pregledniku. Bez jasne izjave sigurna je pretpostavka za AI crawlere da čitaju samo početni HTML.

Kako provjeriti što crawler dobiva?

Pogledajte izvorni HTML, a ne renderiranu stranicu. Alati za razvojne programere u pregledniku prikazuju DOM nakon izvođenja skripti, a to nije ono što crawler dobiva. Koristite prikaz izvornog koda ili spremite izvorni HTML iz naredbenog retka i pretražite ga:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Rezultat 0 znači da rečenice nema u HTML-u koji je poslužitelj poslao, pa je crawleri koji ne izvode skripte neće pronaći. Brz pogled na datoteku otkriva ostalo: članak renderiran na poslužitelju ondje ima cijeli tekst; klijentska ljuska ima prazan korijenski element i popis skripti.

Koje su stranice najugroženije?

Kako ispraviti sadržaj koji postoji samo u JavaScriptu?

Ispravak je poslati važan sadržaj u prvom odgovoru. Odaberite najlakšu opciju koju vaš tehnološki stog dopušta:

Ne morate odjednom pretvoriti cijelu aplikaciju. Počnite sa stranicama za koje želite da budu citirane: člancima, dokumentacijom, stranicama proizvoda i cijena. Korisnički računi i nadzorne ploče mogu ostati na klijentskoj strani jer su ionako iza prijave.

Izbjegavajte da crawlerima, na temelju njihova user agenta, poslužujete drukčiju stranicu nego korisnicima. Renderiranje istog HTML-a za sve jednostavnije je za održavanje i uklanja svaku sumnju u cloaking.

Blokiraju li AI crawlere i zasloni za prijavu, privolu i naplatni zid?

Da. Crawler se ne prijavljuje, ne klikće natpis o kolačićima i ne rješava provjere. Anthropic navodi da njegovi botovi neće pokušavati zaobići CAPTCHA provjere. Ako upravitelj privola u HTML-u zamijeni stranicu slojem preko cijelog zaslona ili posjetitelje koji dolaze prvi put preusmjeri na stranicu za privolu, crawler umjesto vašeg sadržaja dobiva to.

Pobrinite se da javne stranice renderiraju svoj sadržaj u HTML-u bez obzira na stanje privole, s natpisom kao slojem iznad stranice, a ne kao zamjenom za nju. Stranice za koje želite da budu citirane držite izvan zidova za prijavu i provjerite da se crawler ne preusmjerava na stranicu za prijavu.

Kako AISeeWhy otkriva stranice koje ovise samo o JavaScriptu?

AISeeWhy čita početni HTML onako kako ga dobiva svaki crawler, bez izvođenja skripti. Kad stranica gotovo nema vidljivog teksta, ali ima korijenski element okvira i skripte, prijavljuje nalaz P1 da sadržaj treba JavaScript. Označava i preusmjeravanja koja crawlere šalju negdje drugdje, a ne na stranicu koju dobiva preglednik.

Ispravci za ovaj problem

Besplatni alati

Sljedeći koraci

Crawleri u ovom članku

Česta pitanja

Renderira li Googlebot JavaScript?

Da. Google indeksira HTML, stavlja stranice u red za renderiranje i renderira ih headless Chromiumom kad resursi to dopuštaju. Google i dalje preporučuje renderiranje na poslužitelju ili predrenderiranje.

Izvode li crawleri ChatGPT-a, Claudea i Perplexityja JavaScript?

Dokumentacija njihovih dobavljača o crawlerima to ne navodi. Dok dobavljač ne navede drukčije, pretpostavite da crawler čita početni HTML i pobrinite se da je vaš sadržaj u njemu.

Je li dinamičko renderiranje za botove dobra ideja?

Radi kao privremeno rješenje, ali dodaje drugi put renderiranja koji treba održavati. Renderiranje na poslužitelju ili statički HTML svima poslužuju isti sadržaj i jednostavnije su dugoročno rješenje.

Računa li se JSON-LD koji dodaje JavaScript?

Google ga može pročitati nakon renderiranja, ali crawleri koji ne izvode skripte neće ga vidjeti. JSON-LD stavite u početni HTML.

Izvori

Još članaka