A e lexojnë zvarritësit AI përmbajtjen e renderuar me JavaScript?

Publikuar

Përgjigje e shkurtër

Shpesh jo. Googlebot e renderon JavaScript-in në një hap të mëvonshëm, por shumica e zvarritësve AI nuk dokumentojnë se e bëjnë këtë, dhe vetë Google vëren se jo të gjithë botët mund të ekzekutojnë JavaScript. Nëse teksti juaj shfaqet vetëm pasi ekzekutohen skriptet, një zvarritës AI mund të marrë një faqe bosh. Shërbejeni përmbajtjen kryesore në HTML-në fillestare me renderim në server ose me faqe statike.

Aplikacionet me një faqe dhe framework-et në anën e klientit janë kudo, dhe në shfletues duken mirë. Një zvarritës që lexon vetëm HTML-në që dërgon serveri juaj sheh diçka tjetër: një <div id="root"></div>, disa etiketa skriptesh dhe pak ose aspak tekst. Për përgjigjet e AI, ajo faqe nuk ka asgjë për të cituar.

Në këtë faqe
  1. Pse u shpëton zvarritësve AI përmbajtja me JavaScript?
  2. Si ta kontrolloj çfarë merr një zvarritës?
  3. Cilat faqe janë më në rrezik?
  4. Si ta rregulloj përmbajtjen që varet vetëm nga JavaScript?
  5. A i bllokojnë zvarritësit AI edhe ekranet e hyrjes, të pëlqimit dhe të paywall-it?
  6. Si i zbulon AISeeWhy faqet që varen vetëm nga JavaScript?

Pse u shpëton zvarritësve AI përmbajtja me JavaScript?

Ekzekutimi i JavaScript-it kushton. Një zvarritës duhet t'i shkarkojë skriptet, t'i ekzekutojë në një motor shfletuesi dhe të presë që të ngarkohen të dhënat. Google e bën këtë për Search: zvarrit, i vendos faqet në radhë për renderim dhe i renderon me Chromium headless kur burimet e lejojnë. Megjithatë, Google rekomandon renderimin në server ose pararenderimin, sepse është më i shpejtë për përdoruesit dhe zvarritësit, dhe vëren se jo të gjithë botët mund të ekzekutojnë JavaScript.

OpenAI, Anthropic dhe Perplexity nuk deklarojnë në dokumentacionin e zvarritësve të tyre se agjentët e tyre ekzekutojnë JavaScript. Apple thotë se Applebot mund t'i renderojë faqet në një shfletues. Pa një deklaratë të qartë, supozimi i sigurt për zvarritësit AI është që lexojnë vetëm HTML-në fillestare.

Si ta kontrolloj çfarë merr një zvarritës?

Shikoni HTML-në e papërpunuar, jo faqen e renderuar. Mjetet për zhvilluesit në shfletues tregojnë DOM-in pasi u ekzekutuan skriptet, që nuk është ajo që merr një zvarritës. Përdorni view-source, ose ruajeni HTML-në e papërpunuar nga rreshti i komandave dhe kërkoni në të:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

Një rezultat 0 do të thotë që fjalia nuk është në HTML-në që dërgoi serveri, ndaj zvarritësit që nuk ekzekutojnë skripte nuk do ta gjejnë. Një vështrim i shpejtë te skedari tregon pjesën tjetër: një artikull i renderuar në server e ka aty tekstin e plotë; një guaskë në anën e klientit ka një element rrënjë bosh dhe një listë skriptesh.

Cilat faqe janë më në rrezik?

Si ta rregulloj përmbajtjen që varet vetëm nga JavaScript?

Rregullimi është ta dërgoni përmbajtjen e rëndësishme në përgjigjen e parë. Zgjidhni opsionin më të lehtë që lejon stack-u juaj:

Nuk keni pse ta konvertoni të gjithë aplikacionin njëherësh. Filloni me faqet që doni të citohen: artikujt, dokumentacionin, faqet e produkteve dhe të çmimeve. Zonat e llogarisë dhe panelet mund të mbeten në anën e klientit, sepse gjithsesi janë pas një hyrjeje.

Shmangni t'u shërbeni zvarritësve një faqe tjetër nga ajo e përdoruesve në bazë të user agent-it. Renderimi i të njëjtit HTML për të gjithë është më i thjeshtë për t'u mirëmbajtur dhe shmang çdo dyshim për cloaking.

A i bllokojnë zvarritësit AI edhe ekranet e hyrjes, të pëlqimit dhe të paywall-it?

Po. Një zvarritës nuk hyn në llogari, nuk klikon një baner cookies dhe nuk zgjidh sfida. Anthropic deklaron se botët e tij nuk do të përpiqen të kalojnë CAPTCHA. Nëse një menaxhues pëlqimi e zëvendëson faqen me një mbulesë në ekran të plotë në HTML, ose i ridrejton vizitorët e parë te një faqe pëlqimi, zvarritësi merr atë në vend të përmbajtjes suaj.

Sigurohuni që faqet publike ta renderojnë përmbajtjen e tyre në HTML pavarësisht gjendjes së pëlqimit, me banerin si mbulesë dhe jo si zëvendësim. Mbajini faqet që doni të citohen jashtë mureve të hyrjes, dhe kontrolloni që një zvarritës të mos ridrejtohet te një faqe hyrjeje.

Si i zbulon AISeeWhy faqet që varen vetëm nga JavaScript?

AISeeWhy e lexon HTML-në fillestare ashtu siç e merr çdo zvarritës, pa ekzekutuar skripte. Kur një faqe ka pothuajse aspak tekst të dukshëm, por ka një element rrënjë framework-u dhe skripte, raporton një gjetje P1 që përmbajtja kërkon JavaScript. Shënon gjithashtu ridrejtimet që i dërgojnë zvarritësit diku tjetër nga faqja që merr një shfletues.

Rregullime për këtë problem

Mjete falas

Hapat e radhës

Zvarritësit në këtë artikull

Pyetje të shpeshta

A e renderon Googlebot JavaScript-in?

Po. Google zvarrit HTML-në, i vendos faqet në radhë për renderim dhe i renderon me Chromium headless kur burimet e lejojnë. Google rekomandon ende renderimin në server ose pararenderimin.

A ekzekutojnë JavaScript zvarritësit e ChatGPT, Claude dhe Perplexity?

Dokumentacioni i zvarritësve të ofruesve të tyre nuk e thotë këtë. Derisa një ofrues të deklarojë ndryshe, supozoni që zvarritësi lexon HTML-në fillestare dhe sigurohuni që përmbajtja juaj është aty.

A është ide e mirë renderimi dinamik për botët?

Funksionon si zgjidhje e përkohshme, por shton një rrugë të dytë renderimi për t'u mirëmbajtur. Renderimi në server ose HTML-ja statike i shërben të njëjtën përmbajtje të gjithëve dhe është rregullimi më i thjeshtë afatgjatë.

A llogaritet JSON-LD i shtuar nga JavaScript?

Google mund ta lexojë pas renderimit, por zvarritësit që nuk ekzekutojnë skripte nuk do ta shohin. Vendoseni JSON-LD në HTML-në fillestare.

Burimet

Më shumë artikuj