A e lexojnë zvarritësit AI përmbajtjen e renderuar me JavaScript?
Shpesh jo. Googlebot e renderon JavaScript-in në një hap të mëvonshëm, por shumica e zvarritësve AI nuk dokumentojnë se e bëjnë këtë, dhe vetë Google vëren se jo të gjithë botët mund të ekzekutojnë JavaScript. Nëse teksti juaj shfaqet vetëm pasi ekzekutohen skriptet, një zvarritës AI mund të marrë një faqe bosh. Shërbejeni përmbajtjen kryesore në HTML-në fillestare me renderim në server ose me faqe statike.
Aplikacionet me një faqe dhe framework-et në anën e klientit janë kudo, dhe në shfletues duken mirë. Një zvarritës që lexon vetëm HTML-në që dërgon serveri juaj sheh diçka tjetër: një <div id="root"></div>, disa etiketa skriptesh dhe pak ose aspak tekst. Për përgjigjet e AI, ajo faqe nuk ka asgjë për të cituar.
Në këtë faqe
- Pse u shpëton zvarritësve AI përmbajtja me JavaScript?
- Si ta kontrolloj çfarë merr një zvarritës?
- Cilat faqe janë më në rrezik?
- Si ta rregulloj përmbajtjen që varet vetëm nga JavaScript?
- A i bllokojnë zvarritësit AI edhe ekranet e hyrjes, të pëlqimit dhe të paywall-it?
- Si i zbulon AISeeWhy faqet që varen vetëm nga JavaScript?
Pse u shpëton zvarritësve AI përmbajtja me JavaScript?
Ekzekutimi i JavaScript-it kushton. Një zvarritës duhet t'i shkarkojë skriptet, t'i ekzekutojë në një motor shfletuesi dhe të presë që të ngarkohen të dhënat. Google e bën këtë për Search: zvarrit, i vendos faqet në radhë për renderim dhe i renderon me Chromium headless kur burimet e lejojnë. Megjithatë, Google rekomandon renderimin në server ose pararenderimin, sepse është më i shpejtë për përdoruesit dhe zvarritësit, dhe vëren se jo të gjithë botët mund të ekzekutojnë JavaScript.
OpenAI, Anthropic dhe Perplexity nuk deklarojnë në dokumentacionin e zvarritësve të tyre se agjentët e tyre ekzekutojnë JavaScript. Apple thotë se Applebot mund t'i renderojë faqet në një shfletues. Pa një deklaratë të qartë, supozimi i sigurt për zvarritësit AI është që lexojnë vetëm HTML-në fillestare.
Si ta kontrolloj çfarë merr një zvarritës?
Shikoni HTML-në e papërpunuar, jo faqen e renderuar. Mjetet për zhvilluesit në shfletues tregojnë DOM-in pasi u ekzekutuan skriptet, që nuk është ajo që merr një zvarritës. Përdorni view-source, ose ruajeni HTML-në e papërpunuar nga rreshti i komandave dhe kërkoni në të:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html Një rezultat 0 do të thotë që fjalia nuk është në HTML-në që dërgoi serveri, ndaj zvarritësit që nuk ekzekutojnë skripte nuk do ta gjejnë. Një vështrim i shpejtë te skedari tregon pjesën tjetër: një artikull i renderuar në server e ka aty tekstin e plotë; një guaskë në anën e klientit ka një element rrënjë bosh dhe një listë skriptesh.
Cilat faqe janë më në rrezik?
- Aplikacionet me një faqe të ndërtuara me React, Vue, Angular ose Svelte që e renderojnë gjithçka në shfletues.
- Faqet që e marrin tekstin e tyre kryesor nga një API pas ngarkimit, si detajet e produkteve, çmimet ose vlerësimet.
- Përmbajtja brenda skedave, akordeoneve ose seksioneve "ngarko më shumë" që kërkohet vetëm me klikim.
- Faqet pas një hyrjeje, një paywall-i ose një muri pëlqimi që zvarritësi nuk mund ta kalojë.
- Faqet që e vendosin
noindexose URL-në canonical vetëm përmes JavaScript-it. Google paralajmëron se kur shehnoindexnë HTML-në origjinale, mund ta kapërcejë fare renderimin.
Si ta rregulloj përmbajtjen që varet vetëm nga JavaScript?
Rregullimi është ta dërgoni përmbajtjen e rëndësishme në përgjigjen e parë. Zgjidhni opsionin më të lehtë që lejon stack-u juaj:
- Renderimi në server (SSR): framework-e si Next.js, Nuxt, SvelteKit dhe Angular SSR e renderojnë faqen në server dhe e hidratojnë në shfletues.
- Gjenerimi statik ose pararenderimi: ndërtojeni HTML-në në kohën e publikimit për faqet që ndryshojnë rrallë, si artikujt, dokumentacioni dhe faqet e uljes.
- Përmirësimi progresiv: vendosni tekstin, titujt, lidhjet, çmimet dhe JSON-LD në HTML dhe përdorni JavaScript vetëm për ndërveprimin.
- Vendosni direkt atë që ka rëndësi: nëse skedat fshehin përmbajtje, vendoseni të gjithë në HTML dhe ndryshoni dukshmërinë me CSS ose skript, në vend që ta merrni me klikim.
Nuk keni pse ta konvertoni të gjithë aplikacionin njëherësh. Filloni me faqet që doni të citohen: artikujt, dokumentacionin, faqet e produkteve dhe të çmimeve. Zonat e llogarisë dhe panelet mund të mbeten në anën e klientit, sepse gjithsesi janë pas një hyrjeje.
Shmangni t'u shërbeni zvarritësve një faqe tjetër nga ajo e përdoruesve në bazë të user agent-it. Renderimi i të njëjtit HTML për të gjithë është më i thjeshtë për t'u mirëmbajtur dhe shmang çdo dyshim për cloaking.
A i bllokojnë zvarritësit AI edhe ekranet e hyrjes, të pëlqimit dhe të paywall-it?
Po. Një zvarritës nuk hyn në llogari, nuk klikon një baner cookies dhe nuk zgjidh sfida. Anthropic deklaron se botët e tij nuk do të përpiqen të kalojnë CAPTCHA. Nëse një menaxhues pëlqimi e zëvendëson faqen me një mbulesë në ekran të plotë në HTML, ose i ridrejton vizitorët e parë te një faqe pëlqimi, zvarritësi merr atë në vend të përmbajtjes suaj.
Sigurohuni që faqet publike ta renderojnë përmbajtjen e tyre në HTML pavarësisht gjendjes së pëlqimit, me banerin si mbulesë dhe jo si zëvendësim. Mbajini faqet që doni të citohen jashtë mureve të hyrjes, dhe kontrolloni që një zvarritës të mos ridrejtohet te një faqe hyrjeje.
Si i zbulon AISeeWhy faqet që varen vetëm nga JavaScript?
AISeeWhy e lexon HTML-në fillestare ashtu siç e merr çdo zvarritës, pa ekzekutuar skripte. Kur një faqe ka pothuajse aspak tekst të dukshëm, por ka një element rrënjë framework-u dhe skripte, raporton një gjetje P1 që përmbajtja kërkon JavaScript. Shënon gjithashtu ridrejtimet që i dërgojnë zvarritësit diku tjetër nga faqja që merr një shfletues.
Rregullime për këtë problem
- Nuk ka version Markdown për agjentët AI
- Përmbajtja e faqes kërkon JavaScript
- Çmim në shënim por jo në tekstin e faqes
- Vlerësim në shënim që faqja nuk e shfaq
Hapat e radhës
- Testuesi dhe kontrolluesi i robots.txt për zvarritësit AI
- Shihni një shembull të raportit të plotë
- Monitorimi i zvarritësve AI
- Planet dhe çmimet
Zvarritësit në këtë artikull
Pyetje të shpeshta
A e renderon Googlebot JavaScript-in?
Po. Google zvarrit HTML-në, i vendos faqet në radhë për renderim dhe i renderon me Chromium headless kur burimet e lejojnë. Google rekomandon ende renderimin në server ose pararenderimin.
A ekzekutojnë JavaScript zvarritësit e ChatGPT, Claude dhe Perplexity?
Dokumentacioni i zvarritësve të ofruesve të tyre nuk e thotë këtë. Derisa një ofrues të deklarojë ndryshe, supozoni që zvarritësi lexon HTML-në fillestare dhe sigurohuni që përmbajtja juaj është aty.
A është ide e mirë renderimi dinamik për botët?
Funksionon si zgjidhje e përkohshme, por shton një rrugë të dytë renderimi për t'u mirëmbajtur. Renderimi në server ose HTML-ja statike i shërben të njëjtën përmbajtje të gjithëve dhe është rregullimi më i thjeshtë afatgjatë.
A llogaritet JSON-LD i shtuar nga JavaScript?
Google mund ta lexojë pas renderimit, por zvarritësit që nuk ekzekutojnë skripte nuk do ta shohin. Vendoseni JSON-LD në HTML-në fillestare.
Burimet
- Google Search Central: Bazat e SEO-së për JavaScript
- Apple: Rreth Applebot
- OpenAI: Përmbledhje e zvarritësve të OpenAI
- Anthropic: A zvarrit Anthropic të dhëna nga uebi dhe si mund ta bllokojnë zvarritësin pronarët e sajteve?
- Perplexity: Zvarritësit e Perplexity