Կարո՞ղ են AI ռոբոտները կարդալ JavaScript-ով ռենդերվող բովանդակությունը
Հաճախ՝ ոչ։ Googlebot-ը ռենդերում է JavaScript ավելի ուշ փուլում, բայց AI ռոբոտների մեծ մասը չի փաստաթղթավորում դա, և Google-ն ինքը նշում է, որ ոչ բոլոր բոտերը կարող են գործարկել JavaScript։ Եթե ձեր տեքստը հայտնվում է միայն սկրիպտների գործարկումից հետո, AI ռոբոտը կարող է ստանալ դատարկ էջ։ Մատուցեք հիմնական բովանդակությունը սկզբնական HTML-ում՝ սերվերային ռենդերինգով կամ ստատիկ էջերով։
Միաէջանի հավելվածներն ու հաճախորդի կողմի ֆրեյմվորքներն ամենուր են, և բրաուզերում դրանք լավ տեսք ունեն։ Ռոբոտը, որը կարդում է միայն ձեր սերվերի ուղարկած HTML-ը, այլ բան է տեսնում. <div id="root"></div>, մի քանի script թեգ և քիչ կամ ոչ մի տեքստ։ AI պատասխանների համար այդ էջում մեջբերելու ոչինչ չկա։
Այս էջում
- Ինչո՞ւ են AI ռոբոտները բաց թողնում JavaScript բովանդակությունը
- Ինչպե՞ս ստուգել, թե ինչ է ստանում ռոբոտը
- Ո՞ր էջերն են ամենամեծ ռիսկի տակ
- Ինչպե՞ս ուղղել միայն JavaScript-ով բովանդակությունը
- Արդյո՞ք մուտքի, համաձայնության և վճարովի հասանելիության էկրանները նույնպես արգելափակում են AI ռոբոտներին
- Ինչպե՞ս է AISeeWhy-ն հայտնաբերում միայն JavaScript-ով էջերը
Ինչո՞ւ են AI ռոբոտները բաց թողնում JavaScript բովանդակությունը
JavaScript գործարկելը թանկ է։ Ռոբոտը պետք է ներբեռնի սկրիպտները, գործարկի դրանք բրաուզերային շարժիչում և սպասի տվյալների բեռնմանը։ Google-ը դա անում է Search-ի համար. այն բեռնում է, էջերը հերթագրում ռենդերինգի համար և ռենդերում դրանք headless Chromium-ով, երբ ռեսուրսները թույլ են տալիս։ Այնուամենայնիվ, Google-ը խորհուրդ է տալիս սերվերային ռենդերինգ կամ նախնական ռենդերինգ, քանի որ դա ավելի արագ է օգտատերերի և ռոբոտների համար, և նշում է, որ ոչ բոլոր բոտերը կարող են գործարկել JavaScript։
OpenAI-ը, Anthropic-ը և Perplexity-ն իրենց ռոբոտների փաստաթղթերում չեն նշում, որ իրենց գործակալները գործարկում են JavaScript։ Apple-ն ասում է, որ Applebot-ը կարող է ռենդերել էջերը բրաուզերում։ Հստակ հայտարարության բացակայության դեպքում AI ռոբոտների համար անվտանգ ենթադրությունն այն է, որ նրանք կարդում են միայն սկզբնական HTML-ը։
Ինչպե՞ս ստուգել, թե ինչ է ստանում ռոբոտը
Նայեք հում HTML-ին, ոչ թե ռենդերված էջին։ Բրաուզերի ծրագրավորողի գործիքները ցույց են տալիս DOM-ը սկրիպտների գործարկումից հետո, ինչը այն չէ, ինչ ստանում է ռոբոտը։ Օգտագործեք view-source կամ պահեք հում HTML-ը հրամանի տողից և փնտրեք դրանում.
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html 0 արդյունքը նշանակում է, որ նախադասությունը սերվերի ուղարկած HTML-ում չէ, ուստի սկրիպտներ չգործարկող ռոբոտները այն չեն գտնի։ Ֆայլին արագ նայելը ցույց է տալիս մնացածը. սերվերում ռենդերված հոդվածն այնտեղ ունի իր ամբողջ տեքստը, իսկ հաճախորդի կողմի կմախքն ունի դատարկ արմատային տարր և սկրիպտների ցուցակ։
Ո՞ր էջերն են ամենամեծ ռիսկի տակ
- React-ով, Vue-ով, Angular-ով կամ Svelte-ով կառուցված միաէջանի հավելվածներ, որոնք ամեն ինչ ռենդերում են բրաուզերում։
- Էջեր, որոնք իրենց հիմնական տեքստը բեռնում են API-ից բեռնումից հետո, օրինակ՝ արտադրանքի մանրամասներ, գներ կամ կարծիքներ։
- Բովանդակություն ներդիրներում, ծալովի բլոկներում կամ «բեռնել ավելին» բաժիններում, որը հարցվում է միայն սեղմելիս։
- Էջեր մուտքի, վճարովի հասանելիության կամ համաձայնության պատի հետևում, որը ռոբոտը չի կարող անցնել։
- Էջեր, որոնք
noindex-ը կամ canonical URL-ը սահմանում են միայն JavaScript-ով։ Google-ը զգուշացնում է, որ երբ այն տեսնում էnoindexսկզբնական HTML-ում, կարող է ընդհանրապես բաց թողնել ռենդերինգը։
Ինչպե՞ս ուղղել միայն JavaScript-ով բովանդակությունը
Լուծումը կարևոր բովանդակությունն առաջին պատասխանում ուղարկելն է։ Ընտրեք ամենաթեթև տարբերակը, որը թույլ է տալիս ձեր տեխնոլոգիական փաթեթը.
- Սերվերային ռենդերինգ (SSR). այնպիսի ֆրեյմվորքներ, ինչպիսիք են Next.js-ը, Nuxt-ը, SvelteKit-ը և Angular SSR-ը, ռենդերում են էջը սերվերում և hydrate են անում այն բրաուզերում։
- Ստատիկ գեներացում կամ նախնական ռենդերինգ. կառուցեք HTML-ը տեղակայման պահին հազվադեպ փոփոխվող էջերի համար, ինչպիսիք են հոդվածները, փաստաթղթերը և landing էջերը։
- Աստիճանական բարելավում. տեքստը, ենթավերնագրերը, հղումները, գները և JSON-LD-ն դրեք HTML-ում և JavaScript-ն օգտագործեք միայն փոխազդեցության համար։
- Ներդրեք կարևորը. եթե ներդիրները թաքցնում են բովանդակություն, այն ամբողջությամբ դրեք HTML-ում և փոխեք տեսանելիությունը CSS-ով կամ սկրիպտով՝ սեղմելիս բեռնելու փոխարեն։
Պետք չէ ամբողջ հավելվածը միանգամից փոխարկել։ Սկսեք այն էջերից, որոնք ցանկանում եք, որ մեջբերվեն. հոդվածներ, փաստաթղթեր, արտադրանքի և գների էջեր։ Հաշվի բաժիններն ու վահանակները կարող են մնալ հաճախորդի կողմում, քանի որ դրանք ամեն դեպքում մուտքի հետևում են։
Խուսափեք ռոբոտներին օգտատերերից տարբեր էջ մատուցելուց՝ ըստ նրանց user agent-ի։ Բոլորի համար նույն HTML-ի ռենդերինգն ավելի պարզ է պահպանել և վերացնում է cloaking-ի ցանկացած կասկած։
Արդյո՞ք մուտքի, համաձայնության և վճարովի հասանելիության էկրանները նույնպես արգելափակում են AI ռոբոտներին
Այո։ Ռոբոտը մուտք չի գործում, չի սեղմում cookie-ների բաններին և ստուգումներ չի լուծում։ Anthropic-ը նշում է, որ իր բոտերը չեն փորձի շրջանցել CAPTCHA-ները։ Եթե համաձայնության կառավարիչը HTML-ում էջը փոխարինում է ամբողջ էկրանով ծածկույթով կամ առաջին անգամ այցելողներին վերահղում է համաձայնության էջ, ռոբոտը ստանում է դա՝ ձեր բովանդակության փոխարեն։
Համոզվեք, որ հանրային էջերը ռենդերում են իրենց բովանդակությունը HTML-ում՝ անկախ համաձայնության վիճակից, իսկ բաններն է ծածկույթ, ոչ թե փոխարինում։ Էջերը, որոնք ցանկանում եք, որ մեջբերվեն, պահեք մուտքի պատերից դուրս և ստուգեք, որ ռոբոտը չի վերահղվում մուտքի էջ։
Ինչպե՞ս է AISeeWhy-ն հայտնաբերում միայն JavaScript-ով էջերը
AISeeWhy-ն կարդում է սկզբնական HTML-ն այնպես, ինչպես այն ստանում է յուրաքանչյուր ռոբոտ, առանց սկրիպտներ գործարկելու։ Երբ էջը գրեթե տեսանելի տեքստ չունի, բայց ունի ֆրեյմվորքի արմատային տարր և սկրիպտներ, այն նշում է P1 բացահայտում, որ բովանդակությանը JavaScript է պետք։ Այն նշում է նաև վերահղումները, որոնք ռոբոտներին ուղարկում են այլ տեղ, քան այն էջը, որը ստանում է բրաուզերը։
Այս խնդրի ուղղումները
- AI գործակալների համար Markdown տարբերակ չկա
- Էջի բովանդակությանն անհրաժեշտ է JavaScript
- Գինը նշագրման մեջ է, բայց էջի տեքստում՝ ոչ
- Նշագրման մեջ կա գնահատական, որը էջը չի ցուցադրում
Հաջորդ քայլերը
- robots.txt-ի ստուգիչ (tester) AI ռոբոտների համար
- Տեսեք ամբողջական հաշվետվության օրինակ
- AI ռոբոտների մոնիթորինգ
- Պլաններ և գներ
Այս հոդվածում նշված ռոբոտները
Հաճախ տրվող հարցեր
Արդյո՞ք Googlebot-ը ռենդերում է JavaScript
Այո։ Google-ը բեռնում է HTML-ը, էջերը հերթագրում ռենդերինգի համար և ռենդերում դրանք headless Chromium-ով, երբ ռեսուրսները թույլ են տալիս։ Google-ը, այնուամենայնիվ, խորհուրդ է տալիս սերվերային ռենդերինգ կամ նախնական ռենդերինգ։
Արդյո՞ք ChatGPT-ի, Claude-ի և Perplexity-ի ռոբոտները գործարկում են JavaScript
Նրանց մատակարարների ռոբոտների փաստաթղթերը դա չեն ասում։ Քանի դեռ մատակարարը այլ բան չի նշել, ենթադրեք, որ ռոբոտը կարդում է սկզբնական HTML-ը, և համոզվեք, որ ձեր բովանդակությունը դրանում է։
Լա՞վ գաղափար է դինամիկ ռենդերինգը բոտերի համար
Այն աշխատում է որպես ժամանակավոր լուծում, բայց ավելացնում է պահպանելու ռենդերինգի երկրորդ ճանապարհ։ Սերվերային ռենդերինգը կամ ստատիկ HTML-ը բոլորին մատուցում է նույն բովանդակությունը և ավելի պարզ երկարաժամկետ լուծում է։
Հաշվվո՞ւմ է JavaScript-ով ավելացված JSON-LD-ն
Google-ը կարող է կարդալ այն ռենդերինգից հետո, բայց սկրիպտներ չգործարկող ռոբոտները այն չեն տեսնի։ Տեղադրեք JSON-LD-ն սկզբնական HTML-ում։
Աղբյուրներ
- Google Search Central: JavaScript SEO-ի հիմունքներ
- Apple: Applebot-ի մասին
- OpenAI: OpenAI-ի ռոբոտների ակնարկ
- Anthropic: Արդյո՞ք Anthropic-ը հավաքում է տվյալներ վեբից, և ինչպե՞ս կարող են կայքերի սեփականատերերն արգելափակել ռոբոտին
- Perplexity: Perplexity-ի ռոբոտները