Կարո՞ղ են AI ռոբոտները կարդալ JavaScript-ով ռենդերվող բովանդակությունը

Հրապարակված է

Կարճ պատասխան

Հաճախ՝ ոչ։ Googlebot-ը ռենդերում է JavaScript ավելի ուշ փուլում, բայց AI ռոբոտների մեծ մասը չի փաստաթղթավորում դա, և Google-ն ինքը նշում է, որ ոչ բոլոր բոտերը կարող են գործարկել JavaScript։ Եթե ձեր տեքստը հայտնվում է միայն սկրիպտների գործարկումից հետո, AI ռոբոտը կարող է ստանալ դատարկ էջ։ Մատուցեք հիմնական բովանդակությունը սկզբնական HTML-ում՝ սերվերային ռենդերինգով կամ ստատիկ էջերով։

Միաէջանի հավելվածներն ու հաճախորդի կողմի ֆրեյմվորքներն ամենուր են, և բրաուզերում դրանք լավ տեսք ունեն։ Ռոբոտը, որը կարդում է միայն ձեր սերվերի ուղարկած HTML-ը, այլ բան է տեսնում. <div id="root"></div>, մի քանի script թեգ և քիչ կամ ոչ մի տեքստ։ AI պատասխանների համար այդ էջում մեջբերելու ոչինչ չկա։

Այս էջում
  1. Ինչո՞ւ են AI ռոբոտները բաց թողնում JavaScript բովանդակությունը
  2. Ինչպե՞ս ստուգել, թե ինչ է ստանում ռոբոտը
  3. Ո՞ր էջերն են ամենամեծ ռիսկի տակ
  4. Ինչպե՞ս ուղղել միայն JavaScript-ով բովանդակությունը
  5. Արդյո՞ք մուտքի, համաձայնության և վճարովի հասանելիության էկրանները նույնպես արգելափակում են AI ռոբոտներին
  6. Ինչպե՞ս է AISeeWhy-ն հայտնաբերում միայն JavaScript-ով էջերը

Ինչո՞ւ են AI ռոբոտները բաց թողնում JavaScript բովանդակությունը

JavaScript գործարկելը թանկ է։ Ռոբոտը պետք է ներբեռնի սկրիպտները, գործարկի դրանք բրաուզերային շարժիչում և սպասի տվյալների բեռնմանը։ Google-ը դա անում է Search-ի համար. այն բեռնում է, էջերը հերթագրում ռենդերինգի համար և ռենդերում դրանք headless Chromium-ով, երբ ռեսուրսները թույլ են տալիս։ Այնուամենայնիվ, Google-ը խորհուրդ է տալիս սերվերային ռենդերինգ կամ նախնական ռենդերինգ, քանի որ դա ավելի արագ է օգտատերերի և ռոբոտների համար, և նշում է, որ ոչ բոլոր բոտերը կարող են գործարկել JavaScript։

OpenAI-ը, Anthropic-ը և Perplexity-ն իրենց ռոբոտների փաստաթղթերում չեն նշում, որ իրենց գործակալները գործարկում են JavaScript։ Apple-ն ասում է, որ Applebot-ը կարող է ռենդերել էջերը բրաուզերում։ Հստակ հայտարարության բացակայության դեպքում AI ռոբոտների համար անվտանգ ենթադրությունն այն է, որ նրանք կարդում են միայն սկզբնական HTML-ը։

Ինչպե՞ս ստուգել, թե ինչ է ստանում ռոբոտը

Նայեք հում HTML-ին, ոչ թե ռենդերված էջին։ Բրաուզերի ծրագրավորողի գործիքները ցույց են տալիս DOM-ը սկրիպտների գործարկումից հետո, ինչը այն չէ, ինչ ստանում է ռոբոտը։ Օգտագործեք view-source կամ պահեք հում HTML-ը հրամանի տողից և փնտրեք դրանում.

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

0 արդյունքը նշանակում է, որ նախադասությունը սերվերի ուղարկած HTML-ում չէ, ուստի սկրիպտներ չգործարկող ռոբոտները այն չեն գտնի։ Ֆայլին արագ նայելը ցույց է տալիս մնացածը. սերվերում ռենդերված հոդվածն այնտեղ ունի իր ամբողջ տեքստը, իսկ հաճախորդի կողմի կմախքն ունի դատարկ արմատային տարր և սկրիպտների ցուցակ։

Ո՞ր էջերն են ամենամեծ ռիսկի տակ

Ինչպե՞ս ուղղել միայն JavaScript-ով բովանդակությունը

Լուծումը կարևոր բովանդակությունն առաջին պատասխանում ուղարկելն է։ Ընտրեք ամենաթեթև տարբերակը, որը թույլ է տալիս ձեր տեխնոլոգիական փաթեթը.

Պետք չէ ամբողջ հավելվածը միանգամից փոխարկել։ Սկսեք այն էջերից, որոնք ցանկանում եք, որ մեջբերվեն. հոդվածներ, փաստաթղթեր, արտադրանքի և գների էջեր։ Հաշվի բաժիններն ու վահանակները կարող են մնալ հաճախորդի կողմում, քանի որ դրանք ամեն դեպքում մուտքի հետևում են։

Խուսափեք ռոբոտներին օգտատերերից տարբեր էջ մատուցելուց՝ ըստ նրանց user agent-ի։ Բոլորի համար նույն HTML-ի ռենդերինգն ավելի պարզ է պահպանել և վերացնում է cloaking-ի ցանկացած կասկած։

Արդյո՞ք մուտքի, համաձայնության և վճարովի հասանելիության էկրանները նույնպես արգելափակում են AI ռոբոտներին

Այո։ Ռոբոտը մուտք չի գործում, չի սեղմում cookie-ների բաններին և ստուգումներ չի լուծում։ Anthropic-ը նշում է, որ իր բոտերը չեն փորձի շրջանցել CAPTCHA-ները։ Եթե համաձայնության կառավարիչը HTML-ում էջը փոխարինում է ամբողջ էկրանով ծածկույթով կամ առաջին անգամ այցելողներին վերահղում է համաձայնության էջ, ռոբոտը ստանում է դա՝ ձեր բովանդակության փոխարեն։

Համոզվեք, որ հանրային էջերը ռենդերում են իրենց բովանդակությունը HTML-ում՝ անկախ համաձայնության վիճակից, իսկ բաններն է ծածկույթ, ոչ թե փոխարինում։ Էջերը, որոնք ցանկանում եք, որ մեջբերվեն, պահեք մուտքի պատերից դուրս և ստուգեք, որ ռոբոտը չի վերահղվում մուտքի էջ։

Ինչպե՞ս է AISeeWhy-ն հայտնաբերում միայն JavaScript-ով էջերը

AISeeWhy-ն կարդում է սկզբնական HTML-ն այնպես, ինչպես այն ստանում է յուրաքանչյուր ռոբոտ, առանց սկրիպտներ գործարկելու։ Երբ էջը գրեթե տեսանելի տեքստ չունի, բայց ունի ֆրեյմվորքի արմատային տարր և սկրիպտներ, այն նշում է P1 բացահայտում, որ բովանդակությանը JavaScript է պետք։ Այն նշում է նաև վերահղումները, որոնք ռոբոտներին ուղարկում են այլ տեղ, քան այն էջը, որը ստանում է բրաուզերը։

Այս խնդրի ուղղումները

Անվճար գործիքներ

Հաջորդ քայլերը

Այս հոդվածում նշված ռոբոտները

Հաճախ տրվող հարցեր

Արդյո՞ք Googlebot-ը ռենդերում է JavaScript

Այո։ Google-ը բեռնում է HTML-ը, էջերը հերթագրում ռենդերինգի համար և ռենդերում դրանք headless Chromium-ով, երբ ռեսուրսները թույլ են տալիս։ Google-ը, այնուամենայնիվ, խորհուրդ է տալիս սերվերային ռենդերինգ կամ նախնական ռենդերինգ։

Արդյո՞ք ChatGPT-ի, Claude-ի և Perplexity-ի ռոբոտները գործարկում են JavaScript

Նրանց մատակարարների ռոբոտների փաստաթղթերը դա չեն ասում։ Քանի դեռ մատակարարը այլ բան չի նշել, ենթադրեք, որ ռոբոտը կարդում է սկզբնական HTML-ը, և համոզվեք, որ ձեր բովանդակությունը դրանում է։

Լա՞վ գաղափար է դինամիկ ռենդերինգը բոտերի համար

Այն աշխատում է որպես ժամանակավոր լուծում, բայց ավելացնում է պահպանելու ռենդերինգի երկրորդ ճանապարհ։ Սերվերային ռենդերինգը կամ ստատիկ HTML-ը բոլորին մատուցում է նույն բովանդակությունը և ավելի պարզ երկարաժամկետ լուծում է։

Հաշվվո՞ւմ է JavaScript-ով ավելացված JSON-LD-ն

Google-ը կարող է կարդալ այն ռենդերինգից հետո, բայց սկրիպտներ չգործարկող ռոբոտները այն չեն տեսնի։ Տեղադրեք JSON-LD-ն սկզբնական HTML-ում։

Աղբյուրներ

Այլ հոդվածներ