შეუძლიათ თუ არა AI კრაულერებს JavaScript-ით დარენდერებული კონტენტის წაკითხვა?
ხშირად არა. Googlebot JavaScript-ს მოგვიანებით ეტაპზე არენდერებს, მაგრამ AI კრაულერების უმეტესობა ამას არ აღწერს, და თავად Google აღნიშნავს, რომ ყველა ბოტს JavaScript-ის შესრულება არ შეუძლია. თუ თქვენი ტექსტი მხოლოდ სკრიპტების შესრულების შემდეგ ჩნდება, AI კრაულერმა შეიძლება ცარიელი გვერდი მიიღოს. მთავარი კონტენტი საწყის HTML-ში მიაწოდეთ სერვერული რენდერინგით ან სტატიკური გვერდებით.
ერთგვერდიანი აპლიკაციები და კლიენტის მხარის ფრეიმვორკები ყველგანაა და ბრაუზერში კარგად გამოიყურება. კრაულერი, რომელიც მხოლოდ თქვენი სერვერის გაგზავნილ HTML-ს კითხულობს, სხვა რამეს ხედავს: <div id="root"></div>, რამდენიმე script თეგი და მცირე ან არანაირი ტექსტი. AI პასუხებისთვის ასეთ გვერდზე ციტირებისთვის არაფერია.
ამ გვერდზე
- რატომ გამორჩებათ AI კრაულერებს JavaScript კონტენტი?
- როგორ შევამოწმო, რას იღებს კრაულერი?
- რომელი გვერდებია ყველაზე მეტად რისკის ქვეშ?
- როგორ გამოვასწორო მხოლოდ JavaScript-ზე დამოკიდებული კონტენტი?
- ბლოკავს თუ არა შესვლის, თანხმობისა და ფასიანი წვდომის ეკრანები AI კრაულერებსაც?
- როგორ აღმოაჩენს AISeeWhy მხოლოდ JavaScript-ზე დამოკიდებულ გვერდებს?
რატომ გამორჩებათ AI კრაულერებს JavaScript კონტენტი?
JavaScript-ის შესრულება ძვირია. კრაულერმა სკრიპტები უნდა ჩამოტვირთოს, ბრაუზერის ძრავაში შეასრულოს და მონაცემების ჩატვირთვას დაელოდოს. Google ამას Search-ისთვის აკეთებს: ის აკეთებს კრაულინგს, გვერდებს რენდერინგის რიგში აყენებს და, როცა რესურსები იძლევა, headless Chromium-ით არენდერებს. მიუხედავად ამისა, Google გირჩევთ სერვერულ რენდერინგს ან წინასწარ რენდერინგს, რადგან ეს მომხმარებლებისა და კრაულერებისთვის უფრო სწრაფია, და აღნიშნავს, რომ ყველა ბოტს JavaScript-ის შესრულება არ შეუძლია.
OpenAI, Anthropic და Perplexity კრაულერების დოკუმენტაციაში არ აცხადებენ, რომ მათი აგენტები JavaScript-ს ასრულებენ. Apple-ის თქმით, Applebot-ს შეუძლია გვერდების ბრაუზერში დარენდერება. მკაფიო განცხადების გარეშე AI კრაულერებისთვის უსაფრთხო ვარაუდია, რომ ისინი მხოლოდ საწყის HTML-ს კითხულობენ.
როგორ შევამოწმო, რას იღებს კრაულერი?
ნახეთ დაუმუშავებელი HTML და არა დარენდერებული გვერდი. ბრაუზერის დეველოპერის ხელსაწყოები აჩვენებს DOM-ს სკრიპტების შესრულების შემდეგ, რაც კრაულერის მიღებულისგან განსხვავდება. გამოიყენეთ view-source, ან შეინახეთ დაუმუშავებელი HTML ბრძანების ხაზიდან და მოძებნეთ მასში:
curl -s -o page.html \
-A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
https://example.com/page
# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html შედეგი 0 ნიშნავს, რომ წინადადება სერვერის გაგზავნილ HTML-ში არ არის, ამიტომ კრაულერები, რომლებიც სკრიპტებს არ ასრულებენ, მას ვერ იპოვიან. დანარჩენს ფაილზე სწრაფი თვალის გადავლება გეტყვით: სერვერზე დარენდერებულ სტატიას იქ სრული ტექსტი აქვს; კლიენტის მხარის გარსს კი ცარიელი ძირეული ელემენტი და სკრიპტების სია.
რომელი გვერდებია ყველაზე მეტად რისკის ქვეშ?
- ერთგვერდიანი აპლიკაციები, აგებული React-ზე, Vue-ზე, Angular-ზე ან Svelte-ზე, რომლებიც ყველაფერს ბრაუზერში არენდერებენ.
- გვერდები, რომლებიც მთავარ ტექსტს ჩატვირთვის შემდეგ API-დან იღებენ, მაგალითად პროდუქტის დეტალებს, ფასებს ან მიმოხილვებს.
- კონტენტი ჩანართებში, აკორდეონებში ან „მეტის ჩატვირთვის“ სექციებში, რომელიც მხოლოდ დაწკაპუნებისას მოითხოვება.
- გვერდები შესვლის, ფასიანი წვდომის ან თანხმობის ეკრანის უკან, რომლის გავლაც კრაულერს არ შეუძლია.
- გვერდები, რომლებიც
noindex-ს ან canonical URL-ს მხოლოდ JavaScript-ით აყენებენ. Google აფრთხილებს, რომ როცა ორიგინალ HTML-შიnoindex-ს ხედავს, შეიძლება რენდერინგი საერთოდ გამოტოვოს.
როგორ გამოვასწორო მხოლოდ JavaScript-ზე დამოკიდებული კონტენტი?
გამოსავალია მნიშვნელოვანი კონტენტის პირველივე პასუხში გაგზავნა. აირჩიეთ ყველაზე მსუბუქი ვარიანტი, რასაც თქვენი სტეკი იძლევა:
- სერვერული რენდერინგი (SSR): ფრეიმვორკები, როგორიცაა Next.js, Nuxt, SvelteKit და Angular SSR, გვერდს სერვერზე არენდერებენ და ბრაუზერში ჰიდრატაციას ახდენენ.
- სტატიკური გენერაცია ან წინასწარი რენდერინგი: HTML-ის აწყობა დეპლოის დროს იმ გვერდებისთვის, რომლებიც იშვიათად იცვლება, როგორიცაა სტატიები, დოკუმენტაცია და სადესანტო გვერდები.
- პროგრესული გაუმჯობესება: ტექსტი, სათაურები, ბმულები, ფასები და JSON-LD HTML-ში განათავსეთ, JavaScript კი მხოლოდ ინტერაქციისთვის გამოიყენეთ.
- მნიშვნელოვანი კონტენტი პირდაპირ ჩასვით: თუ ჩანართები კონტენტს მალავს, მთლიანად HTML-ში განათავსეთ და ხილვადობა CSS-ით ან სკრიპტით გადართეთ, ნაცვლად იმისა, რომ დაწკაპუნებისას მოითხოვოთ.
მთელი აპლიკაციის ერთბაშად გადაკეთება საჭირო არ არის. დაიწყეთ გვერდებით, რომელთა ციტირებაც გსურთ: სტატიები, დოკუმენტაცია, პროდუქტისა და ფასების გვერდები. ანგარიშის განყოფილებები და პანელები შეიძლება კლიენტის მხარეს დარჩეს, რადგან ისინი ისედაც შესვლის უკანაა.
მოერიდეთ კრაულერებისთვის მომხმარებლებისგან განსხვავებული გვერდის მიწოდებას მათი user agent-ის მიხედვით. ყველასთვის ერთი და იგივე HTML-ის დარენდერება უფრო მარტივი მხარდასაჭერია და cloaking-ში ეჭვს გამორიცხავს.
ბლოკავს თუ არა შესვლის, თანხმობისა და ფასიანი წვდომის ეკრანები AI კრაულერებსაც?
დიახ. კრაულერი სისტემაში არ შედის, cookie ბანერზე არ აწკაპუნებს და შემოწმებებს არ ხსნის. Anthropic აცხადებს, რომ მისი ბოტები CAPTCHA-ს გვერდის ავლას არ შეეცდებიან. თუ თანხმობის მენეჯერი HTML-ში გვერდს მთელი ეკრანის ფენით ცვლის ან პირველად მოსულ ვიზიტორებს თანხმობის გვერდზე გადაამისამართებს, კრაულერი თქვენი კონტენტის ნაცვლად ამას იღებს.
დარწმუნდით, რომ საჯარო გვერდები კონტენტს HTML-ში არენდერებენ თანხმობის მდგომარეობის მიუხედავად, ბანერით, როგორც ზედა ფენით და არა შემცვლელით. გვერდები, რომელთა ციტირებაც გსურთ, შესვლის ეკრანის გარეთ დატოვეთ და შეამოწმეთ, რომ კრაულერი შესვლის გვერდზე არ გადამისამართდება.
როგორ აღმოაჩენს AISeeWhy მხოლოდ JavaScript-ზე დამოკიდებულ გვერდებს?
AISeeWhy კითხულობს საწყის HTML-ს ისე, როგორც თითოეული კრაულერი იღებს მას, სკრიპტების შესრულების გარეშე. როცა გვერდს თითქმის არ აქვს ხილული ტექსტი, მაგრამ აქვს ფრეიმვორკის ძირეული ელემენტი და სკრიპტები, ის გაცნობებთ P1 მიგნებას, რომ კონტენტს JavaScript სჭირდება. ის ასევე აღნიშნავს გადამისამართებებს, რომლებიც კრაულერებს სხვაგან აგზავნის და არა იმ გვერდზე, რომელსაც ბრაუზერი იღებს.
ამ პრობლემის გამოსწორებები
- AI აგენტებისთვის Markdown ვერსია არ არის
- გვერდის კონტენტს JavaScript სჭირდება
- ფასი მარკირებაშია, გვერდის ტექსტში კი არა
- მარკირებაში რეიტინგია, რომელსაც გვერდი არ აჩვენებს
შემდეგი ნაბიჯები
- robots.txt-ის ტესტერი და შემმოწმებელი AI კრაულერებისთვის
- ნახეთ სრული რეპორტის მაგალითი
- AI კრაულერების მონიტორინგი
- გეგმები და ფასები
ამ სტატიაში ნახსენები კრაულერები
ხშირად დასმული კითხვები
არენდერებს თუ არა Googlebot JavaScript-ს?
დიახ. Google HTML-ის კრაულინგს აკეთებს, გვერდებს რენდერინგის რიგში აყენებს და, როცა რესურსები იძლევა, headless Chromium-ით არენდერებს. Google მაინც გირჩევთ სერვერულ რენდერინგს ან წინასწარ რენდერინგს.
ასრულებენ თუ არა ChatGPT-ის, Claude-ისა და Perplexity-ის კრაულერები JavaScript-ს?
მათი მომწოდებლების კრაულერების დოკუმენტაცია ამას არ ამბობს. სანამ მომწოდებელი სხვას არ განაცხადებს, ჩათვალეთ, რომ კრაულერი საწყის HTML-ს კითხულობს, და დარწმუნდით, რომ თქვენი კონტენტი მასშია.
კარგი იდეაა თუ არა დინამიკური რენდერინგი ბოტებისთვის?
ის დროებით გამოსავლად მუშაობს, მაგრამ რენდერინგის მეორე გზას ამატებს, რომლის მხარდაჭერაც გიწევთ. სერვერული რენდერინგი ან სტატიკური HTML ყველას ერთსა და იმავე კონტენტს აწვდის და გრძელვადიან პერსპექტივაში უფრო მარტივი გამოსავალია.
ითვლება თუ არა JavaScript-ით დამატებული JSON-LD?
Google-ს შეუძლია მისი წაკითხვა რენდერინგის შემდეგ, მაგრამ კრაულერები, რომლებიც სკრიპტებს არ ასრულებენ, მას ვერ დაინახავენ. JSON-LD საწყის HTML-ში განათავსეთ.
წყაროები
- Google Search Central: JavaScript SEO-ს საფუძვლები
- Apple: Applebot-ის შესახებ
- OpenAI: OpenAI-ის კრაულერების მიმოხილვა
- Anthropic: აგროვებს თუ არა Anthropic მონაცემებს ვებიდან და როგორ შეუძლიათ საიტის მფლობელებს კრაულერის დაბლოკვა?
- Perplexity: Perplexity-ის კრაულერები