آیا خزنده‌های هوش مصنوعی محتوایی را که با JavaScript رندر می‌شود می‌خوانند؟

تاریخ انتشار

پاسخ کوتاه

اغلب نه. Googlebot در مرحله‌ای بعدی JavaScript را رندر می‌کند، اما بیشتر خزنده‌های هوش مصنوعی چنین کاری را مستند نکرده‌اند و خود Google یادآوری می‌کند که همه ربات‌ها نمی‌توانند JavaScript اجرا کنند. اگر متن شما فقط پس از اجرای اسکریپت‌ها ظاهر می‌شود، ممکن است خزنده هوش مصنوعی یک صفحه خالی دریافت کند. محتوای اصلی را با رندر سمت سرور یا صفحه‌های ایستا در HTML اولیه ارائه کنید.

اپلیکیشن‌های تک‌صفحه‌ای و فریم‌ورک‌های سمت کلاینت همه جا هستند و در مرورگر خوب به نظر می‌رسند. خزنده‌ای که فقط HTML ارسالی سرور را می‌خواند چیز دیگری می‌بیند: یک <div id="root"></div>، چند تگ script و متنی اندک یا هیچ. برای پاسخ‌های هوش مصنوعی، چنین صفحه‌ای چیزی برای نقل کردن ندارد.

در این صفحه
  1. چرا خزنده‌های هوش مصنوعی محتوای JavaScript را از دست می‌دهند؟
  2. چطور ببینم یک خزنده چه دریافت می‌کند؟
  3. کدام صفحه‌ها بیشتر در معرض خطرند؟
  4. محتوایی را که فقط با JavaScript ساخته می‌شود چطور درست کنم؟
  5. آیا صفحه‌های ورود، رضایت و دیوار پرداخت هم خزنده‌های هوش مصنوعی را مسدود می‌کنند؟
  6. AISeeWhy صفحه‌هایی را که فقط با JavaScript کار می‌کنند چطور تشخیص می‌دهد؟

چرا خزنده‌های هوش مصنوعی محتوای JavaScript را از دست می‌دهند؟

اجرای JavaScript پرهزینه است. خزنده باید اسکریپت‌ها را دانلود کند، آن‌ها را در یک موتور مرورگر اجرا کند و منتظر بارگذاری داده‌ها بماند. Google این کار را برای Search انجام می‌دهد: می‌خزد، صفحه‌ها را در صف رندر می‌گذارد و هر وقت منابع اجازه دهد آن‌ها را با Chromium بدون رابط (headless) رندر می‌کند. با این حال Google رندر سمت سرور یا پیش‌رندر را توصیه می‌کند چون برای کاربران و خزنده‌ها سریع‌تر است، و یادآوری می‌کند که همه ربات‌ها نمی‌توانند JavaScript اجرا کنند.

OpenAI، Anthropic و Perplexity در مستندات خزنده‌شان نمی‌گویند عامل‌هایشان JavaScript اجرا می‌کنند. Apple می‌گوید Applebot ممکن است صفحه‌ها را در مرورگر رندر کند. بدون بیانیه روشن، فرض مطمئن درباره خزنده‌های هوش مصنوعی این است که فقط HTML اولیه را می‌خوانند.

چطور ببینم یک خزنده چه دریافت می‌کند؟

HTML خام را نگاه کنید، نه صفحه رندرشده را. ابزارهای توسعه‌دهنده مرورگر DOM را پس از اجرای اسکریپت‌ها نشان می‌دهند که آن چیزی نیست که خزنده می‌گیرد. از view-source استفاده کنید، یا HTML خام را از خط فرمان ذخیره و در آن جستجو کنید:

curl -s -o page.html \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \
  https://example.com/page

# Is a sentence from your main text in the raw HTML?
grep -c "a sentence from your main content" page.html

نتیجه 0 یعنی آن جمله در HTML ارسالی سرور نیست؛ پس خزنده‌هایی که اسکریپت اجرا نمی‌کنند آن را پیدا نمی‌کنند. یک نگاه سریع به فایل بقیه ماجرا را می‌گوید: مقاله‌ای که در سرور رندر شده متن کاملش آنجاست؛ پوسته سمت کلاینت یک عنصر ریشه خالی و فهرستی از اسکریپت‌ها دارد.

کدام صفحه‌ها بیشتر در معرض خطرند؟

محتوایی را که فقط با JavaScript ساخته می‌شود چطور درست کنم؟

راه‌حل این است که محتوای مهم را در اولین پاسخ بفرستید. سبک‌ترین گزینه‌ای را که پشته فنی شما اجازه می‌دهد انتخاب کنید:

لازم نیست کل اپلیکیشن را یک‌جا تبدیل کنید. از صفحه‌هایی شروع کنید که می‌خواهید به آن‌ها استناد شود: مقاله‌ها، مستندات، صفحه‌های محصول و قیمت. بخش‌های حساب کاربری و داشبوردها می‌توانند سمت کلاینت بمانند، چون به هر حال پشت ورود هستند.

از ارائه صفحه‌ای متفاوت به خزنده‌ها بر اساس user agent آن‌ها پرهیز کنید. رندر یک HTML یکسان برای همه نگهداری ساده‌تری دارد و هر تردیدی درباره cloaking را از بین می‌برد.

آیا صفحه‌های ورود، رضایت و دیوار پرداخت هم خزنده‌های هوش مصنوعی را مسدود می‌کنند؟

بله. خزنده وارد حساب نمی‌شود، روی بنر کوکی کلیک نمی‌کند و چالش‌ها را حل نمی‌کند. Anthropic می‌گوید ربات‌هایش برای عبور از CAPTCHA تلاش نمی‌کنند. اگر ابزار مدیریت رضایت صفحه را در HTML با یک لایه تمام‌صفحه جایگزین کند، یا بازدیدکنندگان بار اول را به صفحه رضایت ریدایرکت کند، خزنده به‌جای محتوای شما همان را می‌گیرد.

مطمئن شوید صفحه‌های عمومی، صرف‌نظر از وضعیت رضایت، محتوایشان را در HTML رندر می‌کنند و بنر به شکل لایه‌ای روی صفحه است، نه جایگزین آن. صفحه‌هایی را که می‌خواهید به آن‌ها استناد شود بیرون از دیوار ورود نگه دارید و بررسی کنید که خزنده به صفحه ورود ریدایرکت نشود.

AISeeWhy صفحه‌هایی را که فقط با JavaScript کار می‌کنند چطور تشخیص می‌دهد؟

AISeeWhy کد HTML اولیه را همان‌طور که هر خزنده دریافت می‌کند و بدون اجرای اسکریپت‌ها می‌خواند. وقتی صفحه‌ای تقریباً هیچ متن قابل مشاهده‌ای ندارد اما یک عنصر ریشه فریم‌ورک و اسکریپت دارد، یک یافته P1 گزارش می‌دهد که محتوا به JavaScript نیاز دارد. همچنین ریدایرکت‌هایی را علامت می‌زند که خزنده‌ها را به جایی غیر از صفحه‌ای که مرورگر می‌گیرد می‌فرستند.

راه‌حل‌های این مشکل

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

آیا Googlebot کد JavaScript را رندر می‌کند؟

بله. Google کد HTML را می‌خزد، صفحه‌ها را در صف رندر می‌گذارد و هر وقت منابع اجازه دهد آن‌ها را با Chromium بدون رابط رندر می‌کند. با این حال Google همچنان رندر سمت سرور یا پیش‌رندر را توصیه می‌کند.

آیا خزنده‌های ChatGPT، Claude و Perplexity کد JavaScript را اجرا می‌کنند؟

مستندات خزنده این شرکت‌ها چنین چیزی نمی‌گوید. تا وقتی شرکتی خلافش را اعلام نکرده، فرض کنید خزنده HTML اولیه را می‌خواند و مطمئن شوید محتوای شما در آن است.

آیا رندر پویا برای ربات‌ها ایده خوبی است؟

به‌عنوان راه‌حل موقت کار می‌کند، اما یک مسیر رندر دوم اضافه می‌کند که باید نگهداری شود. رندر سمت سرور یا HTML ایستا محتوای یکسانی به همه می‌دهد و راه‌حل ساده‌تری در درازمدت است.

آیا JSON-LD که با JavaScript اضافه می‌شود حساب می‌شود؟

Google پس از رندر می‌تواند آن را بخواند، اما خزنده‌هایی که اسکریپت اجرا نمی‌کنند آن را نمی‌بینند. JSON-LD را در HTML اولیه قرار دهید.

منابع

مقاله‌های دیگر