چهار از هر ده وب‌سایت کسب‌وکار، خزنده‌های هوش مصنوعی را رد می‌کنند

تاریخ انتشار

پاسخ کوتاه

در بررسی ۱۶۵ وب‌سایت کسب‌وکار در آمریکا، بریتانیا و فرانسه، ۳۸٪ دست‌کم یک خزنده هوش مصنوعی را در سطح سرور رد کرده بودند و تقریباً همیشه یک ربات آموزشی یا scraper بود. حدود یک سایت از هر ده سایت، یک خزنده جست‌وجوی هوش مصنوعی مانند PerplexityBot یا OAI-SearchBot را هم رد می‌کرد؛ یعنی خزنده‌هایی که می‌توانند به ارجاع و استناد منجر شوند. سایت خود را با یک درخواست برای هر خزنده بررسی کنید.

از ChatGPT درباره محصول خودتان می‌پرسید و او یک رقیب، یک سایت نقد و بررسی و یک تاپیک انجمن را نام می‌برد. گاهی این مشکل محتواست. اما اغلب فایروالی به خزنده‌های هوش مصنوعی جواب رد می‌دهد و هیچ‌کس در تیم شما متوجه نمی‌شود، چون سایت در مرورگر درست کار می‌کند.

در این صفحه
  1. چه چیزی را آزمودیم؟
  2. چه یافتیم؟
  3. چرا این اتفاق می‌افتد و کی انتخابی آگاهانه است؟
  4. آیا سایت‌های بزرگ‌تر بهتر عمل می‌کنند؟
  5. چطور در ده دقیقه سایت خودم را بررسی کنم؟
  6. این اعداد چقدر قابل اتکا هستند؟

چه چیزی را آزمودیم؟

یک صفحه را چند بار از یک آدرس واحد درخواست می‌کنیم: یک بار مثل یک مرورگر معمولی و یک بار هم در نقش هر یک از ۱۴ خزنده هوش مصنوعی و جست‌وجو، از جمله GPTBot، OAI-SearchBot و ChatGPT-User از OpenAI، ClaudeBot و Claude-SearchBot از Anthropic و PerplexityBot از Perplexity. اگر مرورگر صفحه را بگیرد و خزنده کد 401، 403، 406، 429، 451 یا 503 یا یک صفحه چالش دریافت کند، آن سایت آن خزنده را رد می‌کند.

نمونه شامل ۲۱۸ وب‌سایت کسب‌وکار در آمریکا، بریتانیا و فرانسه است که از ۱۸ تا ۲۱ نوامبر ۲۰۲۶ بررسی شدند. آزمون کامل روی ۱۶۵ سایت ممکن بود. ۵۳ سایت دیگر حتی درخواست ساده مرورگری ما را رد کردند یا پاسخ ندادند و به‌جای حدس زدن، آن‌ها را کنار گذاشتیم.

چه یافتیم؟

چرا این اتفاق می‌افتد و کی انتخابی آگاهانه است؟

بخش زیادی از این موارد احتمالاً عمدی است. بسیاری از مالکان نمی‌خواهند محتوایشان برای آموزش مدل‌ها استفاده شود و تنظیمات محافظت در برابر ربات‌ها که scraperها را مسدود می‌کنند، به‌راحتی فعال می‌شوند. این انتخابی موجه است.

مشکل این است که شرکت‌های هوش مصنوعی خزنده‌های جداگانه‌ای برای آموزش و برای جست‌وجو دارند. مسدود کردن خزنده آموزشی نیازی به مسدود کردن خزنده جست‌وجو ندارد و خزنده جست‌وجو همان است که می‌تواند باعث شود صفحه شما در یک پاسخ ارجاع داده شود.

آیا سایت‌های بزرگ‌تر بهتر عمل می‌کنند؟

واقعاً نه. در گزارش robots.txt ما روی ۱۰۰۰ دامنه پربازدید، ۲۹٫۹٪ از سایت‌هایی که robots.txt دارند دست‌کم یک خزنده آموزشی هوش مصنوعی را مسدود می‌کنند و ۶۳٫۲٪ از آن‌ها دست‌کم یک خزنده جست‌وجو یا کاربرمحور هوش مصنوعی را هم مسدود می‌کنند. فقط ۱۱٫۰٪ آموزش را مسدود می‌کنند و همه خزنده‌های جست‌وجوی هوش مصنوعی را آزاد می‌گذارند، که احتمالاً همان چیزی است که بیشترشان می‌خواستند.

چطور در ده دقیقه سایت خودم را بررسی کنم؟

  1. yoursite.com/robots.txt را باز کنید. برای هر خزنده هوش مصنوعی که برایتان مهم است ببینید آیا گروهی نامش را آورده و آن گروه چه می‌گوید. گروهی که نام یک خزنده را آورده، گروه عمومی * را کاملاً کنار می‌زند.
  2. رفتار سرور را آزمایش کنید، نه آنچه فایل می‌گوید. صفحه کلیدی خود را یک بار به‌عنوان مرورگر و یک بار به‌عنوان خزنده درخواست کنید. کد 403 یا 429، صفحه‌ای با عنوان Just a moment... یا پاسخی که بسیار کوچک‌تر از پاسخ مرورگر است، نشانه مسدودسازی توسط فایروال است.
  3. از دستیار بپرسید. با روشن بودن جست‌وجو، سؤال‌هایی را که خریداران شما می‌پرسند از ChatGPT یا Perplexity بپرسید و ببینید به کدام سایت‌ها ارجاع می‌دهد. اگر دسترسی درست است و باز هم نام شما نیست، مشکل از محتواست نه دسترسی.

این اعداد چقدر قابل اتکا هستند؟

آن‌ها را الگو بدانید، نه سرشماری. نمونه تصادفی نیست: این شرکت‌ها از طریق کتابخانه‌های تبلیغات، سایت‌های کاریابی و فهرست‌های نقشه پیدا شده‌اند. ما بر اساس user agent از یک آدرس آزمون می‌کنیم، در حالی که خزنده‌های واقعی از آدرس‌هایی می‌آیند که شرکت‌هایشان منتشر می‌کنند؛ بنابراین برخی فایروال‌ها با خزنده‌های واقعی رفتار متفاوتی دارند. و مسدودسازی همیشه اشتباه نیست.

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

چه سهمی از وب‌سایت‌ها خزنده‌های هوش مصنوعی را مسدود می‌کنند؟

در بررسی ما روی ۱۶۵ وب‌سایت کسب‌وکار قابل آزمون، ۳۸٪ دست‌کم یک خزنده هوش مصنوعی را در سطح سرور رد کردند، بیشتر ربات‌های آموزشی و scraper. حدود ۱۰٪ یک خزنده جست‌وجوی هوش مصنوعی را هم رد کردند.

آیا مسدود کردن GPTBot سایت مرا از جست‌وجوی ChatGPT خارج می‌کند؟

خیر. OpenAI می‌گوید تنظیم robots.txt برای هر یک از خزنده‌هایش مستقل است: GPTBot به آموزش مربوط است و OAI-SearchBot به جست‌وجوی ChatGPT. مسدود کردن یکی، دیگری را مسدود نمی‌کند.

یک سایت بدون robots.txt چگونه می‌تواند خزنده را مسدود کند؟

یک قانون فایروال، CDN یا محافظت در برابر ربات می‌تواند به خزنده کد 403، کد 429 یا صفحه چالش بدهد. robots.txt این را نشان نمی‌دهد، پس باید با درخواست صفحه در نقش خزنده آزمایش شود.

آیا رد کردن یک خزنده همیشه اشتباه است؟

خیر. بسیاری از مالکان می‌خواهند خزنده‌های آموزشی و scraperها وارد نشوند. اشتباه این است که خزنده‌های جست‌وجو به‌طور ناخواسته مسدود شوند، چون آن‌ها هستند که می‌توانند به صفحه شما ارجاع دهند.

منابع

مقاله‌های دیگر