robots.txt پرطرفدارترین ۱۰٬۰۰۰ سایت را خواندیم؛ آن‌ها با خزنده‌های AI چه می‌کنند

تاریخ انتشار

پاسخ کوتاه

از ۶٬۱۹۲ دامنه در ۱۰٬۰۰۰ دامنه برتر Tranco که یک robots.txt ارائه می‌دهند، ۲۳٫۲٪ دست‌کم یک خزنده آموزشی AI را مسدود می‌کنند و ۱۲٫۳٪ دست‌کم یک خزنده جستجو یا کاربر AI را. ۵۱٫۶٪ از سایت‌هایی که آموزش را مسدود می‌کنند، جستجوی AI را هم مسدود می‌کنند. فقط ۱۱٫۲٪ آموزش را رد می‌کنند و در عین حال همه خزنده‌های جستجوی AI را مجاز می‌گذارند.

در نوامبر robots.txt هزار دامنه پرطرفدار را خواندیم. این بار با همان روش ۱۰٬۰۰۰ دامنه را خواندیم و بررسی کردیم که تصویر با کوچک‌تر شدن سایت‌ها چگونه تغییر می‌کند. نتیجه اصلی پابرجا است: مسدود کردن آموزش و مسدود کردن جستجو یک تصمیم واحد در نظر گرفته می‌شود، در حالی که این دو تصمیم جداگانه‌اند.

در این صفحه
  1. چگونه اندازه‌گیری کردیم؟
  2. چه یافتیم؟
  3. کدام خزنده‌ها بیشتر مسدود می‌شوند؟
  4. آیا سایت‌های بزرگ‌تر بیشتر مسدود می‌کنند؟
  5. آیا از گزارش ۱۲ نوامبر ما چیزی تغییر کرده است؟
  6. این برای robots.txt شما چه معنایی دارد؟
  7. این اعداد چقدر قابل اعتمادند؟

چگونه اندازه‌گیری کردیم؟

۱۰٬۰۰۰ دامنه برتر فهرست Tranco (شناسه فهرست JZWZY) را برداشتیم و در ۲۱ نوامبر ۲۰۲۶ صفحه اصلی، robots.txt و llms.txt هر دامنه را یک بار با user agent خود AISeeWhy دریافت کردیم. هر robots.txt را طبق RFC 9309 برای صفحه اصلی (/) و برای ۱۶ خزنده AI و جستجو ارزیابی کردیم.

۶٬۱۹۲ دامنه از ۱۰٬۰۰۰ دامنه یک robots.txt ارائه دادند (پاسخ موفقی که صفحه HTML نباشد). ۱٬۱۲۱ دامنه با کد 4xx پاسخ دادند، یعنی بدون قانون و با اجازه برای همه خزنده‌ها، و ۲٬۶۸۷ دامنه فایلی ارائه ندادند (سایت HTTPS نداشتند، خطا یا timeout رخ داد، یا به‌جای آن صفحه HTML برگشت). همه درصدهای زیر از ۶٬۱۹۲ دامنه محاسبه شده‌اند. این فهرست شامل CDNها و APIهایی است که وب‌سایتی ارائه نمی‌کنند.

چه یافتیم؟

کدام خزنده‌ها بیشتر مسدود می‌شوند؟

سهم از ۶٬۱۹۲ دامنه‌ای که robots.txt آن‌ها صفحه اصلی را برای آن خزنده ممنوع کرده است:

آیا سایت‌های بزرگ‌تر بیشتر مسدود می‌کنند؟

بله، و بیشتر آموزش و جستجو را با هم اشتباه می‌گیرند. فهرست را بر اساس رتبه تقسیم کردیم:

مسیر گزینشی در هر اندازه‌ای نادر است: ۱۰٫۵٪، ۱۰٫۴٪ و ۱۱٫۵٪ از دامنه‌های سه گروه.

آیا از گزارش ۱۲ نوامبر ما چیزی تغییر کرده است؟

۱٬۰۰۰ دامنه اول را با همان فهرست دوباره بررسی کردیم. نتیجه در حدود یک درصد پایدار است: ۲۸٫۶٪ آموزش را مسدود می‌کنند (۲۹٫۹٪ در ۱۲ نوامبر)، ۱۸٫۶٪ جستجوی AI را (۱۹٫۵٪)، و ۶۳٫۱٪ از مسدودکنندگان آموزش جستجوی AI را هم مسدود می‌کنند (۶۳٫۲٪). مخرج‌ها اندکی تفاوت دارند (اکنون ۵۶۰ دامنه با robots.txt و آن زمان ۵۱۸ دامنه)، چون این بار پیش از دریافت فایل، تغییر مسیر دامنه به میزبان اصلی دنبال می‌شود.

این برای robots.txt شما چه معنایی دارد؟

بیشتر شرکت‌های AI خزنده‌های جداگانه‌ای برای آموزش و جستجو مستند کرده‌اند و می‌گویند تنظیمات آن‌ها مستقل است. ممنوع کردن GPTBot به OAI-SearchBot کاری ندارد و ممنوع کردن ClaudeBot هم به Claude-SearchBot کاری ندارد. اگر می‌خواهید آموزش را رد کنید و همچنان ارجاع داده شوید، توکن‌های آموزشی را مسدود کنید و توکن‌های جستجو و کاربر را مجاز بگذارید، و مسیرهای خصوصی را در هر گروه تکرار کنید، چون یک گروه نام‌دار از * ارث نمی‌برد.

این اعداد چقدر قابل اعتمادند؟

این‌ها قوانین robots.txt برای صفحه اصلی‌اند که یک parser در یک روز خوانده است. مسدودسازی‌های فایروال را اندازه نمی‌گیرند، در حالی که فایروال می‌تواند خزنده‌ای را که robots.txt مجاز کرده رد کند. نمی‌توانند نیت هر سایت را نشان دهند، و فهرست Tranco دامنه‌هایی را شامل می‌شود که وب‌سایتی ارائه نمی‌کنند. قانونی که یک خزنده جستجو را مسدود می‌کند اثبات اشتباه نیست، بلکه نشانه انتخابی است که اغلب بدون آگاهی از تفاوت انجام می‌شود. می‌توانید این اعداد را با پیوند به این صفحه نقل کنید.

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

چه سهمی از سایت‌های پرطرفدار خزنده‌های AI را مسدود می‌کنند؟

در میان ۶٬۱۹۲ دامنه از ۱۰٬۰۰۰ دامنه برتر Tranco که robots.txt ارائه می‌دهند، ۲۳٫۲٪ دست‌کم یک خزنده آموزشی AI را مسدود می‌کنند و ۱۲٫۳٪ دست‌کم یک خزنده جستجو یا کاربر AI را.

آیا سایت‌هایی که آموزش AI را مسدود می‌کنند، جستجوی AI را هم مسدود می‌کنند؟

اغلب بله. ۵۱٫۶٪ از سایت‌هایی که یک خزنده آموزشی را مسدود می‌کنند، دست‌کم یک خزنده جستجو یا کاربر AI را هم مسدود می‌کنند، با اینکه ارائه‌دهندگان آن‌ها را خزنده‌های جداگانه با تنظیمات مستقل مستند کرده‌اند.

کدام خزنده AI بیشتر مسدود می‌شود؟

در میان خزنده‌های آموزشی Bytespider (۱۸٫۷٪) و CCBot (۱۸٫۵٪)، سپس GPTBot (۱۷٫۴٪). در میان خزنده‌های جستجوی AI، PerplexityBot بیشتر از همه مسدود می‌شود، در ۱۰٫۴٪ دامنه‌ها.

چرا اعداد با گزارش ۱٬۰۰۰ سایت شما فرق دارند؟

۱٬۰۰۰ دامنه اول تقریباً همان درصدها را می‌دهند (۲۸٫۶٪ و ۱۸٫۶٪ در برابر ۲۹٫۹٪ و ۱۹٫۵٪). اعداد ۱۰٬۰۰۰ سایت پایین‌ترند، چون سایت‌های کوچک‌تر کمتر مسدود می‌کنند.

منابع

مقاله‌های دیگر