robots.txt پرطرفدارترین ۱۰٬۰۰۰ سایت را خواندیم؛ آنها با خزندههای AI چه میکنند
از ۶٬۱۹۲ دامنه در ۱۰٬۰۰۰ دامنه برتر Tranco که یک robots.txt ارائه میدهند، ۲۳٫۲٪ دستکم یک خزنده آموزشی AI را مسدود میکنند و ۱۲٫۳٪ دستکم یک خزنده جستجو یا کاربر AI را. ۵۱٫۶٪ از سایتهایی که آموزش را مسدود میکنند، جستجوی AI را هم مسدود میکنند. فقط ۱۱٫۲٪ آموزش را رد میکنند و در عین حال همه خزندههای جستجوی AI را مجاز میگذارند.
در نوامبر robots.txt هزار دامنه پرطرفدار را خواندیم. این بار با همان روش ۱۰٬۰۰۰ دامنه را خواندیم و بررسی کردیم که تصویر با کوچکتر شدن سایتها چگونه تغییر میکند. نتیجه اصلی پابرجا است: مسدود کردن آموزش و مسدود کردن جستجو یک تصمیم واحد در نظر گرفته میشود، در حالی که این دو تصمیم جداگانهاند.
در این صفحه
چگونه اندازهگیری کردیم؟
۱۰٬۰۰۰ دامنه برتر فهرست Tranco (شناسه فهرست JZWZY) را برداشتیم و در ۲۱ نوامبر ۲۰۲۶ صفحه اصلی، robots.txt و llms.txt هر دامنه را یک بار با user agent خود AISeeWhy دریافت کردیم. هر robots.txt را طبق RFC 9309 برای صفحه اصلی (/) و برای ۱۶ خزنده AI و جستجو ارزیابی کردیم.
۶٬۱۹۲ دامنه از ۱۰٬۰۰۰ دامنه یک robots.txt ارائه دادند (پاسخ موفقی که صفحه HTML نباشد). ۱٬۱۲۱ دامنه با کد 4xx پاسخ دادند، یعنی بدون قانون و با اجازه برای همه خزندهها، و ۲٬۶۸۷ دامنه فایلی ارائه ندادند (سایت HTTPS نداشتند، خطا یا timeout رخ داد، یا بهجای آن صفحه HTML برگشت). همه درصدهای زیر از ۶٬۱۹۲ دامنه محاسبه شدهاند. این فهرست شامل CDNها و APIهایی است که وبسایتی ارائه نمیکنند.
چه یافتیم؟
- ۲۳٫۲٪ (۱٬۴۳۷ دامنه) دستکم یک خزنده آموزشی AI را مسدود میکنند.
- ۱۲٫۳٪ (۷۶۲ دامنه) دستکم یک خزنده جستجو یا کاربر AI را مسدود میکنند؛ یعنی صفحات آنها نباید در پاسخهایی که به این خزندهها متکیاند استفاده یا ارجاع شوند.
- ۵۱٫۶٪ از دامنههایی که یک خزنده آموزشی را مسدود میکنند (۷۴۲ از ۱٬۴۳۷) دستکم یک خزنده جستجو یا کاربر AI را هم مسدود میکنند.
- فقط ۱۱٫۲٪ (۶۹۵ دامنه) مسیر گزینشی را برمیگزینند: خزندههای آموزشی را مسدود و همه خزندههای جستجو و کاربر AI را مجاز میکنند.
- ۶٫۵٪ (۴۰۱ دامنه) ترجیحات AI خود را با
Content-Signalاعلام میکنند. - ۱۲٫۴٪ از کل ۱۰٬۰۰۰ دامنه (۱٬۲۴۰) یک
llms.txtمنتشر میکنند. - برای مقایسه، ۲٫۰٪ (۱۲۴ دامنه)
Googlebotرا در صفحه اصلی مسدود میکنند.
کدام خزندهها بیشتر مسدود میشوند؟
سهم از ۶٬۱۹۲ دامنهای که robots.txt آنها صفحه اصلی را برای آن خزنده ممنوع کرده است:
Bytespider۱۸٫۷٪،CCBot۱۸٫۵٪،GPTBot۱۷٫۴٪،ClaudeBot۱۶٫۵٪.Meta-ExternalAgent۱۵٫۵٪،Google-Extended۱۴٫۹٪،Applebot-Extended۱۴٫۶٪.PerplexityBotبا ۱۰٫۴٪ بیشتر از همه خزندههای جستجوی AI مسدود میشود، جلوتر ازOAI-SearchBotبا ۷٫۰٪ وClaude-SearchBotبا ۷٫۰٪.- خزندههایی که وقتی کاربری درخواست میکند صفحه را باز میکنند:
ChatGPT-User۸٫۹٪،Perplexity-User۷٫۷٪،Claude-User۷٫۴٪.
آیا سایتهای بزرگتر بیشتر مسدود میکنند؟
بله، و بیشتر آموزش و جستجو را با هم اشتباه میگیرند. فهرست را بر اساس رتبه تقسیم کردیم:
- رتبههای ۱ تا ۱٬۰۰۰ (۵۶۰ دامنه دارای robots.txt): ۲۸٫۶٪ آموزش را مسدود میکنند، ۱۸٫۶٪ جستجوی AI را، و ۶۳٫۱٪ از مسدودکنندگان آموزش جستجوی AI را هم مسدود میکنند.
- رتبههای ۱٬۰۰۱ تا ۳٬۰۰۰ (۱٬۲۵۶ دامنه): ۲۳٫۵٪، ۱۳٫۵٪ و ۵۵٫۶٪.
- رتبههای ۳٬۰۰۱ تا ۱۰٬۰۰۰ (۴٬۳۷۶ دامنه): ۲۲٫۴٪، ۱۱٫۲٪ و ۴۸٫۶٪.
مسیر گزینشی در هر اندازهای نادر است: ۱۰٫۵٪، ۱۰٫۴٪ و ۱۱٫۵٪ از دامنههای سه گروه.
آیا از گزارش ۱۲ نوامبر ما چیزی تغییر کرده است؟
۱٬۰۰۰ دامنه اول را با همان فهرست دوباره بررسی کردیم. نتیجه در حدود یک درصد پایدار است: ۲۸٫۶٪ آموزش را مسدود میکنند (۲۹٫۹٪ در ۱۲ نوامبر)، ۱۸٫۶٪ جستجوی AI را (۱۹٫۵٪)، و ۶۳٫۱٪ از مسدودکنندگان آموزش جستجوی AI را هم مسدود میکنند (۶۳٫۲٪). مخرجها اندکی تفاوت دارند (اکنون ۵۶۰ دامنه با robots.txt و آن زمان ۵۱۸ دامنه)، چون این بار پیش از دریافت فایل، تغییر مسیر دامنه به میزبان اصلی دنبال میشود.
این برای robots.txt شما چه معنایی دارد؟
بیشتر شرکتهای AI خزندههای جداگانهای برای آموزش و جستجو مستند کردهاند و میگویند تنظیمات آنها مستقل است. ممنوع کردن GPTBot به OAI-SearchBot کاری ندارد و ممنوع کردن ClaudeBot هم به Claude-SearchBot کاری ندارد. اگر میخواهید آموزش را رد کنید و همچنان ارجاع داده شوید، توکنهای آموزشی را مسدود کنید و توکنهای جستجو و کاربر را مجاز بگذارید، و مسیرهای خصوصی را در هر گروه تکرار کنید، چون یک گروه نامدار از * ارث نمیبرد.
این اعداد چقدر قابل اعتمادند؟
اینها قوانین robots.txt برای صفحه اصلیاند که یک parser در یک روز خوانده است. مسدودسازیهای فایروال را اندازه نمیگیرند، در حالی که فایروال میتواند خزندهای را که robots.txt مجاز کرده رد کند. نمیتوانند نیت هر سایت را نشان دهند، و فهرست Tranco دامنههایی را شامل میشود که وبسایتی ارائه نمیکنند. قانونی که یک خزنده جستجو را مسدود میکند اثبات اشتباه نیست، بلکه نشانه انتخابی است که اغلب بدون آگاهی از تفاوت انجام میشود. میتوانید این اعداد را با پیوند به این صفحه نقل کنید.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسیکننده و اعتبارسنج llms.txt
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
چه سهمی از سایتهای پرطرفدار خزندههای AI را مسدود میکنند؟
در میان ۶٬۱۹۲ دامنه از ۱۰٬۰۰۰ دامنه برتر Tranco که robots.txt ارائه میدهند، ۲۳٫۲٪ دستکم یک خزنده آموزشی AI را مسدود میکنند و ۱۲٫۳٪ دستکم یک خزنده جستجو یا کاربر AI را.
آیا سایتهایی که آموزش AI را مسدود میکنند، جستجوی AI را هم مسدود میکنند؟
اغلب بله. ۵۱٫۶٪ از سایتهایی که یک خزنده آموزشی را مسدود میکنند، دستکم یک خزنده جستجو یا کاربر AI را هم مسدود میکنند، با اینکه ارائهدهندگان آنها را خزندههای جداگانه با تنظیمات مستقل مستند کردهاند.
کدام خزنده AI بیشتر مسدود میشود؟
در میان خزندههای آموزشی Bytespider (۱۸٫۷٪) و CCBot (۱۸٫۵٪)، سپس GPTBot (۱۷٫۴٪). در میان خزندههای جستجوی AI، PerplexityBot بیشتر از همه مسدود میشود، در ۱۰٫۴٪ دامنهها.
چرا اعداد با گزارش ۱٬۰۰۰ سایت شما فرق دارند؟
۱٬۰۰۰ دامنه اول تقریباً همان درصدها را میدهند (۲۸٫۶٪ و ۱۸٫۶٪ در برابر ۲۹٫۹٪ و ۱۹٫۵٪). اعداد ۱۰٬۰۰۰ سایت پایینترند، چون سایتهای کوچکتر کمتر مسدود میکنند.
منابع
- AISeeWhy: گزارش دسترسی خزندههای AI، ۲۰۲۶-۱۱
- Tranco: رتبهبندی پژوهشمحور سایتهای برتر
- RFC 9309: پروتکل Robots Exclusion
- OpenAI: مروری بر خزندههای OpenAI
- Anthropic: آیا Anthropic دادههای وب را میخزد و صاحبان سایت چگونه میتوانند خزنده را مسدود کنند؟
- Perplexity: خزندههای Perplexity