ہم نے 10,000 مقبول ترین سائٹس کی robots.txt پڑھی۔ AI کرالرز کے بارے میں وہ یہ کرتی ہیں
Tranco کے ٹاپ 10,000 میں سے 6,192 ڈومینز robots.txt فراہم کرتے ہیں۔ ان میں سے 23.2% کم از کم ایک AI ٹریننگ کرالر کو بلاک کرتے ہیں اور 12.3% کم از کم ایک AI سرچ یا یوزر کرالر کو۔ ٹریننگ بلاک کرنے والی سائٹس میں سے 51.6% AI سرچ کو بھی بلاک کرتی ہیں۔ صرف 11.2% ٹریننگ سے باہر رہتی ہیں اور ہر AI سرچ کرالر کو اجازت دیتی ہیں۔
نومبر میں ہم نے 1,000 مقبول ترین ڈومینز کی robots.txt پڑھی تھی۔ اس بار ہم نے اسی طریقے سے 10,000 کی پڑھی، اور یہ بھی دیکھا کہ سائٹس چھوٹی ہونے پر تصویر کیسے بدلتی ہے۔ بنیادی نتیجہ برقرار ہے: ٹریننگ کو بلاک کرنا اور سرچ کو بلاک کرنا ایک ہی فیصلہ سمجھا جاتا ہے، حالانکہ یہ دو الگ فیصلے ہیں۔
اس صفحے پر
ہم نے یہ کیسے ناپا؟
ہم نے Tranco فہرست (فہرست ID JZWZY) کے ٹاپ 10,000 ڈومینز لیے، اور 21 نومبر 2026 کو ہر ڈومین کا ہوم پیج، robots.txt اور llms.txt ایک ایک بار AISeeWhy کے اپنے user agent کے طور پر منگوایا۔ ہم نے ہر robots.txt کو RFC 9309 کے مطابق ہوم پیج (/) اور 16 AI اور سرچ کرالرز کے لیے پرکھا۔
10,000 میں سے 6,192 ڈومینز نے robots.txt فراہم کی (کامیاب جواب جو HTML صفحہ نہ ہو)۔ 1,121 نے 4xx کے ساتھ جواب دیا، جس کا مطلب ہے کوئی اصول نہیں اور ہر کرالر کو اجازت، اور 2,687 نے کوئی فائل فراہم نہیں کی (HTTPS سائٹ نہیں، غلطیاں، ٹائم آؤٹ، یا اس کی جگہ HTML صفحہ)۔ نیچے ہر فیصد 6,192 کا ہے۔ فہرست میں CDNs اور API بھی شامل ہیں جو کوئی ویب سائٹ نہیں چلاتے۔
ہمیں کیا ملا؟
- 23.2% (1,437 ڈومینز) کم از کم ایک AI ٹریننگ کرالر کو بلاک کرتے ہیں۔
- 12.3% (762) کم از کم ایک AI سرچ یا یوزر کرالر کو بلاک کرتے ہیں، یعنی ان کے صفحات اس پر انحصار کرنے والے جوابات میں استعمال یا حوالہ نہیں ہونے چاہییں۔
- ٹریننگ کرالر کو بلاک کرنے والے ڈومینز میں سے 51.6% (1,437 میں سے 742) کم از کم ایک AI سرچ یا یوزر کرالر کو بھی بلاک کرتے ہیں۔
- صرف 11.2% (695) منتخب راستہ اپناتے ہیں: وہ ٹریننگ کرالرز کو بلاک کرتے ہیں اور ہر AI سرچ اور یوزر کرالر کو اجازت دیتے ہیں۔
- 6.5% (401) اپنی AI ترجیحات
Content-Signalسے بیان کرتے ہیں۔ - تمام 10,000 ڈومینز میں سے 12.4% (1,240) ایک
llms.txtشائع کرتے ہیں۔ - موازنے کے لیے، 2.0% (124) ہوم پیج پر
Googlebotکو بلاک کرتے ہیں۔
کون سے کرالرز سب سے زیادہ بلاک ہوتے ہیں؟
6,192 ڈومینز کا وہ حصہ جن کی robots.txt اس کرالر کے لیے ہوم پیج کو منع کرتی ہے:
Bytespider18.7%،CCBot18.5%،GPTBot17.4%،ClaudeBot16.5%۔Meta-ExternalAgent15.5%،Google-Extended14.9%،Applebot-Extended14.6%۔PerplexityBot10.4% سب سے زیادہ بلاک ہونے والا AI سرچ کرالر ہے، اس کے بعدOAI-SearchBot7.0% اورClaude-SearchBot7.0%۔- وہ کرالرز جو کسی شخص کے پوچھنے پر صفحہ کھولتے ہیں:
ChatGPT-User8.9%،Perplexity-User7.7%،Claude-User7.4%۔
کیا بڑی سائٹس زیادہ بلاک کرتی ہیں؟
جی ہاں، اور وہ ٹریننگ اور سرچ کو زیادہ اکثر ملا دیتی ہیں۔ ہم نے فہرست کو رینک کے لحاظ سے تقسیم کیا:
- رینک 1 سے 1,000 (560 ڈومینز جن کے پاس robots.txt ہے): 28.6% ٹریننگ کو بلاک کرتے ہیں، 18.6% AI سرچ کو، اور ٹریننگ بلاک کرنے والوں میں سے 63.1% AI سرچ کو بھی بلاک کرتے ہیں۔
- رینک 1,001 سے 3,000 (1,256 ڈومینز): 23.5%، 13.5% اور 55.6%۔
- رینک 3,001 سے 10,000 (4,376 ڈومینز): 22.4%، 11.2% اور 48.6%۔
منتخب راستہ ہر سائز پر نایاب ہے: تینوں گروپوں کے ڈومینز میں سے بالترتیب 10.5%، 10.4% اور 11.5%۔
کیا ہماری 12 نومبر کی رپورٹ کے بعد کچھ بدلا ہے؟
ہم نے اسی فہرست کے ساتھ پہلے 1,000 ڈومینز دوبارہ چلائے۔ نتیجہ تقریباً ایک پوائنٹ کے اندر مستحکم ہے: 28.6% ٹریننگ کو بلاک کرتے ہیں (12 نومبر کو 29.9%)، 18.6% AI سرچ کو (19.5%)، اور ٹریننگ بلاک کرنے والوں میں سے 63.1% AI سرچ کو بھی بلاک کرتے ہیں (63.2%)۔ نیچے کی تعداد میں معمولی فرق ہے (اب robots.txt والے 560 ڈومینز، تب 518) کیونکہ اس بار ہم صفحہ منگوانے سے پہلے ڈومین کے ری ڈائریکٹ کو اس کے مرکزی ہوسٹ تک فالو کرتے ہیں۔
آپ کی robots.txt کے لیے اس کا کیا مطلب ہے؟
زیادہ تر AI کمپنیاں ٹریننگ اور سرچ کے لیے الگ کرالرز بیان کرتی ہیں اور کہتی ہیں کہ سیٹنگز آزاد ہیں۔ GPTBot کو منع کرنے سے OAI-SearchBot متاثر نہیں ہوتا، اور ClaudeBot کو منع کرنے سے Claude-SearchBot متاثر نہیں ہوتا۔ اگر آپ ٹریننگ سے باہر رہنا چاہتے ہیں اور پھر بھی حوالہ دیے جانا چاہتے ہیں، تو ٹریننگ ٹوکنز کو بلاک کریں اور سرچ اور یوزر ٹوکنز کو اجازت دیں، اور ہر نجی راستہ ہر گروپ میں دہرائیں، کیونکہ نام والا گروپ * سے کچھ وراثت میں نہیں لیتا۔
یہ اعداد و شمار کتنے قابل اعتماد ہیں؟
یہ ہوم پیج کے لیے robots.txt کے اصول ہیں، جنہیں ایک ہی دن ایک ہی پارسر نے پڑھا۔ یہ فائر وال کی بلاکنگ کو نہیں ناپتے، جو ایسے کرالر کو بھی رد کر سکتی ہے جسے robots.txt اجازت دیتی ہے۔ یہ نہیں بتا سکتے کہ ہر سائٹ کا ارادہ کیا تھا، اور Tranco فہرست میں ایسے ڈومینز بھی ہیں جو کوئی ویب سائٹ نہیں چلاتے۔ سرچ کرالر کو بلاک کرنے والا اصول غلطی کا ثبوت نہیں، بلکہ ایک ایسے انتخاب کا ثبوت ہے جو اکثر فرق جانے بغیر کیا جاتا ہے۔ آپ اس صفحے کے لنک کے ساتھ اعداد و شمار کا حوالہ دے سکتے ہیں۔
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- llms.txt چیکر اور ویلیڈیٹر
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
مقبول سائٹس کا کتنا حصہ AI کرالرز کو بلاک کرتا ہے؟
Tranco کے ٹاپ 10,000 کے ان 6,192 ڈومینز میں جو robots.txt فراہم کرتے ہیں، 23.2% کم از کم ایک AI ٹریننگ کرالر کو اور 12.3% کم از کم ایک AI سرچ یا یوزر کرالر کو بلاک کرتے ہیں۔
کیا AI ٹریننگ کو بلاک کرنے والی سائٹس AI سرچ کو بھی بلاک کرتی ہیں؟
اکثر۔ ٹریننگ کرالر کو بلاک کرنے والی سائٹس میں سے 51.6% کم از کم ایک AI سرچ یا یوزر کرالر کو بھی بلاک کرتی ہیں، حالانکہ وینڈرز انہیں آزاد سیٹنگز والے الگ کرالرز کے طور پر بیان کرتے ہیں۔
کون سا AI کرالر سب سے زیادہ بلاک ہوتا ہے؟
ٹریننگ کرالرز میں Bytespider (18.7%) اور CCBot (18.5%)، پھر GPTBot (17.4%)۔ AI سرچ کرالرز میں PerplexityBot سب سے زیادہ بلاک ہوتا ہے، 10.4% ڈومینز پر۔
آپ کے اعداد آپ کی 1,000 سائٹس والی رپورٹ سے مختلف کیوں ہیں؟
پہلے 1,000 ڈومینز تقریباً وہی فیصد دیتے ہیں (29.9% اور 19.5% کے مقابلے میں 28.6% اور 18.6%)۔ 10,000 سائٹس کے اعداد کم ہیں کیونکہ چھوٹی سائٹس کم بلاک کرتی ہیں۔
ماخذ
- AISeeWhy: AI کرالر رسائی رپورٹ، 2026-11
- Tranco: تحقیق کے لیے بنائی گئی ٹاپ سائٹس کی رینکنگ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI کرالرز کا جائزہ
- Anthropic: کیا Anthropic ویب سے ڈیٹا کرال کرتا ہے، اور سائٹ مالکان کرالر کو کیسے روک سکتے ہیں؟
- Perplexity: Perplexity کے کرالرز