کتنی سائٹس llms.txt شائع کرتی ہیں؟ ہم نے 10,000 ڈومینز جانچے
10,000 مقبول ترین ڈومینز میں سے 12.4% llms.txt شائع کرتے ہیں (1,240)، اور جن کا ہوم پیج HTML کے ساتھ جواب دیتا ہے ان میں سے 16.7%۔ بڑی سائٹس زیادہ شائع کرتی ہیں۔ شائع کرنے والی سائٹس 1.4% معاملات میں AI سرچ کرالرز کو بلاک کرتی ہیں، جبکہ نہ کرنے والی سائٹس 15.0% میں۔ یہ صرف اشاعت گنتا ہے: اس سے یہ ظاہر نہیں ہوتا کہ کوئی AI اسسٹنٹ فائل پڑھتا ہے یا نہیں۔
llms.txt AI سرچ میں سب سے زیادہ زیر بحث فائلوں میں سے ایک ہے، اور سب سے کم ناپی گئی فائلوں میں سے بھی۔ ہم پہلے ہی ٹاپ 10,000 ڈومینز کی robots.txt پڑھ چکے ہیں، اور اسی مرحلے میں ہم نے ہر ایک سے /llms.txt بھی مانگی۔ یہ ہے جو واپس آیا۔
اس صفحے پر
ہم نے کیسے جانچا؟
ہم نے Tranco فہرست (فہرست ID JZWZY) کے ٹاپ 10,000 ڈومینز لیے، اور 21 نومبر 2026 کو ہوم پیج پڑھنے اور اس کے ری ڈائریکٹ کو مرکزی ہوسٹ تک فالو کرنے کے بعد، AISeeWhy کے اپنے user agent کے طور پر ہر ایک سے /llms.txt ایک بار مانگی۔
کوئی ڈومین اس صورت میں llms.txt شائع کرتا شمار ہوتا ہے جب /llms.txt خود 200 کے ساتھ جواب دے، متن کا غیر خالی حصہ ہو جو HTML صفحہ نہ ہو، اور کسی دوسرے صفحے جیسے لاگ ان یا ہوم پیج پر ری ڈائریکٹ نہ ہو۔ اس رن میں ہم نے فائل کی فارمیٹنگ نہیں جانچی۔
ہمیں کیا ملا؟
- 10,000 میں سے 1,240 ڈومینز (12.4%) ایک
llms.txtشائع کرتے ہیں۔ - فہرست میں CDNs اور API ہوسٹ شامل ہیں جو کوئی ویب سائٹ نہیں چلاتے۔ جن 7,367 ڈومینز کا ہوم پیج HTML کے ساتھ جواب دیتا ہے ان میں سے 1,233 (16.7%) ایک شائع کرتے ہیں۔
- ان میں سے تقریباً سبھی robots.txt بھی فراہم کرتے ہیں: 1,240 میں سے 1,229۔
کیا بڑی سائٹس زیادہ شائع کرتی ہیں؟
جی ہاں، واضح فرق کے ساتھ۔ ہم نے ویب سائٹس (وہ ڈومینز جن کا ہوم پیج HTML کے ساتھ جواب دیتا ہے) کو Tranco رینک کے لحاظ سے تقسیم کیا:
- رینک 1 سے 1,000: 22.6% llms.txt شائع کرتی ہیں (658 میں سے 149 ویب سائٹس)۔
- رینک 1,001 سے 3,000: 18.2% (1,449 میں سے 264)۔
- رینک 3,001 سے 10,000: 15.6% (5,260 میں سے 820)۔
کون شائع کرتا ہے؟
جو 6,192 ڈومینز robots.txt فراہم کرتے ہیں ان میں سے llms.txt شائع کرنے والے باقی سے مختلف نظر آتے ہیں:
- وہ 11.8% بار کم از کم ایک AI ٹریننگ کرالر کو بلاک کرتے ہیں، جبکہ llms.txt کے بغیر ڈومینز 26.0% بار۔
- وہ 1.4% بار کم از کم ایک AI سرچ یا یوزر کرالر کو بلاک کرتے ہیں، جبکہ دوسرے 15.0% بار۔
- وہ 12.9% بار
Content-Signalلائن استعمال کرتے ہیں، جبکہ دوسرے 4.9% بار۔
دوسرے لفظوں میں، جو سائٹس llms.txt شائع کرنے کی زحمت کرتی ہیں وہ زیادہ تر وہی ہیں جو پہلے ہی AI کرالرز کو اندر آنے دیتی ہیں۔
یہ کیا نہیں دکھاتا؟
یہ تعلق دکھاتا ہے، وجہ نہیں۔ جو سائٹ AI میں نظر آنے کو سنجیدگی سے لیتی ہے وہ llms.txt شائع کر سکتی ہے اور اپنی robots.txt بھی کھلی رکھ سکتی ہے؛ اس کا مطلب یہ نہیں کہ فائل نے فرق ڈالا۔ یہ گنتی صرف اشاعت کو ناپتی ہے۔ یہ نہیں بتاتی کہ کوئی AI اسسٹنٹ فائل پڑھتا ہے یا نہیں، اور بڑے AI سرچ کرالرز یہ نہیں کہتے کہ وہ اسے استعمال کرتے ہیں۔
یہ اعداد سب سے مقبول ڈومینز کے لیے ایک دن ایک پتے پر ہوم پیج کے اصول اور فائل کو بیان کرتے ہیں۔ چھوٹی سائٹس مختلف نظر آ سکتی ہیں۔
کیا آپ کو شائع کرنی چاہیے؟
یہ سستی اور بے ضرر ہے: آپ کی سائٹ کا مختصر Markdown خلاصہ اور آپ کے سب سے مفید صفحات کی فہرست۔ اسے درست رکھیں اور اس کے لنک کام کرتے رکھیں۔ اسے کرالرز کو اندر آنے دینے کا متبادل نہ سمجھیں: ایسی سائٹ پر llms.txt کسی کے کام نہیں آتی جس کا فائر وال کرالر کو رد کرتا ہو یا جس کی robots.txt اسے منع کرتی ہو۔
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- llms.txt چیکر اور ویلیڈیٹر
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اکثر پوچھے جانے والے سوالات
کتنی ویب سائٹس کے پاس llms.txt ہے؟
ہم نے جن 10,000 مقبول ترین ڈومینز کو جانچا ان میں سے 12.4% شائع کرتے ہیں۔ جن ڈومینز کا ہوم پیج HTML کے ساتھ جواب دیتا ہے ان میں یہ حصہ 16.7% ہے، اور سب سے بڑی سائٹس کے لیے زیادہ ہے: ٹاپ 1,000 میں 22.6%۔
کیا llms.txt والی سائٹس AI کرالرز کو زیادہ اکثر اجازت دیتی ہیں؟
ہمارے ڈیٹا میں ہاں: وہ 1.4% معاملات میں AI سرچ اور یوزر کرالرز کو بلاک کرتی ہیں، جبکہ فائل کے بغیر سائٹس 15.0% میں۔ یہ ایک باہمی تعلق ہے۔ اس سے ثابت نہیں ہوتا کہ فائل کرالرز کے سلوک کو بدلتی ہے۔
کیا llms.txt مجھے AI اسسٹنٹس کے حوالوں میں آنے میں مدد دیتی ہے؟
ہمارا ڈیٹا یہ نہیں بتا سکتا۔ یہ گنتا ہے کہ کون سی سائٹس فائل شائع کرتی ہیں، یہ نہیں کہ کوئی اسسٹنٹ اسے استعمال کرتا ہے، اور بڑے AI سرچ کرالرز یہ نہیں کہتے کہ وہ اسے پڑھتے ہیں۔ قابل کرال صفحات اور کھلی رسائی زیادہ اہم ہیں۔
آپ کیسے پہچانتے ہیں کہ کسی سائٹ کی llms.txt اصلی ہے؟
/llms.txt مانگیں اور دیکھیں کہ وہ اسی پتے پر 200 کے ساتھ جواب دیتی ہے، اور اس کا متن HTML صفحہ نہیں ہے۔ ہوم پیج یا لاگ ان صفحے پر ری ڈائریکٹ llms.txt نہیں ہے۔
ماخذ
- llmstxt.org: /llms.txt فائل
- AISeeWhy: AI کرالر رسائی رپورٹ، 2026-11
- Tranco: تحقیق کے لیے بنائی گئی ٹاپ سائٹس کی رینکنگ
- Google Search Central: AI فیچرز اور آپ کی ویب سائٹ
- OpenAI: OpenAI کرالرز کا جائزہ