کتنی سائٹس llms.txt شائع کرتی ہیں؟ ہم نے 10,000 ڈومینز جانچے

شائع شدہ

مختصر جواب

10,000 مقبول ترین ڈومینز میں سے 12.4% llms.txt شائع کرتے ہیں (1,240)، اور جن کا ہوم پیج HTML کے ساتھ جواب دیتا ہے ان میں سے 16.7%۔ بڑی سائٹس زیادہ شائع کرتی ہیں۔ شائع کرنے والی سائٹس 1.4% معاملات میں AI سرچ کرالرز کو بلاک کرتی ہیں، جبکہ نہ کرنے والی سائٹس 15.0% میں۔ یہ صرف اشاعت گنتا ہے: اس سے یہ ظاہر نہیں ہوتا کہ کوئی AI اسسٹنٹ فائل پڑھتا ہے یا نہیں۔

llms.txt AI سرچ میں سب سے زیادہ زیر بحث فائلوں میں سے ایک ہے، اور سب سے کم ناپی گئی فائلوں میں سے بھی۔ ہم پہلے ہی ٹاپ 10,000 ڈومینز کی robots.txt پڑھ چکے ہیں، اور اسی مرحلے میں ہم نے ہر ایک سے /llms.txt بھی مانگی۔ یہ ہے جو واپس آیا۔

اس صفحے پر
  1. ہم نے کیسے جانچا؟
  2. ہمیں کیا ملا؟
  3. کیا بڑی سائٹس زیادہ شائع کرتی ہیں؟
  4. کون شائع کرتا ہے؟
  5. یہ کیا نہیں دکھاتا؟
  6. کیا آپ کو شائع کرنی چاہیے؟

ہم نے کیسے جانچا؟

ہم نے Tranco فہرست (فہرست ID JZWZY) کے ٹاپ 10,000 ڈومینز لیے، اور 21 نومبر 2026 کو ہوم پیج پڑھنے اور اس کے ری ڈائریکٹ کو مرکزی ہوسٹ تک فالو کرنے کے بعد، AISeeWhy کے اپنے user agent کے طور پر ہر ایک سے /llms.txt ایک بار مانگی۔

کوئی ڈومین اس صورت میں llms.txt شائع کرتا شمار ہوتا ہے جب /llms.txt خود 200 کے ساتھ جواب دے، متن کا غیر خالی حصہ ہو جو HTML صفحہ نہ ہو، اور کسی دوسرے صفحے جیسے لاگ ان یا ہوم پیج پر ری ڈائریکٹ نہ ہو۔ اس رن میں ہم نے فائل کی فارمیٹنگ نہیں جانچی۔

ہمیں کیا ملا؟

کیا بڑی سائٹس زیادہ شائع کرتی ہیں؟

جی ہاں، واضح فرق کے ساتھ۔ ہم نے ویب سائٹس (وہ ڈومینز جن کا ہوم پیج HTML کے ساتھ جواب دیتا ہے) کو Tranco رینک کے لحاظ سے تقسیم کیا:

کون شائع کرتا ہے؟

جو 6,192 ڈومینز robots.txt فراہم کرتے ہیں ان میں سے llms.txt شائع کرنے والے باقی سے مختلف نظر آتے ہیں:

دوسرے لفظوں میں، جو سائٹس llms.txt شائع کرنے کی زحمت کرتی ہیں وہ زیادہ تر وہی ہیں جو پہلے ہی AI کرالرز کو اندر آنے دیتی ہیں۔

یہ کیا نہیں دکھاتا؟

یہ تعلق دکھاتا ہے، وجہ نہیں۔ جو سائٹ AI میں نظر آنے کو سنجیدگی سے لیتی ہے وہ llms.txt شائع کر سکتی ہے اور اپنی robots.txt بھی کھلی رکھ سکتی ہے؛ اس کا مطلب یہ نہیں کہ فائل نے فرق ڈالا۔ یہ گنتی صرف اشاعت کو ناپتی ہے۔ یہ نہیں بتاتی کہ کوئی AI اسسٹنٹ فائل پڑھتا ہے یا نہیں، اور بڑے AI سرچ کرالرز یہ نہیں کہتے کہ وہ اسے استعمال کرتے ہیں۔

یہ اعداد سب سے مقبول ڈومینز کے لیے ایک دن ایک پتے پر ہوم پیج کے اصول اور فائل کو بیان کرتے ہیں۔ چھوٹی سائٹس مختلف نظر آ سکتی ہیں۔

کیا آپ کو شائع کرنی چاہیے؟

یہ سستی اور بے ضرر ہے: آپ کی سائٹ کا مختصر Markdown خلاصہ اور آپ کے سب سے مفید صفحات کی فہرست۔ اسے درست رکھیں اور اس کے لنک کام کرتے رکھیں۔ اسے کرالرز کو اندر آنے دینے کا متبادل نہ سمجھیں: ایسی سائٹ پر llms.txt کسی کے کام نہیں آتی جس کا فائر وال کرالر کو رد کرتا ہو یا جس کی robots.txt اسے منع کرتی ہو۔

مفت ٹولز

اگلے قدم

اکثر پوچھے جانے والے سوالات

کتنی ویب سائٹس کے پاس llms.txt ہے؟

ہم نے جن 10,000 مقبول ترین ڈومینز کو جانچا ان میں سے 12.4% شائع کرتے ہیں۔ جن ڈومینز کا ہوم پیج HTML کے ساتھ جواب دیتا ہے ان میں یہ حصہ 16.7% ہے، اور سب سے بڑی سائٹس کے لیے زیادہ ہے: ٹاپ 1,000 میں 22.6%۔

کیا llms.txt والی سائٹس AI کرالرز کو زیادہ اکثر اجازت دیتی ہیں؟

ہمارے ڈیٹا میں ہاں: وہ 1.4% معاملات میں AI سرچ اور یوزر کرالرز کو بلاک کرتی ہیں، جبکہ فائل کے بغیر سائٹس 15.0% میں۔ یہ ایک باہمی تعلق ہے۔ اس سے ثابت نہیں ہوتا کہ فائل کرالرز کے سلوک کو بدلتی ہے۔

کیا llms.txt مجھے AI اسسٹنٹس کے حوالوں میں آنے میں مدد دیتی ہے؟

ہمارا ڈیٹا یہ نہیں بتا سکتا۔ یہ گنتا ہے کہ کون سی سائٹس فائل شائع کرتی ہیں، یہ نہیں کہ کوئی اسسٹنٹ اسے استعمال کرتا ہے، اور بڑے AI سرچ کرالرز یہ نہیں کہتے کہ وہ اسے پڑھتے ہیں۔ قابل کرال صفحات اور کھلی رسائی زیادہ اہم ہیں۔

آپ کیسے پہچانتے ہیں کہ کسی سائٹ کی llms.txt اصلی ہے؟

/llms.txt مانگیں اور دیکھیں کہ وہ اسی پتے پر 200 کے ساتھ جواب دیتی ہے، اور اس کا متن HTML صفحہ نہیں ہے۔ ہوم پیج یا لاگ ان صفحے پر ری ڈائریکٹ llms.txt نہیں ہے۔

ماخذ

مزید مضامین