llms.txt کیا ہے، اور کیا اسے شامل کرنا فائدہ مند ہے؟

شائع شدہ

مختصر جواب

llms.txt، /llms.txt پر رکھی جانے والی ایک مجوزہ Markdown فائل ہے جو AI ٹولز کو آپ کی سائٹ کا مختصر خلاصہ اور اس کے سب سے مفید صفحات کے لنکس کی فہرست دیتی ہے۔ یہ ایک کمیونٹی تجویز ہے، معیار نہیں، اور بڑے AI سرچ کرالرز یہ نہیں کہتے کہ وہ اسے استعمال کرتے ہیں۔ اسے شامل کرنا سستا ہے، لیکن یہ کرال ہونے کے قابل HTML کی جگہ نہیں لیتی۔

llms.txt پر بہت توجہ دی جاتی ہے، اکثر اسے AI کا robots.txt کہہ کر۔ یہ کچھ اور ہے: robots.txt بتاتا ہے کہ کرالرز کیا منگوا سکتے ہیں، جبکہ llms.txt ایک پڑھنے کی رہنما ہے جو AI ٹولز کو پڑھنے کے لائق مواد کی طرف اشارہ کرتی ہے۔ یہاں یہ ہے کہ تجویز کیا کہتی ہے، اس کے استعمال کے بارے میں کیا معلوم ہے، اور اسے کیسے لکھیں۔

اس صفحے پر
  1. llms.txt کہاں سے آیا؟
  2. llms.txt فائل میں کیا ہوتا ہے؟
  3. آج llms.txt کو اصل میں کون پڑھتا ہے؟
  4. کیا مجھے پھر بھی اسے شامل کرنا چاہیے؟
  5. اچھا llms.txt کیسے لکھوں؟
  6. AISeeWhy، llms.txt کے ساتھ کیسا سلوک کرتا ہے؟

llms.txt کہاں سے آیا؟

Jeremy Howard نے ستمبر 2024 میں /llms.txt فائل کی تجویز دی، اور یہ تجویز llmstxt.org پر برقرار رکھی جاتی ہے۔ اس کا مقصد ایک ایسی فائل کو معیاری بنانا ہے جو لینگویج ماڈلز اور ایجنٹس کو inference کے وقت ویب سائٹ استعمال کرنے میں مدد دے، مثلاً جب کسی کوڈنگ اسسٹنٹ کو کسی لائبریری کی دستاویزات چاہییں، ٹریننگ کے لیے نہیں۔

یہ خیال ایک حقیقی مسئلے کا جواب ہے۔ ویب صفحات میں نیویگیشن، اسکرپٹس، بینرز اور لے آؤٹ ہوتے ہیں۔ اہم صفحات کے صاف ورژنز کے لنکس والی ایک مختصر، چنی ہوئی Markdown فائل کے ساتھ ماڈل کے لیے محدود context window میں کام کرنا آسان ہوتا ہے۔

llms.txt فائل میں کیا ہوتا ہے؟

فائل ایک مقررہ ترتیب والی Markdown ہے۔ صرف پہلا عنصر لازمی ہے:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

تجویز یہ بھی کہتی ہے کہ صفحات کے Markdown ورژن اسی URL پر .md لگا کر دیے جائیں، مثلاً page.html.md، تاکہ ٹولز صاف متن منگوا سکیں۔

آج llms.txt کو اصل میں کون پڑھتا ہے؟

یہاں احتیاط فائدہ دیتی ہے۔ llmstxt.org کی سائٹ کہتی ہے کہ یہ فائلیں سب سے زیادہ سافٹ ویئر دستاویزات کے لیے استعمال ہوتی ہیں، جہاں کوڈنگ ایجنٹس ان پر چلتے ہیں۔ ہماری دیکھی گئی کرالر دستاویزات میں OpenAI، Anthropic، Google اور Perplexity اپنے سرچ کرالرز کے استعمال کردہ اشاروں میں llms.txt کا ذکر نہیں کرتے۔

Google اپنے Search فیچرز کے لیے اس سے بھی آگے جاتا ہے۔ AI Overviews اور AI Mode پر اس کی رہنمائی کہتی ہے کہ ان میں آنے کے لیے آپ کو نئی machine-readable فائلیں، AI متنی فائلیں یا مارک اپ بنانے کی ضرورت نہیں۔ Google Search کے لیے llms.txt کا کوئی بیان کردہ کردار نہیں۔

اس لیے دیانت دار جواب یہ ہے: کچھ AI ٹولز، زیادہ تر کوڈنگ اسسٹنٹس اور وہ ایجنٹس جنہیں کسی سائٹ کی طرف بھیجا جائے، اسے پڑھ سکتے ہیں۔ جو کرالرز طے کرتے ہیں کہ AI سرچ آپ کے صفحے کا حوالہ دے یا نہیں وہ آپ کے HTML سے کام لیتے ہیں۔

آپ خود دیکھ سکتے ہیں کہ کوئی آپ کی فائل پڑھتا ہے یا نہیں۔ اپنے سرور یا CDN لاگز میں /llms.txt کی درخواستیں تلاش کریں اور یوزر ایجنٹس دیکھیں۔ اگر چند ہفتوں میں کوئی درخواست نہ آئے تو یہ آپ کی سائٹ کے لیے اس کی قدر کے بارے میں کسی بھی عمومی دعوے سے زیادہ بتاتا ہے۔

کیا مجھے پھر بھی اسے شامل کرنا چاہیے؟

زیادہ تر سائٹس کے لیے یہ کم لاگت اور کم یقین والا اضافہ ہے۔ اس میں چند منٹ لگتے ہیں، یہ سرچ میں آپ کے نظر آنے کو نقصان نہیں پہنچا سکتا اور اسے ڈھونڈنے والے ایجنٹس کی مدد کر سکتا ہے۔ یہ دستاویزات، ڈویلپر ٹولز اور بہت سے حوالہ جاتی مواد والی پروڈکٹس کے لیے سب سے مفید ہے۔

یہ رسائی کے مسائل حل نہیں کر سکتا۔ اگر فائر وال AI کرالرز کو بلاک کرتا ہے، آپ کا robots.txt انہیں ممنوع کرتا ہے یا آپ کا مواد صرف JavaScript چلنے کے بعد ظاہر ہوتا ہے، تو llms.txt کچھ نہیں بدلتا۔ پہلے انہیں ٹھیک کریں۔

اچھا llms.txt کیسے لکھوں؟

AISeeWhy، llms.txt کے ساتھ کیسا سلوک کرتا ہے؟

AISeeWhy جانچتا ہے کہ آپ کی سائٹ پر llms.txt ہے یا نہیں اور آڈٹ کیا گیا صفحہ اس میں درج ہے یا نہیں۔ چونکہ آج AI کرالرز اسے کم ہی پڑھتے ہیں، غائب فائل ایک P3 نتیجہ ہے، سب سے کم ترجیح، اور رپورٹ میں آپ کے صفحے کے عنوان، تفصیل اور سائٹ میپ سے بنا ایک مسودہ شامل ہوتا ہے جسے آپ ترمیم کر کے شائع کر سکتے ہیں۔

اس مسئلے کے حل

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

کیا llms.txt ایک سرکاری معیار ہے؟

نہیں۔ یہ llmstxt.org پر شائع ایک کمیونٹی تجویز ہے۔ یہ IETF یا W3C کا معیار نہیں، اور کوئی AI کمپنی اسے پڑھنے کی پابند نہیں۔

کیا llms.txt، AI ٹریننگ بلاک کرتا ہے؟

نہیں۔ یہ لنکس کی فہرست ہے، اجازتوں کا مجموعہ نہیں۔ ٹریننگ سے opt out کرنے کے لیے robots.txt میں ٹریننگ ٹوکنز استعمال کریں، جیسے GPTBot، ClaudeBot یا Google-Extended۔

کیا Google AI Overviews میں آنے کے لیے مجھے llms.txt چاہیے؟

نہیں۔ Google کہتا ہے کہ AI Overviews یا AI Mode میں آنے کے لیے آپ کو AI متنی فائلوں یا خاص مارک اپ کی ضرورت نہیں۔ صفحہ انڈیکس ہونا اور اسنیپٹ دکھانے کا اہل ہونا چاہیے۔

کیا llms.txt کسی ذیلی فولڈر میں ہو سکتا ہے؟

تجویز کا موجودہ ورژن کسی ذیلی پاتھ پر فائل کی اجازت دیتا ہے، جیسے /docs/llms.txt، جو اس پاتھ کے تحت صفحات کا احاطہ کرتی ہے۔ زیادہ تر سائٹس کو جڑ میں صرف ایک فائل کی ضرورت ہوتی ہے۔

ماخذ

مزید مضامین