llms.txt کیا ہے، اور کیا اسے شامل کرنا فائدہ مند ہے؟
llms.txt، /llms.txt پر رکھی جانے والی ایک مجوزہ Markdown فائل ہے جو AI ٹولز کو آپ کی سائٹ کا مختصر خلاصہ اور اس کے سب سے مفید صفحات کے لنکس کی فہرست دیتی ہے۔ یہ ایک کمیونٹی تجویز ہے، معیار نہیں، اور بڑے AI سرچ کرالرز یہ نہیں کہتے کہ وہ اسے استعمال کرتے ہیں۔ اسے شامل کرنا سستا ہے، لیکن یہ کرال ہونے کے قابل HTML کی جگہ نہیں لیتی۔
llms.txt پر بہت توجہ دی جاتی ہے، اکثر اسے AI کا robots.txt کہہ کر۔ یہ کچھ اور ہے: robots.txt بتاتا ہے کہ کرالرز کیا منگوا سکتے ہیں، جبکہ llms.txt ایک پڑھنے کی رہنما ہے جو AI ٹولز کو پڑھنے کے لائق مواد کی طرف اشارہ کرتی ہے۔ یہاں یہ ہے کہ تجویز کیا کہتی ہے، اس کے استعمال کے بارے میں کیا معلوم ہے، اور اسے کیسے لکھیں۔
اس صفحے پر
llms.txt کہاں سے آیا؟
Jeremy Howard نے ستمبر 2024 میں /llms.txt فائل کی تجویز دی، اور یہ تجویز llmstxt.org پر برقرار رکھی جاتی ہے۔ اس کا مقصد ایک ایسی فائل کو معیاری بنانا ہے جو لینگویج ماڈلز اور ایجنٹس کو inference کے وقت ویب سائٹ استعمال کرنے میں مدد دے، مثلاً جب کسی کوڈنگ اسسٹنٹ کو کسی لائبریری کی دستاویزات چاہییں، ٹریننگ کے لیے نہیں۔
یہ خیال ایک حقیقی مسئلے کا جواب ہے۔ ویب صفحات میں نیویگیشن، اسکرپٹس، بینرز اور لے آؤٹ ہوتے ہیں۔ اہم صفحات کے صاف ورژنز کے لنکس والی ایک مختصر، چنی ہوئی Markdown فائل کے ساتھ ماڈل کے لیے محدود context window میں کام کرنا آسان ہوتا ہے۔
llms.txt فائل میں کیا ہوتا ہے؟
فائل ایک مقررہ ترتیب والی Markdown ہے۔ صرف پہلا عنصر لازمی ہے:
- سائٹ یا پروجیکٹ کے نام کے ساتھ ایک H1 (لازمی)۔
- ایک blockquote جس میں مختصر خلاصہ ہو کہ سائٹ کیا ہے۔
- مزید تفصیل کے ساتھ اختیاری پیراگراف یا فہرستیں، سرخیوں کے بغیر۔
- H2 حصے، ہر ایک میں
[name](url)کی شکل میں Markdown لنکس کی فہرست، جس کے بعد اختیاری طور پر colon اور ایک نوٹ۔ Optionalنام کا ایک اختیاری حصہ ثانوی لنکس کے لیے، جنہیں کم context کی ضرورت ہو تو ٹول چھوڑ سکتا ہے۔
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) تجویز یہ بھی کہتی ہے کہ صفحات کے Markdown ورژن اسی URL پر .md لگا کر دیے جائیں، مثلاً page.html.md، تاکہ ٹولز صاف متن منگوا سکیں۔
آج llms.txt کو اصل میں کون پڑھتا ہے؟
یہاں احتیاط فائدہ دیتی ہے۔ llmstxt.org کی سائٹ کہتی ہے کہ یہ فائلیں سب سے زیادہ سافٹ ویئر دستاویزات کے لیے استعمال ہوتی ہیں، جہاں کوڈنگ ایجنٹس ان پر چلتے ہیں۔ ہماری دیکھی گئی کرالر دستاویزات میں OpenAI، Anthropic، Google اور Perplexity اپنے سرچ کرالرز کے استعمال کردہ اشاروں میں llms.txt کا ذکر نہیں کرتے۔
Google اپنے Search فیچرز کے لیے اس سے بھی آگے جاتا ہے۔ AI Overviews اور AI Mode پر اس کی رہنمائی کہتی ہے کہ ان میں آنے کے لیے آپ کو نئی machine-readable فائلیں، AI متنی فائلیں یا مارک اپ بنانے کی ضرورت نہیں۔ Google Search کے لیے llms.txt کا کوئی بیان کردہ کردار نہیں۔
اس لیے دیانت دار جواب یہ ہے: کچھ AI ٹولز، زیادہ تر کوڈنگ اسسٹنٹس اور وہ ایجنٹس جنہیں کسی سائٹ کی طرف بھیجا جائے، اسے پڑھ سکتے ہیں۔ جو کرالرز طے کرتے ہیں کہ AI سرچ آپ کے صفحے کا حوالہ دے یا نہیں وہ آپ کے HTML سے کام لیتے ہیں۔
آپ خود دیکھ سکتے ہیں کہ کوئی آپ کی فائل پڑھتا ہے یا نہیں۔ اپنے سرور یا CDN لاگز میں /llms.txt کی درخواستیں تلاش کریں اور یوزر ایجنٹس دیکھیں۔ اگر چند ہفتوں میں کوئی درخواست نہ آئے تو یہ آپ کی سائٹ کے لیے اس کی قدر کے بارے میں کسی بھی عمومی دعوے سے زیادہ بتاتا ہے۔
کیا مجھے پھر بھی اسے شامل کرنا چاہیے؟
زیادہ تر سائٹس کے لیے یہ کم لاگت اور کم یقین والا اضافہ ہے۔ اس میں چند منٹ لگتے ہیں، یہ سرچ میں آپ کے نظر آنے کو نقصان نہیں پہنچا سکتا اور اسے ڈھونڈنے والے ایجنٹس کی مدد کر سکتا ہے۔ یہ دستاویزات، ڈویلپر ٹولز اور بہت سے حوالہ جاتی مواد والی پروڈکٹس کے لیے سب سے مفید ہے۔
یہ رسائی کے مسائل حل نہیں کر سکتا۔ اگر فائر وال AI کرالرز کو بلاک کرتا ہے، آپ کا robots.txt انہیں ممنوع کرتا ہے یا آپ کا مواد صرف JavaScript چلنے کے بعد ظاہر ہوتا ہے، تو llms.txt کچھ نہیں بدلتا۔ پہلے انہیں ٹھیک کریں۔
اچھا llms.txt کیسے لکھوں؟
- اسے
https://yourdomain.com/llms.txtپر رکھیں اور اسٹیٹس 200 کے ساتھ سادہ متن کے طور پر دیں، HTML صفحے کے طور پر نہیں۔ - خلاصہ ویسے لکھیں جیسے آپ کسی نئے ساتھی کو دو جملوں میں سائٹ سمجھائیں گے: یہ کیا ہے، کس کے لیے ہے۔
- وہ صفحات درج کریں جو حقیقی سوالات کے جواب دیتے ہیں: پروڈکٹ، قیمتیں، دستاویزات، پالیسیاں۔ ٹیگ صفحات اور آرکائیوز چھوڑ دیں۔
- مکمل URLs استعمال کریں اور فہرست اتنی مختصر رکھیں کہ مفید رہے؛ زیادہ تر سائٹس کے لیے چند درجن لنکس کافی ہیں۔
- اسے تازہ رکھیں۔ ہٹائے گئے صفحات کے لنکس والی فائل نہ ہونے سے بدتر ہے۔
- اسے اجازتیں بتانے کے لیے استعمال نہ کریں۔ رسائی کے اصول robots.txt میں ہوتے ہیں۔
AISeeWhy، llms.txt کے ساتھ کیسا سلوک کرتا ہے؟
AISeeWhy جانچتا ہے کہ آپ کی سائٹ پر llms.txt ہے یا نہیں اور آڈٹ کیا گیا صفحہ اس میں درج ہے یا نہیں۔ چونکہ آج AI کرالرز اسے کم ہی پڑھتے ہیں، غائب فائل ایک P3 نتیجہ ہے، سب سے کم ترجیح، اور رپورٹ میں آپ کے صفحے کے عنوان، تفصیل اور سائٹ میپ سے بنا ایک مسودہ شامل ہوتا ہے جسے آپ ترمیم کر کے شائع کر سکتے ہیں۔
اس مسئلے کے حل
- ایجنٹ ڈسکوری فائل پڑھی نہیں جا سکتی
- ایجنٹس کے لیے Markdown ورژن خراب ہے
- Vary: Accept کے بغیر Markdown جواب
- AI ایجنٹس کے لیے کوئی Markdown ورژن نہیں
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- llms.txt چیکر اور ویلیڈیٹر
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کیا llms.txt ایک سرکاری معیار ہے؟
نہیں۔ یہ llmstxt.org پر شائع ایک کمیونٹی تجویز ہے۔ یہ IETF یا W3C کا معیار نہیں، اور کوئی AI کمپنی اسے پڑھنے کی پابند نہیں۔
کیا llms.txt، AI ٹریننگ بلاک کرتا ہے؟
نہیں۔ یہ لنکس کی فہرست ہے، اجازتوں کا مجموعہ نہیں۔ ٹریننگ سے opt out کرنے کے لیے robots.txt میں ٹریننگ ٹوکنز استعمال کریں، جیسے GPTBot، ClaudeBot یا Google-Extended۔
کیا Google AI Overviews میں آنے کے لیے مجھے llms.txt چاہیے؟
نہیں۔ Google کہتا ہے کہ AI Overviews یا AI Mode میں آنے کے لیے آپ کو AI متنی فائلوں یا خاص مارک اپ کی ضرورت نہیں۔ صفحہ انڈیکس ہونا اور اسنیپٹ دکھانے کا اہل ہونا چاہیے۔
کیا llms.txt کسی ذیلی فولڈر میں ہو سکتا ہے؟
تجویز کا موجودہ ورژن کسی ذیلی پاتھ پر فائل کی اجازت دیتا ہے، جیسے /docs/llms.txt، جو اس پاتھ کے تحت صفحات کا احاطہ کرتی ہے۔ زیادہ تر سائٹس کو جڑ میں صرف ایک فائل کی ضرورت ہوتی ہے۔
ماخذ
- llmstxt.org: /llms.txt فائل
- Google Search Central: AI فیچرز اور آپ کی ویب سائٹ
- OpenAI: OpenAI کرالرز کا جائزہ