llms.txt چیست و آیا ارزش اضافه کردن دارد؟
llms.txt یک فایل Markdown پیشنهادی در /llms.txt است که به ابزارهای هوش مصنوعی خلاصهای کوتاه از سایت شما و فهرستی از لینکهای مفیدترین صفحههایش میدهد. این یک پیشنهاد جامعهمحور است، نه استاندارد، و خزندههای اصلی جستجوی هوش مصنوعی نمیگویند از آن استفاده میکنند. اضافه کردنش کمهزینه است، اما جای HTML قابل خزیدن را نمیگیرد.
llms.txt توجه زیادی جلب کرده و اغلب بهعنوان robots.txt هوش مصنوعی معرفی میشود. اما چیز دیگری است: robots.txt میگوید خزندهها اجازه دریافت چه چیزی را دارند، در حالی که llms.txt یک راهنمای خواندن است که ابزارهای هوش مصنوعی را به محتوای ارزشمند هدایت میکند. در ادامه میبینید این پیشنهاد چه میگوید، درباره استفاده از آن چه میدانیم و چطور یکی بنویسید.
در این صفحه
llms.txt از کجا آمده است؟
Jeremy Howard فایل /llms.txt را در سپتامبر 2024 پیشنهاد کرد و این پیشنهاد در llmstxt.org نگهداری میشود. هدف آن استاندارد کردن یک فایل است که به مدلهای زبانی و عاملها کمک کند هنگام استنتاج از یک وبسایت استفاده کنند، مثلاً وقتی یک دستیار برنامهنویسی به مستندات یک کتابخانه نیاز دارد، نه برای آموزش.
این ایده به یک مشکل واقعی پاسخ میدهد. صفحههای وب ناوبری، اسکریپت، بنر و چیدمان دارند. یک فایل Markdown کوتاه و گزینششده با لینک به نسخههای تمیز صفحههای کلیدی، برای مدلی که پنجره زمینه محدودی دارد راحتتر قابل استفاده است.
در فایل llms.txt چه چیزی قرار میگیرد؟
این فایل Markdown است با ترتیبی ثابت. فقط عنصر اول الزامی است:
- یک H1 با نام سایت یا پروژه (الزامی).
- یک نقلقول (blockquote) با خلاصهای کوتاه از اینکه سایت چیست.
- پاراگرافها یا فهرستهای اختیاری با جزئیات بیشتر، بدون سرتیتر.
- بخشهای H2، هر کدام با فهرستی از لینکهای Markdown به شکل
[name](url)که در صورت تمایل پس از آن یک دونقطه و یادداشت میآید. - یک بخش اختیاری با نام
Optionalبرای لینکهای فرعی که ابزار وقتی به زمینه کمتری نیاز دارد میتواند از آنها بگذرد.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog) این پیشنهاد همچنین توصیه میکند نسخه Markdown صفحهها را در همان URL با پسوند .md ارائه کنید، برای مثال page.html.md، تا ابزارها بتوانند متن تمیز دریافت کنند.
امروز واقعاً چه کسی llms.txt را میخواند؟
اینجا باید محتاط بود. سایت llmstxt.org میگوید این فایلها بیشتر برای مستندات نرمافزار استفاده میشوند، جایی که عاملهای برنامهنویسی دنبالشان میکنند. OpenAI، Anthropic، Google و Perplexity در مستندات خزندهای که بررسی کردیم llms.txt را در میان سیگنالهایی که خزندههای جستجویشان استفاده میکنند نیاوردهاند.
Google برای قابلیتهای Search خودش فراتر میرود. راهنمای آن درباره AI Overviews و AI Mode میگوید برای ظاهر شدن در آنها لازم نیست فایلهای ماشینخوان جدید، فایلهای متنی هوش مصنوعی یا نشانهگذاری خاصی بسازید. برای Google Search، llms.txt نقش اعلامشدهای ندارد.
پس پاسخ صادقانه این است: برخی ابزارهای هوش مصنوعی، بیشتر دستیارهای برنامهنویسی و عاملهایی که به سمت یک سایت هدایت میشوند، ممکن است آن را بخوانند. خزندههایی که تعیین میکنند جستجوی هوش مصنوعی به صفحه شما استناد کند یا نه، با HTML شما کار میکنند.
خودتان میتوانید ببینید آیا چیزی فایل شما را میخواند. در لاگهای سرور یا CDN دنبال درخواستهای /llms.txt بگردید و user agentها را نگاه کنید. اگر در چند هفته هیچ درخواستی دیده نشد، این بیش از هر ادعای کلی درباره ارزش آن برای سایت شما میگوید.
آیا با این حال باید یکی اضافه کنم؟
برای بیشتر سایتها افزودنی کمهزینه با نتیجه نامطمئن است. چند دقیقه وقت میگیرد، نمیتواند به دیده شدن شما در جستجو آسیب بزند و ممکن است به عاملهایی که دنبالش میگردند کمک کند. بیشترین فایده را برای مستندات، ابزارهای توسعهدهندگان و محصولاتی دارد که مطالب مرجع زیادی دارند.
کاری که نمیتواند بکند رفع مشکلات دسترسی است. اگر فایروال خزندههای هوش مصنوعی را مسدود کند، robots.txt آنها را ممنوع کند یا محتوای شما فقط پس از اجرای JavaScript ظاهر شود، llms.txt چیزی را تغییر نمیدهد. اول اینها را درست کنید.
چطور یک llms.txt خوب بنویسم؟
- آن را در
https://yourdomain.com/llms.txtقرار دهید و بهصورت متن ساده با وضعیت 200 ارائه کنید، نه به شکل صفحه HTML. - خلاصه را همانطور بنویسید که سایت را در دو جمله برای یک همکار تازه توضیح میدهید: چیست و برای چه کسی است.
- صفحههایی را فهرست کنید که به سؤالهای واقعی پاسخ میدهند: محصول، قیمتها، مستندات، سیاستها. صفحههای برچسب و بایگانی را کنار بگذارید.
- از URLهای مطلق استفاده کنید و فهرست را آنقدر کوتاه نگه دارید که مفید بماند؛ چند ده لینک برای بیشتر سایتها کافی است.
- آن را بهروز نگه دارید. فایلی که به صفحههای حذفشده لینک میدهد از نبودنش بدتر است.
- از آن برای اعلام مجوزها استفاده نکنید. قوانین دسترسی جایشان در robots.txt است.
AISeeWhy با llms.txt چطور رفتار میکند؟
AISeeWhy بررسی میکند آیا سایت شما llms.txt دارد و آیا صفحه ممیزیشده در آن فهرست شده است. چون خزندههای هوش مصنوعی امروز بهندرت آن را میخوانند، نبودن فایل یک یافته P3 است، یعنی کمترین اولویت، و گزارش پیشنویسی ساختهشده از عنوان، توضیحات و نقشه سایت صفحه شما ارائه میکند که میتوانید ویرایش و منتشرش کنید.
راهحلهای این مشکل
- یک فایل کشف عامل قابل خواندن نیست
- نسخه Markdown برای عاملها خراب است
- پاسخ Markdown بدون Vary: Accept
- نسخه Markdown برای عاملهای هوش مصنوعی وجود ندارد
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسیکننده و اعتبارسنج llms.txt
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا llms.txt یک استاندارد رسمی است؟
نه. یک پیشنهاد جامعهمحور است که در llmstxt.org منتشر شده. استاندارد IETF یا W3C نیست و هیچ شرکت هوش مصنوعی ملزم به خواندن آن نیست.
آیا llms.txt جلوی آموزش هوش مصنوعی را میگیرد؟
نه. فهرستی از لینکهاست، نه مجموعهای از مجوزها. برای خارج شدن از آموزش، از توکنهای آموزشی در robots.txt مانند GPTBot، ClaudeBot یا Google-Extended استفاده کنید.
آیا برای ظاهر شدن در Google AI Overviews به llms.txt نیاز دارم؟
نه. Google میگوید برای ظاهر شدن در AI Overviews یا AI Mode به فایلهای متنی هوش مصنوعی یا نشانهگذاری خاص نیاز ندارید. صفحه باید ایندکس شده باشد و بتواند snippet نشان دهد.
آیا llms.txt میتواند در یک زیرپوشه باشد؟
نسخه فعلی پیشنهاد اجازه میدهد فایل در یک زیرمسیر باشد، مانند /docs/llms.txt، و صفحههای زیر همان مسیر را پوشش دهد. بیشتر سایتها فقط به یک فایل در ریشه نیاز دارند.
منابع
- llmstxt.org: فایل /llms.txt
- Google Search Central: قابلیتهای هوش مصنوعی و وبسایت شما
- OpenAI: مروری بر خزندههای OpenAI