ما هو llms.txt، وهل يستحق الإضافة؟
llms.txt ملف Markdown مقترح يوضع في /llms.txt ويمنح أدوات الذكاء الاصطناعي ملخصاً قصيراً لموقعك وقائمة روابط لأكثر صفحاته فائدة. هو مقترح مجتمعي وليس معياراً، ولا تذكر زواحف بحث الذكاء الاصطناعي الكبرى أنها تستخدمه. إضافته رخيصة، لكنه لا يغني عن HTML قابل للزحف.
يحظى llms.txt باهتمام كبير، وكثيراً ما يُقدَّم على أنه robots.txt الخاص بالذكاء الاصطناعي. لكنه شيء مختلف: robots.txt يحدد ما يجوز للزواحف جلبه، أما llms.txt فهو دليل قراءة يوجّه أدوات الذكاء الاصطناعي إلى المحتوى الجدير بالقراءة. إليك ما يقوله المقترح، وما يُعرف عن استخدامه، وكيف تكتب واحداً.
في هذه الصفحة
من أين جاء llms.txt؟
اقترح Jeremy Howard ملف /llms.txt في سبتمبر 2024، ويُشرف على المقترح موقع llmstxt.org. هدفه توحيد ملف واحد يساعد النماذج اللغوية والوكلاء على استخدام موقع ما وقت الاستدلال، مثلاً عندما يحتاج مساعد برمجي إلى وثائق مكتبة، لا لأغراض التدريب.
الفكرة تستجيب لمشكلة حقيقية. صفحات الويب تحمل قوائم تنقل وسكربتات ولافتات وتخطيطاً. وملف Markdown قصير ومنتقى يضم روابط إلى نسخ نظيفة من الصفحات الأساسية أسهل على النموذج داخل نافذة سياق محدودة.
ماذا يوضع في ملف llms.txt؟
الملف بصيغة Markdown بترتيب ثابت. العنصر الأول وحده هو الإلزامي:
- عنوان H1 باسم الموقع أو المشروع (إلزامي).
- اقتباس (blockquote) بملخص قصير عن الموقع.
- فقرات أو قوائم اختيارية بتفاصيل إضافية، دون عناوين.
- أقسام H2، يضم كل منها قائمة روابط Markdown بالشكل
[name](url)، يتبعها اختيارياً نقطتان وملاحظة. - قسم اختياري باسم
Optionalللروابط الثانوية التي يمكن للأداة تخطيها عندما تحتاج إلى سياق أقل.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)يقترح المقترح أيضاً توفير نسخ Markdown من الصفحات على العنوان نفسه مع إضافة .md، مثل page.html.md، لتجلب الأدوات نصاً نظيفاً.
من يقرأ llms.txt فعلاً اليوم؟
هنا يجدر الحذر. يقول موقع llmstxt.org إن الملفات تُستخدم بأكبر قدر في وثائق البرمجيات، حيث تتبعها وكلاء البرمجة. ولا تدرج OpenAI وAnthropic وGoogle وPerplexity الملف llms.txt بين الإشارات التي تستخدمها زواحف البحث لديها، في وثائق الزواحف التي راجعناها.
وتذهب Google أبعد من ذلك بالنسبة لميزات البحث لديها. ويقول إرشادها بشأن AI Overviews وAI Mode إنك لا تحتاج إلى إنشاء ملفات جديدة مقروءة آلياً أو ملفات نصية للذكاء الاصطناعي أو ترميز خاص لتظهر فيهما. وبالنسبة لبحث Google، ليس لـ llms.txt دور معلن.
فالجواب الصريح: بعض أدوات الذكاء الاصطناعي، ومعظمها مساعدات برمجة ووكلاء يُوجَّهون إلى موقع ما، قد تقرؤه. أما الزواحف التي تحدد ما إذا كان بحث الذكاء الاصطناعي يستشهد بصفحتك فتعمل انطلاقاً من HTML الخاص بك.
يمكنك أن تتحقق بنفسك مما إذا كان أحد يقرأ ملفك. ابحث في سجلات خادمك أو CDN عن طلبات إلى /llms.txt وانظر إلى وكلاء المستخدم. فإذا لم تظهر أي طلبات خلال أسابيع، فهذا يخبرك عن قيمته لموقعك أكثر من أي ادعاء عام.
هل أضيفه رغم ذلك؟
في معظم المواقع هو إضافة منخفضة التكلفة ومنخفضة اليقين. يستغرق دقائق، ولا يضر ظهورك في البحث، وقد يفيد الوكلاء الذين يبحثون عنه. وهو أنفع للوثائق وأدوات المطورين والمنتجات ذات المواد المرجعية الكثيرة.
أما ما لا يستطيعه فهو إصلاح مشكلات الوصول. إذا كان جدار الحماية يحظر زواحف الذكاء الاصطناعي، أو كان robots.txt يمنعها، أو كان محتواك لا يظهر إلا بعد تشغيل JavaScript، فلن يغير llms.txt شيئاً. أصلح هذه أولاً.
كيف أكتب llms.txt جيداً؟
- ضعه في
https://yourdomain.com/llms.txtوقدّمه كنص عادي بالحالة 200، لا كصفحة HTML. - اكتب الملخص كما تشرح الموقع لزميل جديد في جملتين: ما هو ولمن هو.
- اذكر الصفحات التي تجيب عن أسئلة حقيقية: المنتج والأسعار والوثائق والسياسات. وتجاوز صفحات الوسوم والأرشيف.
- استخدم عناوين URL مطلقة وأبقِ القائمة قصيرة بما يكفي لتبقى مفيدة؛ تكفي بضعة عشرات من الروابط لمعظم المواقع.
- أبقِه محدّثاً. ملف يشير إلى صفحات محذوفة أسوأ من عدمه.
- لا تستخدمه لإعلان الأذونات. قواعد الوصول مكانها robots.txt.
كيف يتعامل AISeeWhy مع llms.txt؟
يفحص AISeeWhy ما إذا كان لموقعك llms.txt وما إذا كانت الصفحة المدقَّقة مدرجة فيه. ولأن زواحف الذكاء الاصطناعي نادراً ما تقرؤه اليوم، فإن غيابه ملاحظة من الفئة P3، أي الأدنى أولوية، ويتضمن التقرير مسودة مبنية على عنوان صفحتك ووصفها وخريطة موقعك يمكنك تحريرها ونشرها.
الأسئلة الشائعة
هل llms.txt معيار رسمي؟
لا. هو مقترح مجتمعي منشور في llmstxt.org. وليس معياراً صادراً عن IETF أو W3C، ولا تلتزم أي جهة ذكاء اصطناعي بقراءته.
هل يمنع llms.txt تدريب الذكاء الاصطناعي؟
لا. هو قائمة روابط وليس مجموعة أذونات. وللانسحاب من التدريب استخدم رموز التدريب في robots.txt، مثل GPTBot أو ClaudeBot أو Google-Extended.
هل أحتاج إلى llms.txt لأظهر في Google AI Overviews؟
لا. تقول Google إنك لا تحتاج إلى ملفات نصية للذكاء الاصطناعي أو ترميز خاص لتظهر في AI Overviews أو AI Mode. يجب أن تكون الصفحة مفهرسة ومؤهلة لعرض مقتطف.
هل يمكن وضع llms.txt في مجلد فرعي؟
تسمح النسخة الحالية من المقترح بملف في مسار فرعي، مثل /docs/llms.txt، يغطي الصفحات تحت ذلك المسار. ومعظم المواقع لا تحتاج إلا إلى ملف واحد في الجذر.
المصادر
- llmstxt.org: ملف /llms.txt
- Google Search Central: ميزات الذكاء الاصطناعي وموقعك
- OpenAI: نظرة عامة على زواحف OpenAI