كم موقعًا ينشر ملف llms.txt؟ فحصنا 10,000 نطاق
من بين أشهر 10,000 نطاق، ينشر 12.4% ملف llms.txt (1,240 نطاقًا)، وترتفع النسبة إلى 16.7% بين النطاقات التي تردّ صفحتها الرئيسية بمحتوى HTML. وكلما كبر الموقع زاد احتمال نشره للملف. وتحجب المواقع التي تنشره زواحف بحث الذكاء الاصطناعي في 1.4% من الحالات، مقابل 15.0% للمواقع التي لا تنشره. هذا الإحصاء يقيس النشر فقط، ولا يبيّن ما إذا كان أي مساعد ذكاء اصطناعي يقرأ الملف.
يُعدّ llms.txt من أكثر الملفات التي يدور حولها الحديث في بحث الذكاء الاصطناعي، ومن أقلها قياسًا. سبق أن قرأنا ملف robots.txt لأشهر 10,000 نطاق، وفي الجولة نفسها طلبنا من كل نطاق الملف /llms.txt. وهذه هي النتائج.
في هذه الصفحة
كيف أجرينا الفحص؟
أخذنا أشهر 10,000 نطاق من قائمة Tranco (معرّف القائمة JZWZY)، وطلبنا /llms.txt مرة واحدة من كل نطاق في 21 نوفمبر 2026 باستخدام وكيل المستخدم الخاص بـ AISeeWhy، بعد قراءة الصفحة الرئيسية واتباع إعادة التوجيه إلى المضيف الرئيسي.
نعدّ النطاق ناشرًا لملف llms.txt عندما يردّ /llms.txt نفسه بالرمز 200 ومحتوى نصي غير فارغ ليس صفحة HTML، ومن دون إعادة توجيه إلى صفحة أخرى مثل صفحة تسجيل الدخول أو الصفحة الرئيسية. لم نفحص صيغة الملف في هذه الجولة.
ماذا وجدنا؟
- ينشر 1,240 نطاقًا من أصل 10,000 (12.4%) ملف
llms.txt. - تتضمن القائمة شبكات توصيل المحتوى ومضيفات واجهات API التي لا تخدم موقعًا إلكترونيًا. ومن بين 7,367 نطاقًا ردّت صفحتها الرئيسية بمحتوى HTML، ينشر 1,233 نطاقًا (16.7%) هذا الملف.
- تقريبًا جميعها تقدّم أيضًا ملف robots.txt: 1,229 من أصل 1,240.
هل تنشره المواقع الكبيرة أكثر؟
نعم، وبفارق واضح. قسّمنا المواقع (النطاقات التي ردّت صفحتها الرئيسية بمحتوى HTML) بحسب ترتيبها في Tranco:
- المراتب من 1 إلى 1,000: 22.6% تنشر ملف llms.txt (149 من 658 موقعًا).
- المراتب من 1,001 إلى 3,000: 18.2% (264 من 1,449).
- المراتب من 3,001 إلى 10,000: 15.6% (820 من 5,260).
من ينشر هذا الملف؟
من بين 6,192 نطاقًا تقدّم ملف robots.txt، تختلف النطاقات التي تنشر llms.txt عن بقية النطاقات:
- تحجب زاحف تدريب واحدًا على الأقل من زواحف الذكاء الاصطناعي بنسبة 11.8%، مقابل 26.0% للنطاقات التي ليس لديها llms.txt.
- تحجب زاحف بحث أو زاحف مستخدم واحدًا على الأقل من زواحف الذكاء الاصطناعي بنسبة 1.4%، مقابل 15.0%.
- تستخدم سطر
Content-Signalبنسبة 12.9%، مقابل 4.9%.
بعبارة أخرى، المواقع التي تهتم بنشر llms.txt هي في الغالب المواقع التي تسمح أصلًا لزواحف الذكاء الاصطناعي بالدخول.
ما الذي لا تُظهره هذه الأرقام؟
تُظهر الأرقام ارتباطًا، لا سببًا. فقد ينشر الموقع الذي يهتم بظهوره في الذكاء الاصطناعي ملف llms.txt ويُبقي robots.txt مفتوحًا أيضًا، وهذا لا يعني أن الملف هو الذي أحدث الفرق. كما أن الإحصاء يقيس النشر فقط، ولا يبيّن ما إذا كان أي مساعد ذكاء اصطناعي يقرأ الملف، وزواحف بحث الذكاء الاصطناعي الكبرى لا تذكر أنها تستخدمه.
تصف الأرقام قواعد الصفحة الرئيسية والملف الموجود على عنوان واحد في يوم واحد، لأشهر النطاقات. وقد تختلف صورة المواقع الأصغر.
هل ينبغي أن تنشر ملفًا؟
الأمر قليل التكلفة وغير ضار: ملخص قصير بصيغة Markdown عن موقعك وقائمة بأكثر صفحاتك فائدة. حافظ على دقته وعلى عمل روابطه. ولا تعتمده بديلًا عن السماح للزواحف بالدخول: فملف llms.txt على موقع يرفض جدارُه الناري الزاحف، أو يمنعه robots.txt، لا يفيد أحدًا.
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- فاحص ومدقق llms.txt
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الأسئلة الشائعة
ما نسبة المواقع التي لديها ملف llms.txt؟
من بين أشهر 10,000 نطاق فحصناها، ينشر 12.4% هذا الملف. وبين النطاقات التي تردّ صفحتها الرئيسية بمحتوى HTML تبلغ النسبة 16.7%، وهي أعلى لدى أكبر المواقع: 22.6% في أول 1,000.
هل تسمح المواقع التي لديها llms.txt لزواحف الذكاء الاصطناعي بنسبة أكبر؟
في بياناتنا نعم: فهي تحجب زواحف بحث الذكاء الاصطناعي وزواحف المستخدم في 1.4% من الحالات، مقابل 15.0% للمواقع التي ليس لديها الملف. وهذا ارتباط، ولا يثبت أن الملف يغيّر طريقة تعامل الزواحف مع الموقع.
هل يساعدني llms.txt على أن تستشهد بي مساعدات الذكاء الاصطناعي؟
لا تستطيع بياناتنا الإجابة. فهي تحصي المواقع التي تنشر الملف، لا ما إذا كان المساعد يستخدمه، كما أن زواحف بحث الذكاء الاصطناعي الكبرى لا تذكر أنها تقرأه. إتاحة الصفحات للزحف وفتح الوصول أهم من ذلك.
كيف أعرف أن الموقع لديه ملف llms.txt حقيقي؟
اطلب /llms.txt وتحقق من أنه يردّ بالرمز 200 على هذا العنوان نفسه، بمحتوى نصي ليس صفحة HTML. إعادة التوجيه إلى الصفحة الرئيسية أو إلى صفحة تسجيل الدخول لا تعني وجود ملف llms.txt.
المصادر
- llmstxt.org: ملف /llms.txt
- AISeeWhy: تقرير وصول زواحف الذكاء الاصطناعي، 2026-11
- Tranco: قائمة بحثية لأفضل المواقع
- Google Search Central: ميزات الذكاء الاصطناعي وموقعك
- OpenAI: نظرة عامة على زواحف OpenAI