كم موقعًا ينشر ملف llms.txt؟ فحصنا 10,000 نطاق

تاريخ النشر

الإجابة المختصرة

من بين أشهر 10,000 نطاق، ينشر 12.4% ملف llms.txt (1,240 نطاقًا)، وترتفع النسبة إلى 16.7% بين النطاقات التي تردّ صفحتها الرئيسية بمحتوى HTML. وكلما كبر الموقع زاد احتمال نشره للملف. وتحجب المواقع التي تنشره زواحف بحث الذكاء الاصطناعي في 1.4% من الحالات، مقابل 15.0% للمواقع التي لا تنشره. هذا الإحصاء يقيس النشر فقط، ولا يبيّن ما إذا كان أي مساعد ذكاء اصطناعي يقرأ الملف.

يُعدّ llms.txt من أكثر الملفات التي يدور حولها الحديث في بحث الذكاء الاصطناعي، ومن أقلها قياسًا. سبق أن قرأنا ملف robots.txt لأشهر 10,000 نطاق، وفي الجولة نفسها طلبنا من كل نطاق الملف /llms.txt. وهذه هي النتائج.

في هذه الصفحة
  1. كيف أجرينا الفحص؟
  2. ماذا وجدنا؟
  3. هل تنشره المواقع الكبيرة أكثر؟
  4. من ينشر هذا الملف؟
  5. ما الذي لا تُظهره هذه الأرقام؟
  6. هل ينبغي أن تنشر ملفًا؟

كيف أجرينا الفحص؟

أخذنا أشهر 10,000 نطاق من قائمة Tranco (معرّف القائمة JZWZY)، وطلبنا /llms.txt مرة واحدة من كل نطاق في 21 نوفمبر 2026 باستخدام وكيل المستخدم الخاص بـ AISeeWhy، بعد قراءة الصفحة الرئيسية واتباع إعادة التوجيه إلى المضيف الرئيسي.

نعدّ النطاق ناشرًا لملف llms.txt عندما يردّ /llms.txt نفسه بالرمز 200 ومحتوى نصي غير فارغ ليس صفحة HTML، ومن دون إعادة توجيه إلى صفحة أخرى مثل صفحة تسجيل الدخول أو الصفحة الرئيسية. لم نفحص صيغة الملف في هذه الجولة.

ماذا وجدنا؟

هل تنشره المواقع الكبيرة أكثر؟

نعم، وبفارق واضح. قسّمنا المواقع (النطاقات التي ردّت صفحتها الرئيسية بمحتوى HTML) بحسب ترتيبها في Tranco:

من ينشر هذا الملف؟

من بين 6,192 نطاقًا تقدّم ملف robots.txt، تختلف النطاقات التي تنشر llms.txt عن بقية النطاقات:

بعبارة أخرى، المواقع التي تهتم بنشر llms.txt هي في الغالب المواقع التي تسمح أصلًا لزواحف الذكاء الاصطناعي بالدخول.

ما الذي لا تُظهره هذه الأرقام؟

تُظهر الأرقام ارتباطًا، لا سببًا. فقد ينشر الموقع الذي يهتم بظهوره في الذكاء الاصطناعي ملف llms.txt ويُبقي robots.txt مفتوحًا أيضًا، وهذا لا يعني أن الملف هو الذي أحدث الفرق. كما أن الإحصاء يقيس النشر فقط، ولا يبيّن ما إذا كان أي مساعد ذكاء اصطناعي يقرأ الملف، وزواحف بحث الذكاء الاصطناعي الكبرى لا تذكر أنها تستخدمه.

تصف الأرقام قواعد الصفحة الرئيسية والملف الموجود على عنوان واحد في يوم واحد، لأشهر النطاقات. وقد تختلف صورة المواقع الأصغر.

هل ينبغي أن تنشر ملفًا؟

الأمر قليل التكلفة وغير ضار: ملخص قصير بصيغة Markdown عن موقعك وقائمة بأكثر صفحاتك فائدة. حافظ على دقته وعلى عمل روابطه. ولا تعتمده بديلًا عن السماح للزواحف بالدخول: فملف llms.txt على موقع يرفض جدارُه الناري الزاحف، أو يمنعه robots.txt، لا يفيد أحدًا.

أدوات مجانية

الخطوات التالية

الأسئلة الشائعة

ما نسبة المواقع التي لديها ملف llms.txt؟

من بين أشهر 10,000 نطاق فحصناها، ينشر 12.4% هذا الملف. وبين النطاقات التي تردّ صفحتها الرئيسية بمحتوى HTML تبلغ النسبة 16.7%، وهي أعلى لدى أكبر المواقع: 22.6% في أول 1,000.

هل تسمح المواقع التي لديها llms.txt لزواحف الذكاء الاصطناعي بنسبة أكبر؟

في بياناتنا نعم: فهي تحجب زواحف بحث الذكاء الاصطناعي وزواحف المستخدم في 1.4% من الحالات، مقابل 15.0% للمواقع التي ليس لديها الملف. وهذا ارتباط، ولا يثبت أن الملف يغيّر طريقة تعامل الزواحف مع الموقع.

هل يساعدني llms.txt على أن تستشهد بي مساعدات الذكاء الاصطناعي؟

لا تستطيع بياناتنا الإجابة. فهي تحصي المواقع التي تنشر الملف، لا ما إذا كان المساعد يستخدمه، كما أن زواحف بحث الذكاء الاصطناعي الكبرى لا تذكر أنها تقرأه. إتاحة الصفحات للزحف وفتح الوصول أهم من ذلك.

كيف أعرف أن الموقع لديه ملف llms.txt حقيقي؟

اطلب /llms.txt وتحقق من أنه يردّ بالرمز 200 على هذا العنوان نفسه، بمحتوى نصي ليس صفحة HTML. إعادة التوجيه إلى الصفحة الرئيسية أو إلى صفحة تسجيل الدخول لا تعني وجود ملف llms.txt.

المصادر

مقالات أخرى