چند سایت llms.txt منتشر می‌کنند؟ 10٬000 دامنه را بررسی کردیم

تاریخ انتشار

پاسخ کوتاه

از 10٬000 دامنه پربازدید، 12٫4٪ llms.txt منتشر می‌کنند (1٬240 دامنه)، و در میان دامنه‌هایی که صفحه اصلی‌شان با HTML پاسخ می‌دهد 16٫7٪. سایت‌های بزرگ‌تر بیشتر منتشر می‌کنند. سایت‌هایی که آن را منتشر می‌کنند در 1٫4٪ موارد خزنده‌های جست‌وجوی هوش مصنوعی را مسدود می‌کنند، در برابر 15٫0٪ برای سایت‌هایی که منتشر نمی‌کنند. این آمار فقط انتشار فایل را می‌شمارد: نشان نمی‌دهد آیا دستیاری از هوش مصنوعی آن را می‌خواند.

llms.txt یکی از پربحث‌ترین فایل‌ها در جست‌وجوی هوش مصنوعی و یکی از کمتر اندازه‌گیری‌شده‌هاست. ما پیش‌تر robots.txt مربوط به 10٬000 دامنه برتر را خوانده بودیم و در همان مرحله از هر دامنه /llms.txt را هم درخواست کردیم. نتیجه این است.

در این صفحه
  1. چگونه بررسی کردیم؟
  2. چه یافتیم؟
  3. آیا سایت‌های بزرگ‌تر بیشتر منتشر می‌کنند؟
  4. چه کسانی آن را منتشر می‌کنند؟
  5. این داده‌ها چه چیزی را نشان نمی‌دهند؟
  6. آیا باید آن را منتشر کنید؟

چگونه بررسی کردیم؟

10٬000 دامنه برتر فهرست Tranco را برداشتیم (شناسه فهرست JZWZY) و در 21 نوامبر 2026 از هر کدام یک بار /llms.txt را درخواست کردیم، با user agent خود AISeeWhy، پس از خواندن صفحه اصلی و دنبال کردن ریدایرکت آن تا میزبان اصلی.

دامنه‌ای را دارای llms.txt می‌شماریم که خود /llms.txt با کد 200 پاسخ دهد، بدنه آن متن غیرخالی و غیر از صفحه HTML باشد و به صفحه دیگری مثل ورود یا صفحه اصلی ریدایرکت نشود. در این اجرا قالب فایل را بررسی نکردیم.

چه یافتیم؟

آیا سایت‌های بزرگ‌تر بیشتر منتشر می‌کنند؟

بله، با اختلاف روشن. وب‌سایت‌ها (دامنه‌هایی که صفحه اصلی‌شان با HTML پاسخ داد) را بر اساس رتبه Tranco تقسیم کردیم:

چه کسانی آن را منتشر می‌کنند؟

در میان 6٬192 دامنه‌ای که robots.txt ارائه می‌دهند، دامنه‌هایی که llms.txt منتشر می‌کنند با بقیه تفاوت دارند:

به بیان دیگر، سایت‌هایی که زحمت انتشار llms.txt را می‌کشند، بیشتر همان سایت‌هایی هستند که از قبل خزنده‌های هوش مصنوعی را راه می‌دهند.

این داده‌ها چه چیزی را نشان نمی‌دهند؟

این داده‌ها یک ارتباط را نشان می‌دهند، نه یک علت. سایتی که دیده شدن در هوش مصنوعی را جدی می‌گیرد ممکن است هم llms.txt منتشر کند و هم robots.txt را باز نگه دارد؛ این به معنای آن نیست که فایل تفاوت را ایجاد کرده است. شمارش ما همچنین فقط انتشار را می‌سنجد. نشان نمی‌دهد آیا دستیاری از هوش مصنوعی فایل را می‌خواند، و خزنده‌های اصلی جست‌وجوی هوش مصنوعی نمی‌گویند که از آن استفاده می‌کنند.

این اعداد قوانین صفحه اصلی و فایل موجود در یک نشانی را در یک روز برای پربازدیدترین دامنه‌ها توصیف می‌کنند. سایت‌های کوچک‌تر ممکن است متفاوت باشند.

آیا باید آن را منتشر کنید؟

هزینه‌اش کم است و ضرری ندارد: یک خلاصه کوتاه Markdown از سایت شما و فهرستی از مفیدترین صفحه‌ها. آن را دقیق نگه دارید و پیوندهایش را سالم. آن را جایگزین راه دادن خزنده‌ها ندانید: llms.txt در سایتی که فایروالش خزنده را رد می‌کند یا robots.txt آن را ممنوع کرده، به هیچ‌کس کمک نمی‌کند.

ابزارهای رایگان

قدم‌های بعدی

پرسش‌های متداول

چه سهمی از وب‌سایت‌ها llms.txt دارند؟

در میان 10٬000 دامنه پربازدیدی که بررسی کردیم، 12٫4٪ آن را منتشر می‌کنند. در میان دامنه‌هایی که صفحه اصلی‌شان با HTML پاسخ می‌دهد این سهم 16٫7٪ است، و برای بزرگ‌ترین سایت‌ها بیشتر است: 22٫6٪ در 1٬000 رتبه برتر.

آیا سایت‌های دارای llms.txt بیشتر به خزنده‌های هوش مصنوعی اجازه می‌دهند؟

در داده‌های ما بله: آن‌ها در 1٫4٪ موارد خزنده‌های جست‌وجو و کاربر هوش مصنوعی را مسدود می‌کنند، در برابر 15٫0٪ برای سایت‌های بدون آن. این یک همبستگی است. نشان نمی‌دهد که فایل رفتار خزنده‌ها با سایت را تغییر می‌دهد.

آیا llms.txt به ارجاع گرفتن از دستیارهای هوش مصنوعی کمک می‌کند؟

داده‌های ما نمی‌تواند این را بگوید. آن‌ها می‌شمارند کدام سایت‌ها فایل را منتشر می‌کنند، نه اینکه دستیاری از آن استفاده می‌کند یا نه، و خزنده‌های اصلی جست‌وجوی هوش مصنوعی نمی‌گویند که آن را می‌خوانند. صفحه‌های قابل خزش و دسترسی باز مهم‌ترند.

چگونه تشخیص می‌دهید سایتی llms.txt واقعی دارد؟

/llms.txt را درخواست کنید و بررسی کنید که در همان نشانی با کد 200 پاسخ می‌دهد و بدنه آن متنی است که صفحه HTML نیست. ریدایرکت به صفحه اصلی یا صفحه ورود، llms.txt نیست.

منابع

مقاله‌های دیگر