چند سایت llms.txt منتشر میکنند؟ 10٬000 دامنه را بررسی کردیم
از 10٬000 دامنه پربازدید، 12٫4٪ llms.txt منتشر میکنند (1٬240 دامنه)، و در میان دامنههایی که صفحه اصلیشان با HTML پاسخ میدهد 16٫7٪. سایتهای بزرگتر بیشتر منتشر میکنند. سایتهایی که آن را منتشر میکنند در 1٫4٪ موارد خزندههای جستوجوی هوش مصنوعی را مسدود میکنند، در برابر 15٫0٪ برای سایتهایی که منتشر نمیکنند. این آمار فقط انتشار فایل را میشمارد: نشان نمیدهد آیا دستیاری از هوش مصنوعی آن را میخواند.
llms.txt یکی از پربحثترین فایلها در جستوجوی هوش مصنوعی و یکی از کمتر اندازهگیریشدههاست. ما پیشتر robots.txt مربوط به 10٬000 دامنه برتر را خوانده بودیم و در همان مرحله از هر دامنه /llms.txt را هم درخواست کردیم. نتیجه این است.
در این صفحه
چگونه بررسی کردیم؟
10٬000 دامنه برتر فهرست Tranco را برداشتیم (شناسه فهرست JZWZY) و در 21 نوامبر 2026 از هر کدام یک بار /llms.txt را درخواست کردیم، با user agent خود AISeeWhy، پس از خواندن صفحه اصلی و دنبال کردن ریدایرکت آن تا میزبان اصلی.
دامنهای را دارای llms.txt میشماریم که خود /llms.txt با کد 200 پاسخ دهد، بدنه آن متن غیرخالی و غیر از صفحه HTML باشد و به صفحه دیگری مثل ورود یا صفحه اصلی ریدایرکت نشود. در این اجرا قالب فایل را بررسی نکردیم.
چه یافتیم؟
- 1٬240 دامنه از 10٬000 دامنه (12٫4٪) فایل
llms.txtمنتشر میکنند. - این فهرست شامل CDNها و میزبانهای API است که وبسایتی ارائه نمیدهند. از 7٬367 دامنهای که صفحه اصلیشان با HTML پاسخ داد، 1٬233 دامنه (16٫7٪) آن را منتشر میکنند.
- تقریباً همه آنها robots.txt هم دارند: 1٬229 دامنه از 1٬240.
آیا سایتهای بزرگتر بیشتر منتشر میکنند؟
بله، با اختلاف روشن. وبسایتها (دامنههایی که صفحه اصلیشان با HTML پاسخ داد) را بر اساس رتبه Tranco تقسیم کردیم:
- رتبههای 1 تا 1٬000: 22٫6٪ فایل llms.txt منتشر میکنند (149 از 658 وبسایت).
- رتبههای 1٬001 تا 3٬000: 18٫2٪ (264 از 1٬449).
- رتبههای 3٬001 تا 10٬000: 15٫6٪ (820 از 5٬260).
چه کسانی آن را منتشر میکنند؟
در میان 6٬192 دامنهای که robots.txt ارائه میدهند، دامنههایی که llms.txt منتشر میکنند با بقیه تفاوت دارند:
- آنها در 11٫8٪ موارد دستکم یک خزنده آموزشی هوش مصنوعی را مسدود میکنند، در برابر 26٫0٪ برای دامنههای بدون llms.txt.
- در 1٫4٪ موارد دستکم یک خزنده جستوجو یا کاربر هوش مصنوعی را مسدود میکنند، در برابر 15٫0٪.
- در 12٫9٪ موارد از خط
Content-Signalاستفاده میکنند، در برابر 4٫9٪.
به بیان دیگر، سایتهایی که زحمت انتشار llms.txt را میکشند، بیشتر همان سایتهایی هستند که از قبل خزندههای هوش مصنوعی را راه میدهند.
این دادهها چه چیزی را نشان نمیدهند؟
این دادهها یک ارتباط را نشان میدهند، نه یک علت. سایتی که دیده شدن در هوش مصنوعی را جدی میگیرد ممکن است هم llms.txt منتشر کند و هم robots.txt را باز نگه دارد؛ این به معنای آن نیست که فایل تفاوت را ایجاد کرده است. شمارش ما همچنین فقط انتشار را میسنجد. نشان نمیدهد آیا دستیاری از هوش مصنوعی فایل را میخواند، و خزندههای اصلی جستوجوی هوش مصنوعی نمیگویند که از آن استفاده میکنند.
این اعداد قوانین صفحه اصلی و فایل موجود در یک نشانی را در یک روز برای پربازدیدترین دامنهها توصیف میکنند. سایتهای کوچکتر ممکن است متفاوت باشند.
آیا باید آن را منتشر کنید؟
هزینهاش کم است و ضرری ندارد: یک خلاصه کوتاه Markdown از سایت شما و فهرستی از مفیدترین صفحهها. آن را دقیق نگه دارید و پیوندهایش را سالم. آن را جایگزین راه دادن خزندهها ندانید: llms.txt در سایتی که فایروالش خزنده را رد میکند یا robots.txt آن را ممنوع کرده، به هیچکس کمک نمیکند.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسیکننده و اعتبارسنج llms.txt
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
پرسشهای متداول
چه سهمی از وبسایتها llms.txt دارند؟
در میان 10٬000 دامنه پربازدیدی که بررسی کردیم، 12٫4٪ آن را منتشر میکنند. در میان دامنههایی که صفحه اصلیشان با HTML پاسخ میدهد این سهم 16٫7٪ است، و برای بزرگترین سایتها بیشتر است: 22٫6٪ در 1٬000 رتبه برتر.
آیا سایتهای دارای llms.txt بیشتر به خزندههای هوش مصنوعی اجازه میدهند؟
در دادههای ما بله: آنها در 1٫4٪ موارد خزندههای جستوجو و کاربر هوش مصنوعی را مسدود میکنند، در برابر 15٫0٪ برای سایتهای بدون آن. این یک همبستگی است. نشان نمیدهد که فایل رفتار خزندهها با سایت را تغییر میدهد.
آیا llms.txt به ارجاع گرفتن از دستیارهای هوش مصنوعی کمک میکند؟
دادههای ما نمیتواند این را بگوید. آنها میشمارند کدام سایتها فایل را منتشر میکنند، نه اینکه دستیاری از آن استفاده میکند یا نه، و خزندههای اصلی جستوجوی هوش مصنوعی نمیگویند که آن را میخوانند. صفحههای قابل خزش و دسترسی باز مهمترند.
چگونه تشخیص میدهید سایتی llms.txt واقعی دارد؟
/llms.txt را درخواست کنید و بررسی کنید که در همان نشانی با کد 200 پاسخ میدهد و بدنه آن متنی است که صفحه HTML نیست. ریدایرکت به صفحه اصلی یا صفحه ورود، llms.txt نیست.
منابع
- llmstxt.org: فایل /llms.txt
- AISeeWhy: گزارش دسترسی خزندههای هوش مصنوعی، 2026-11
- Tranco: رتبهبندی سایتهای برتر برای پژوهش
- Google Search Central: قابلیتهای هوش مصنوعی و وبسایت شما
- OpenAI: مروری بر خزندههای OpenAI