כמה אתרים מפרסמים llms.txt? בדקנו 10,000 דומיינים
מבין 10,000 הדומיינים הפופולריים ביותר, 12.4% מפרסמים llms.txt (1,240), ו-16.7% מאלה שדף הבית שלהם עונה ב-HTML. אתרים גדולים מפרסמים יותר. אתרים שמפרסמים אותו חוסמים סורקי חיפוש של AI ב-1.4% מהמקרים, לעומת 15.0% באתרים שלא. זה סופר רק פרסום: זה לא מראה אם עוזר AI כלשהו קורא את הקובץ.
llms.txt הוא אחד הקבצים שמדברים עליהם הכי הרבה בחיפוש מבוסס AI, ואחד המדודים הכי פחות. כבר קראנו את robots.txt של 10,000 הדומיינים הראשונים, ובאותה ריצה ביקשנו מכל אחד גם את /llms.txt. הנה מה שחזר.
בעמוד זה
איך בדקנו?
לקחנו את 10,000 הדומיינים הראשונים ברשימת Tranco (מזהה הרשימה JZWZY) וביקשנו מכל אחד את /llms.txt פעם אחת ב-21 בנובמבר 2026, בתור ה-user agent של AISeeWhy, אחרי שקראנו את דף הבית ועקבנו אחרי ההפניה שלו לשרת הראשי.
דומיין נחשב כמפרסם llms.txt כאשר /llms.txt עצמו עונה ב-200, עם גוף טקסט לא ריק שאינו דף HTML, וללא הפניה לדף אחר כמו דף התחברות או דף הבית. בהרצה הזו לא בדקנו את פורמט הקובץ.
מה מצאנו?
- 1,240 מתוך 10,000 הדומיינים (12.4%) מפרסמים
llms.txt. - הרשימה כוללת CDN ושרתי API שאינם מגישים אתר. מבין 7,367 הדומיינים שדף הבית שלהם ענה ב-HTML, 1,233 (16.7%) מפרסמים אחד.
- כמעט כולם מגישים גם robots.txt: 1,229 מתוך 1,240.
האם אתרים גדולים מפרסמים יותר?
כן, בפער ברור. חילקנו את האתרים (דומיינים שדף הבית שלהם ענה ב-HTML) לפי דירוג Tranco:
- דירוגים 1 עד 1,000: 22.6% מפרסמים llms.txt (149 מתוך 658 אתרים).
- דירוגים 1,001 עד 3,000: 18.2% (264 מתוך 1,449).
- דירוגים 3,001 עד 10,000: 15.6% (820 מתוך 5,260).
מי מפרסם אותו?
מבין 6,192 הדומיינים שמגישים robots.txt, אלה שמפרסמים llms.txt נראים שונים משאר הדומיינים:
- הם חוסמים לפחות סורק אימון אחד של AI ב-11.8% מהמקרים, לעומת 26.0% בדומיינים ללא llms.txt.
- הם חוסמים לפחות סורק חיפוש או סורק משתמש אחד של AI ב-1.4% מהמקרים, לעומת 15.0%.
- הם משתמשים בשורת
Content-Signalב-12.9% מהמקרים, לעומת 4.9%.
במילים אחרות, האתרים שטורחים לפרסם llms.txt הם ברובם האתרים שכבר מכניסים סורקי AI.
מה זה לא מראה?
זה מראה קשר, לא סיבה. אתר שמתייחס ברצינות לנראות ב-AI עשוי לפרסם llms.txt וגם להשאיר את robots.txt פתוח, וזה לא אומר שהקובץ יצר את ההבדל. הספירה גם מודדת רק פרסום. היא לא מראה אם עוזר AI כלשהו קורא את הקובץ, וסורקי החיפוש הגדולים של AI לא אומרים שהם משתמשים בו.
המספרים מתארים את כללי דף הבית ואת הקובץ בכתובת אחת ביום אחד, עבור הדומיינים הפופולריים ביותר. אתרים קטנים יותר עשויים להיראות אחרת.
האם כדאי לפרסם אחד?
זה זול ולא מזיק: סיכום קצר בפורמט Markdown של האתר שלכם ורשימה של הדפים השימושיים ביותר. שמרו עליו מדויק ושמרו שהקישורים בו תקינים. אל תראו בו תחליף להכנסת הסורקים: llms.txt באתר שחומת האש שלו מסרבת לסורק, או ש-robots.txt שלו אוסר עליו, לא עוזר לאיש.
הצעדים הבאים
שאלות נפוצות
איזה שיעור מהאתרים מחזיקים llms.txt?
מבין 10,000 הדומיינים הפופולריים ביותר שבדקנו, 12.4% מפרסמים אחד. בדומיינים שדף הבית שלהם עונה ב-HTML השיעור הוא 16.7%, והוא גבוה יותר באתרים הגדולים ביותר: 22.6% ב-1,000 הראשונים.
האם אתרים עם llms.txt מתירים סורקי AI לעיתים קרובות יותר?
בנתונים שלנו, כן: הם חוסמים סורקי חיפוש ומשתמש של AI ב-1.4% מהמקרים לעומת 15.0% באתרים בלעדיו. זו מתאם בלבד. זה לא מראה שהקובץ משנה את האופן שבו סורקים מתייחסים לאתר.
האם llms.txt עוזר לי להיות מצוטט בעוזרי AI?
הנתונים שלנו לא יכולים לומר. הם סופרים אילו אתרים מפרסמים את הקובץ, לא אם עוזר משתמש בו, וסורקי החיפוש הגדולים של AI לא מציינים שהם קוראים אותו. דפים שאפשר לסרוק וגישה פתוחה חשובים יותר.
איך אפשר לדעת אם לאתר יש llms.txt אמיתי?
בקשו את /llms.txt ובדקו שהוא עונה ב-200 באותה כתובת, עם גוף טקסט שאינו דף HTML. הפניה לדף הבית או לדף התחברות אינה llms.txt.
מקורות
- llmstxt.org: The /llms.txt file
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers