מהו llms.txt, והאם כדאי להוסיף אותו?
llms.txt הוא קובץ Markdown מוצע בכתובת /llms.txt שנותן לכלי AI סיכום קצר של האתר ורשימת קישורים לעמודים השימושיים ביותר שלו. זו הצעה של הקהילה ולא תקן, וסורקי החיפוש הגדולים של AI לא אומרים שהם משתמשים בו. קל להוסיף אותו, אבל הוא לא מחליף HTML שניתן לסרוק.
llms.txt זוכה להרבה תשומת לב, ולעיתים מציגים אותו כ-robots.txt של ה-AI. הוא משהו אחר: robots.txt קובע מה סורקים רשאים להביא, ואילו llms.txt הוא מדריך קריאה שמכוון כלי AI לתוכן ששווה לקרוא. הנה מה שההצעה אומרת, מה ידוע על השימוש בה, ואיך לכתוב אחד.
בעמוד זה
מאיפה llms.txt בא?
Jeremy Howard הציע את הקובץ /llms.txt בספטמבר 2024, וההצעה מתוחזקת באתר llmstxt.org. מטרתה לתקנן קובץ אחד שעוזר למודלי שפה ולסוכנים להשתמש באתר בזמן ההסקה, למשל כשעוזר קוד צריך את התיעוד של ספרייה, ולא לצורך אימון.
הרעיון עונה על בעיה אמיתית. עמודי אינטרנט נושאים ניווט, סקריפטים, באנרים ועיצוב. קובץ Markdown קצר ומובחר עם קישורים לגרסאות נקיות של העמודים המרכזיים קל יותר למודל לעבוד איתו בתוך חלון הקשר מוגבל.
מה נכנס לקובץ llms.txt?
הקובץ הוא Markdown בסדר קבוע. רק האלמנט הראשון הוא חובה:
- כותרת H1 עם שם האתר או הפרויקט (חובה).
- בלוק ציטוט עם סיכום קצר של מהו האתר.
- פסקאות או רשימות אופציונליות עם פרטים נוספים, בלי כותרות.
- מקטעי H2, בכל אחד רשימת קישורי Markdown בצורה
[name](url), ואפשר להוסיף אחריהם נקודתיים והערה. - מקטע אופציונלי בשם
Optionalלקישורים משניים שכלי יכול לדלג עליהם כשהוא צריך פחות הקשר.
# Example Co
> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.
## Product
- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD
## Help
- [Getting started](https://example.com/help/start): Setup in 10 minutes
## Optional
- [Changelog](https://example.com/changelog)
ההצעה מציעה גם להגיש גרסאות Markdown של עמודים באותה כתובת עם .md בסוף, למשל page.html.md, כדי שכלים יביאו טקסט נקי.
מי באמת קורא את llms.txt היום?
כאן כדאי להיזהר. האתר llmstxt.org אומר שהקבצים משמשים הכי הרבה לתיעוד תוכנה, שם סוכני קוד עוקבים אחריהם. OpenAI, Anthropic, Google ו-Perplexity לא מונות את llms.txt בין האותות שסורקי החיפוש שלהן משתמשים בהם, בתיעוד הסורקים שסקרנו.
Google הולכת רחוק יותר ביכולות החיפוש שלה. ההנחיות שלה על AI Overviews ו-AI Mode אומרות שאין צורך ליצור קבצים חדשים קריאי מכונה, קובצי טקסט ל-AI או סימון מיוחד כדי להופיע בהם. בחיפוש של Google אין ל-llms.txt תפקיד מוצהר.
אז התשובה הכנה: כמה כלי AI, בעיקר עוזרי קוד וסוכנים שמכוונים לאתר, אולי קוראים אותו. הסורקים שקובעים אם חיפוש AI מצטט את העמוד שלכם עובדים מתוך ה-HTML שלכם.
אפשר לבדוק בעצמכם אם מישהו קורא את הקובץ. חפשו בלוגים של השרת או של ה-CDN בקשות ל-/llms.txt והסתכלו על ה-user agents. אם לא מופיעות בקשות במשך כמה שבועות, זה אומר לכם על הערך שלו לאתר שלכם יותר מכל טענה כללית.
האם כדאי להוסיף אחד בכל זאת?
ברוב האתרים זו תוספת בעלות נמוכה ובוודאות נמוכה. היא לוקחת כמה דקות, לא תפגע בנראות בחיפוש, ואולי תעזור לסוכנים שמחפשים אותה. היא שימושית במיוחד לתיעוד, לכלי מפתחים ולמוצרים עם הרבה חומר עזר.
מה שהיא לא יכולה לעשות הוא לפתור בעיות גישה. אם חומת אש חוסמת סורקי AI, אם robots.txt חוסם אותם, או אם התוכן מופיע רק אחרי שהרצת JavaScript, llms.txt לא משנה כלום. תקנו קודם את אלה.
איך כותבים llms.txt טוב?
- שימו אותו ב-
https://yourdomain.com/llms.txtוהגישו אותו כטקסט רגיל עם סטטוס 200, לא כעמוד HTML. - כתבו את הסיכום כמו שהייתם מסבירים את האתר לעמית חדש בשני משפטים: מהו ולמי הוא מיועד.
- פרטו את העמודים שעונים על שאלות אמיתיות: מוצר, מחירים, תיעוד, מדיניות. דלגו על עמודי תגיות וארכיונים.
- השתמשו בכתובות URL מוחלטות והשאירו את הרשימה קצרה מספיק כדי להישאר שימושית; כמה עשרות קישורים מספיקות לרוב האתרים.
- שמרו עליו עדכני. קובץ שמפנה לעמודים שהוסרו גרוע מחוסר קובץ.
- אל תשתמשו בו כדי להצהיר על הרשאות. כללי גישה שייכים ל-robots.txt.
איך AISeeWhy מתייחס ל-llms.txt?
AISeeWhy בודק אם לאתר שלכם יש llms.txt ואם העמוד הנבדק מופיע בו. מכיוון שסורקי AI לא ממש קוראים אותו היום, היעדרו הוא ממצא P3, בעדיפות הנמוכה ביותר, והדוח כולל טיוטה שנבנית מכותרת העמוד, התיאור ומפת האתר שלכם, שאפשר לערוך ולפרסם.
שאלות נפוצות
האם llms.txt הוא תקן רשמי?
לא. זו הצעה של הקהילה שמפורסמת ב-llmstxt.org. אין זה תקן של IETF או W3C, ואף ספק AI אינו מחויב לקרוא אותו.
האם llms.txt חוסם אימון AI?
לא. זו רשימת קישורים, לא מערך הרשאות. כדי לצאת מאימון, משתמשים בטוקני האימון ב-robots.txt, כמו GPTBot, ClaudeBot או Google-Extended.
האם אני צריך llms.txt כדי להופיע ב-Google AI Overviews?
לא. Google אומרת שאין צורך בקובצי טקסט ל-AI או בסימון מיוחד כדי להופיע ב-AI Overviews או ב-AI Mode. העמוד צריך להיות מאונדקס וזכאי להצגת קטע.
האם llms.txt יכול להיות בתיקיית משנה?
הגרסה הנוכחית של ההצעה מאפשרת קובץ בנתיב משנה, כמו /docs/llms.txt, שמכסה את העמודים תחת אותו נתיב. רוב האתרים צריכים רק קובץ אחד בשורש.
מקורות
- llmstxt.org: הקובץ /llms.txt
- Google Search Central: יכולות AI והאתר שלכם
- OpenAI: סקירת הסורקים של OpenAI