אין גרסת Markdown לסוכני AI
כשביקשו את העמוד עם Accept: text/markdown, השרת שלח HTML, והעמוד לא מקשר לשום עותק Markdown. סוכני AI קוראים אז את כל ה-HTML, כולל תפריטים, כותרות תחתונות וסקריפטים. הגשת גרסת Markdown היא אופציונלית: זו מוסכמה צעירה, ולכן זה P3.
מה זה אומר
בבקשה עם Accept: text/markdown העמוד החזיר HTML, והוא לא מקשר לשום עותק Markdown (<link rel="alternate" type="text/markdown">). סוכנים קוראים אז את כל ה-HTML, כולל תפריטים וסקריפטים. אופציונלי: Markdown לסוכנים הוא מוסכמה צעירה, לא תקן.
למה זה חשוב לחיפוש AI
סוכנים שגולשים בשביל משתמש (וכלים שטוענים עמודים להקשר של מודל) עובדים עם טקסט, לא עם עימוד. גרסת Markdown נקייה של עמוד קטנה פי כמה מה-HTML שלו ושומרת על הכותרות, הרשימות והקישורים שחשובים. חלק מרשתות ה-CDN והפריימוורקים כבר עונים ל-Accept: text/markdown בגרסה כזו, ו-llmstxt.org מציע עותק .md ליד כל עמוד.
שום דבר לא נשבר בלי זה: סורקים עדיין קוראים את ה-HTML. זה שיפור זול אחרי שתיקנתם את הממצאים על גישה, robots.txt ותוכן.
איך מתקנים
- בחרו דרך אחת להגיש Markdown: לענות ל-
Accept: text/markdownבכתובת של העמוד עצמו, או לפרסם עותק כמו/guide/index.md. - ב-CDN, הפעילו את המרת ה-Markdown לסוכנים אם יש לו כזו. בפריימוורק, הוסיפו middleware שמחזיר את גרסת ה-Markdown כשכותרת
Acceptמבקשתtext/markdown. - שלחו
Content-Type: text/markdown; charset=utf-8, וכשהכתובת זהה לזו של עמוד ה-HTML, גםVary: Accept. - קשרו את העותק מה-head של ה-HTML עם
<link rel="alternate" type="text/markdown">, כדי שגם סוכנים שלא מנהלים משא ומתן על הפורמט ימצאו אותו. - הריצו "בדיקה חוזרת" בדוח העמוד כדי לאשר את התוצאה.
דוגמה
<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">
# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept איך לוודא את התיקון
אחרי השינוי, לחצו על "בדיקה חוזרת" בדוח: הוא יפרט מה תוקן ואיך הציון השתנה.