نسخه Markdown برای عاملهای هوش مصنوعی وجود ندارد
وقتی صفحه با Accept: text/markdown درخواست شد، سرور HTML فرستاد و صفحه به هیچ نسخه Markdown پیوند نمیدهد. در این حالت عاملهای هوش مصنوعی کل HTML را میخوانند، از جمله منوها، فوترها و اسکریپتها. ارائه نسخه Markdown اختیاری است: یک قرارداد نوپاست، پس این مورد P3 است.
یعنی چه
در پاسخ به درخواست با Accept: text/markdown صفحه HTML برگرداند و به هیچ نسخه Markdown پیوند نمیدهد (<link rel="alternate" type="text/markdown">). در این حالت عاملها کل HTML را میخوانند، از جمله منوها و اسکریپتها. اختیاری: Markdown برای عاملها یک قرارداد نوپاست، نه یک استاندارد.
چرا برای جستجوی هوش مصنوعی مهم است
عاملهایی که برای کاربر مرور میکنند (و ابزارهایی که صفحهها را در کانتکست مدل بارگذاری میکنند) با متن کار میکنند، نه با چیدمان. نسخه Markdown تمیز یک صفحه چند برابر کوچکتر از HTML آن است و عنوانها، فهرستها و پیوندهای مهم را نگه میدارد. برخی CDNها و فریمورکها همین حالا به Accept: text/markdown با چنین نسخهای پاسخ میدهند و llmstxt.org یک نسخه .md کنار هر صفحه پیشنهاد میکند.
بدون آن چیزی خراب نمیشود: خزندهها همچنان HTML را میخوانند. وقتی یافتههای دسترسی، robots.txt و محتوا را اصلاح کردید، این بهبودی کمهزینه است.
چطور آن را اصلاح کنید
- یک راه برای ارائه Markdown انتخاب کنید: در URL خود صفحه به
Accept: text/markdownپاسخ دهید، یا نسخهای مثل/guide/index.mdمنتشر کنید. - روی CDN، اگر تبدیل Markdown برای عاملها دارد آن را روشن کنید. در فریمورک، middleware اضافه کنید که وقتی هدر
Acceptمقدارtext/markdownرا میخواهد، نسخه Markdown را برگرداند. - هدر
Content-Type: text/markdown; charset=utf-8را بفرستید و وقتی URL همان URL صفحه HTML است،Vary: Acceptرا هم بفرستید. - از head صفحه HTML با
<link rel="alternate" type="text/markdown">به نسخه پیوند دهید تا عاملهایی که مذاکره محتوا نمیکنند هم آن را پیدا کنند. - در گزارش صفحه «بررسی دوباره» را اجرا کنید تا نتیجه را تأیید کنید.
نمونه
<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">
# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept چطور از رفع مشکل مطمئن شویم
پس از اعمال تغییر، در گزارش «بررسی دوباره» را بزنید: فهرست میکند چه چیزی رفع شده و امتیاز چطور تغییر کرده است.