AI エージェント向けの Markdown 版がありません
短い答え
Accept: text/markdown でページをリクエストしたところ、サーバーは HTML を返し、ページには Markdown 版へのリンクもありません。AI エージェントはメニュー、フッター、スクリプトを含む HTML 全体を読むことになります。Markdown 版の提供は任意です。新しい慣習なので、これは P3 です。
意味
Accept: text/markdown でリクエストしたところ、ページは HTML を返し、Markdown 版へのリンク (<link rel="alternate" type="text/markdown">) もありません。エージェントはメニューやスクリプトを含む HTML 全体を読むことになります。任意: エージェント向けの Markdown は新しい慣習で、標準ではありません。
AI 検索で重要な理由
ユーザーの代わりにブラウジングするエージェント (およびページをモデルのコンテキストに読み込むツール) が扱うのは、レイアウトではなくテキストです。ページのすっきりした Markdown 版は HTML の数分の一のサイズで、重要な見出し、リスト、リンクはそのまま残ります。一部の CDN やフレームワークはすでに Accept: text/markdown にこうした版で応答しており、llmstxt.org は各ページの隣に .md のコピーを置くことを提案しています。
なくても何も壊れません。クローラーは引き続き HTML を読みます。アクセス、robots.txt、コンテンツの指摘を直したあとなら、手軽にできる改善です。
修正方法
- Markdown の提供方法を 1 つ選びます。ページと同じ URL で
Accept: text/markdownに応答するか、/guide/index.mdのようなコピーを公開します。 - CDN を使っている場合、エージェント向けの Markdown 変換機能があればオンにします。フレームワークでは、
Acceptヘッダーがtext/markdownを求めたときに Markdown 版を返すミドルウェアを追加します。 Content-Type: text/markdown; charset=utf-8を送り、URL が HTML ページと同じ場合はVary: Acceptも送ります。- HTML の head から
<link rel="alternate" type="text/markdown">でコピーにリンクし、ネゴシエーションをしないエージェントにも見つけられるようにします。 - ページのレポートで「もう一度チェック」を実行して結果を確認してください。
例
<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">
# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept 修正の確認方法
変更後、レポートで「もう一度チェック」を押してください。修正されたものとスコアの変化が表示されます。