Немає версії в Markdown для AI-агентів
На запит сторінки з Accept: text/markdown сервер надіслав HTML, а сама сторінка не посилається на копію в Markdown. Тоді ШІ-агенти читають увесь HTML разом із меню, футерами та скриптами. Версія в Markdown необов'язкова: це молода домовленість, тому знахідка має пріоритет P3.
Що це означає
На запит з Accept: text/markdown сторінка відповіла HTML і не посилається на копію в Markdown (<link rel="alternate" type="text/markdown">). Тоді агенти читають увесь HTML разом із меню та скриптами. Необов'язково: Markdown для агентів — молода домовленість, а не стандарт.
Чому це важливо для ШІ-пошуку
Агенти, що переглядають сайти на прохання користувача (і інструменти, які завантажують сторінки в контекст моделі), працюють із текстом, а не з версткою. Чиста версія сторінки в Markdown у рази менша за її HTML і зберігає важливі заголовки, списки й посилання. Деякі CDN і фреймворки вже відповідають на Accept: text/markdown такою версією, а llmstxt.org пропонує класти копію .md поруч із кожною сторінкою.
Без неї нічого не ламається: краулери й далі читають HTML. Це недороге покращення, коли знахідки щодо доступу, robots.txt і вмісту вже виправлено.
Як виправити
- Виберіть один спосіб віддавати Markdown: відповідати на
Accept: text/markdownза власним URL сторінки або публікувати копію, наприклад/guide/index.md. - Якщо сайт працює через CDN, увімкніть його конвертацію в Markdown для агентів, якщо вона є. У фреймворку додайте middleware, яке повертає версію в Markdown, коли заголовок
Acceptзапитуєtext/markdown. - Надсилайте
Content-Type: text/markdown; charset=utf-8, а якщо URL збігається з HTML-сторінкою, ще йVary: Accept. - Пошліться на копію з head сторінки тегом
<link rel="alternate" type="text/markdown">, щоб її знайшли й агенти, які не узгоджують формат. - Запустіть «Перевірити ще раз» у звіті сторінки, щоб підтвердити результат.
Приклад
<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">
# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept Як перевірити виправлення
Після зміни натисніть «Перевірити ще раз» у звіті: він покаже, що виправлено і як змінилася оцінка.