Нет версии в Markdown для AI-агентов
На запрос страницы с Accept: text/markdown сервер прислал HTML, а сама страница не ссылается на копию в Markdown. Тогда AI-агенты читают весь HTML вместе с меню, подвалами и скриптами. Версия в Markdown необязательна: это молодое соглашение, поэтому находка относится к P3.
Что это значит
На запрос с Accept: text/markdown страница ответила HTML и не ссылается на копию в Markdown (<link rel="alternate" type="text/markdown">). Тогда агенты читают весь HTML вместе с меню и скриптами. Необязательно: Markdown для агентов — молодое соглашение, а не стандарт.
Почему это важно для AI-поиска
Агенты, которые просматривают сайты по поручению пользователя (и инструменты, загружающие страницы в контекст модели), работают с текстом, а не с вёрсткой. Чистая версия страницы в Markdown в разы меньше её HTML и сохраняет важные заголовки, списки и ссылки. Некоторые CDN и фреймворки уже отвечают на Accept: text/markdown такой версией, а llmstxt.org предлагает класть копию .md рядом с каждой страницей.
Без неё ничего не ломается: краулеры по-прежнему читают HTML. Это недорогое улучшение, когда находки по доступу, robots.txt и контенту уже исправлены.
Как исправить
- Выберите один способ отдавать Markdown: отвечать на
Accept: text/markdownпо собственному URL страницы или публиковать копию, например/guide/index.md. - Если сайт работает через CDN, включите его конвертацию в Markdown для агентов, если она есть. Во фреймворке добавьте middleware, которое возвращает версию в Markdown, когда заголовок
Acceptзапрашиваетtext/markdown. - Отправляйте
Content-Type: text/markdown; charset=utf-8, а если URL совпадает с HTML-страницей, ещё иVary: Accept. - Сошлитесь на копию из head страницы тегом
<link rel="alternate" type="text/markdown">, чтобы её нашли и агенты, которые не согласуют формат. - Нажмите «Проверить снова» в отчёте по странице, чтобы подтвердить результат.
Пример
<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">
# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept Как проверить исправление
После изменения нажмите «Проверить ещё раз» в отчёте: он покажет, что исправлено и как изменилась оценка.