Нет версии в Markdown для AI-агентов

Короткий ответ

На запрос страницы с Accept: text/markdown сервер прислал HTML, а сама страница не ссылается на копию в Markdown. Тогда AI-агенты читают весь HTML вместе с меню, подвалами и скриптами. Версия в Markdown необязательна: это молодое соглашение, поэтому находка относится к P3.

agent.no_markdown · Приоритет: P3

Что это значит

На запрос с Accept: text/markdown страница ответила HTML и не ссылается на копию в Markdown (<link rel="alternate" type="text/markdown">). Тогда агенты читают весь HTML вместе с меню и скриптами. Необязательно: Markdown для агентов — молодое соглашение, а не стандарт.

Почему это важно для AI-поиска

Агенты, которые просматривают сайты по поручению пользователя (и инструменты, загружающие страницы в контекст модели), работают с текстом, а не с вёрсткой. Чистая версия страницы в Markdown в разы меньше её HTML и сохраняет важные заголовки, списки и ссылки. Некоторые CDN и фреймворки уже отвечают на Accept: text/markdown такой версией, а llmstxt.org предлагает класть копию .md рядом с каждой страницей.

Без неё ничего не ломается: краулеры по-прежнему читают HTML. Это недорогое улучшение, когда находки по доступу, robots.txt и контенту уже исправлены.

Как исправить

  1. Выберите один способ отдавать Markdown: отвечать на Accept: text/markdown по собственному URL страницы или публиковать копию, например /guide/index.md.
  2. Если сайт работает через CDN, включите его конвертацию в Markdown для агентов, если она есть. Во фреймворке добавьте middleware, которое возвращает версию в Markdown, когда заголовок Accept запрашивает text/markdown.
  3. Отправляйте Content-Type: text/markdown; charset=utf-8, а если URL совпадает с HTML-страницей, ещё и Vary: Accept.
  4. Сошлитесь на копию из head страницы тегом <link rel="alternate" type="text/markdown">, чтобы её нашли и агенты, которые не согласуют формат.
  5. Нажмите «Проверить снова» в отчёте по странице, чтобы подтвердить результат.

Пример

<!-- in <head>: where agents find the Markdown version -->
<link rel="alternate" type="text/markdown" href="/guide/index.md">

# the Markdown answer
Content-Type: text/markdown; charset=utf-8
Vary: Accept

Как проверить исправление

После изменения нажмите «Проверить ещё раз» в отчёте: он покажет, что исправлено и как изменилась оценка.

Проверить мою страницу →

Связанные руководства

Все находки и как считается оценка