12 AEO-проверок перед публикацией страницы (2027)

Опубликовано

Короткий ответ

Перед публикацией убедитесь, что URL отвечает 200 без редиректов, robots.txt разрешает каждый поисковый AI-краулер, файрвол отдаёт им настоящую страницу, а ответ есть в сыром HTML. Затем проверьте, нет ли лишнего noindex или nosnippet, есть ли один canonical, ответ под H1, валидный и совпадающий JSON-LD, согласованные даты, запись в sitemap с внутренними ссылками и hreflang, и запросите индексацию.

Большинство страниц, которые так и не появляются в AI-ответах, спотыкаются о скучные мелочи: забытый noindex, правило файрвола, canonical, указывающий на стейджинг. Эти двенадцать проверок ловят такие ошибки до запуска. Каждая занимает несколько минут, для большинства хватит терминала и URL страницы, и идут они в том порядке, в котором с ними сталкивается краулер.

На этой странице
  1. Сколько времени занимает каждая проверка?
  2. 1. URL отвечает 200 без цепочки редиректов
  3. 2. robots.txt разрешает страницу каждому поисковому AI-краулеру
  4. 3. Файрвол отдаёт AI-краулерам настоящую страницу
  5. 4. Ответ есть в сыром HTML
  6. 5. Не осталось noindex или nosnippet
  7. 6. Один canonical, абсолютный и указывающий на саму страницу
  8. 7. Title и H1 называют, на что отвечает страница, а ответ идёт сразу под ними
  9. 8. JSON-LD разбирается без ошибок и совпадает с видимым текстом
  10. 9. Видимая дата, даты в разметке и lastmod в sitemap совпадают
  11. 10. Страница есть в sitemap, и на неё ссылаются связанные страницы
  12. 11. hreflang взаимный и с x-default
  13. 12. Попросите поисковики просканировать новую страницу
  14. Как мы выбирали эти проверки

Сколько времени занимает каждая проверка?

Ориентир для одной страницы и нужный инструмент. Проверки 1–5 делайте для каждой страницы, остальные один раз на шаблон, а потом выборочно.

1. URL отвечает 200 без цепочки редиректов

Краулер должен получать саму страницу со статусом 200 по точному URL, которым вы будете делиться и который укажете в sitemap. Каждый редирект это ещё один шаг, который может сломаться, а страница, отвечающая 200 с сообщением «не найдено», это soft 404, который поисковики могут выкинуть из индекса.

# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/

Проверка пройдена: 200 redirects=0 и тот же URL в ответе. Как исправить: ставьте ссылки на конечный URL и указывайте его в sitemap, а со старых адресов оставляйте не больше одного редиректа.

2. robots.txt разрешает страницу каждому поисковому AI-краулеру

Читайте robots.txt так, как его прочитает каждый краулер. Группа, в которой назван краулер, заменяет для него группу User-agent: *, а по RFC 9309 побеждает самое длинное совпавшее правило, при равенстве побеждает Allow.

Проверьте как минимум OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot и Googlebot. Новый раздел вроде /guides/ может попасть под старое правило Disallow: /g, потому что правила совпадают по префиксу пути. Убедитесь также, что сам robots.txt отвечает 200 или 404: по RFC 9309 при ошибке сервера краулеры должны считать весь сайт закрытым.

Проверка пройдена: ни одно правило для этих токенов не запрещает путь. Наше руководство о тестировании robots.txt показывает, как проверить один URL для одного краулера.

3. Файрвол отдаёт AI-краулерам настоящую страницу

Запросите страницу с user agent браузера и с user agent краулеров, затем сравните статус и размер. Защита от ботов, которая срабатывает на имя, может отдавать только краулерам 403, 429 или страницу-проверку.

URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Проверка пройдена: в каждой строке 200 и похожий размер. Намного меньший размер обычно означает страницу-проверку. Эти строки проверяют правила, срабатывающие на имя; настоящие краулеры к тому же приходят с опубликованных диапазонов IP, а тест с вашего компьютера этого не воспроизведёт, поэтому проверьте и разрешающие правила файрвола для этих диапазонов.

4. Ответ есть в сыром HTML

Найдите в HTML, который отдаёт сервер, предложение из своего ответа. Инспектор элементов в браузере показывает страницу после выполнения скриптов, а это не то, что получают большинство краулеров.

curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer"

Проверка пройдена: 1 или больше. 0 означает, что текст добавляет JavaScript, а OpenAI, Anthropic и Perplexity не документируют, что их краулеры его выполняют. Рендерьте страницу на сервере или во время сборки; наше руководство о JavaScript-контенте и AI-краулерах перечисляет варианты.

5. Не осталось noindex или nosnippet

Стейджинг-сайты часто выкатывают с noindex, и шаблон может перенести его в продакшен. Проверьте и метатег robots, и HTTP-заголовок X-Robots-Tag: учитывается любой из них.

curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html

Проверка пройдена: ничего не выведено или только index, follow и подобное. Google пишет, что страница должна быть проиндексирована и иметь право на сниппет, чтобы появиться в AI Overviews и AI Mode, а nosnippet также запрещает использовать её как прямой источник для них.

6. Один canonical, абсолютный и указывающий на саму страницу

На странице должен быть ровно один rel="canonical" с абсолютным URL, указывающим на адрес, который вы публикуете. Google называет canonical сильным сигналом, а не командой, и предостерегает от относительных URL и противоречивых сигналов, например sitemap, где указан другой адрес.

Частые ошибки при запуске: canonical, скопированный со страницы-шаблона, canonical, который всё ещё указывает на стейджинг-хост, и два тега canonical сразу, от темы и от плагина.

Проверка пройдена: один тег, рабочий URL, тот же протокол и хост, что и в sitemap.

7. Title и H1 называют, на что отвечает страница, а ответ идёт сразу под ними

Прочитайте начало страницы глазами постороннего. Title и H1 должны называть вопрос или тему словами покупателей, а первые два-три предложения под H1 должны отвечать на него полностью.

Держите title в пределах примерно 60 символов, чтобы его реже обрезали в результатах поиска. Пишите короткий ответ так, чтобы он был понятен и при цитировании отдельно, с числами, единицами и названием продукта полностью.

Проверка пройдена: тот, кто прочитал только первый абзац, уже знает ответ. Наш список способов попасть в цитаты AI-ответов подробнее разбирает, как писать текст для цитирования.

8. JSON-LD разбирается без ошибок и совпадает с видимым текстом

Сломанный JSON-LD игнорируется целиком, так что одна пропущенная запятая убирает всю разметку. Вставьте URL в инструмент Google «Проверка расширенных результатов» или в Schema Markup Validator и исправьте все ошибки.

Затем сравните значения со страницей. Заголовок, даты, цена, валюта и название организации в разметке должны быть теми, что видит читатель. Google пишет, что для его AI-функций особая разметка не нужна, а структурированные данные должны совпадать с видимым текстом.

Проверка пройдена: ошибок нет, и каждое значение видно на странице. Можно пропустить, если: для типа страницы нет подходящей разметки; простая страница лучше неверной разметки.

9. Видимая дата, даты в разметке и lastmod в sitemap совпадают

Покажите на странице подписанную дату, используйте те же даты в datePublished и dateModified и ставьте lastmod в sitemap по последнему существенному изменению. Google просит, чтобы видимые даты и даты в разметке совпадали, и пишет, что использует lastmod, только если он стабильно и проверяемо точен.

Генератор sitemap, который при каждой сборке ставит всем URL сегодняшнюю дату, делает lastmod бесполезным для всех страниц, а не только для новой.

Проверка пройдена: три места, одна дата.

10. Страница есть в sitemap, и на неё ссылаются связанные страницы

Краулеры находят страницы по ссылкам и через sitemap. Добавьте новый URL в XML-sitemap, ровно в виде canonical URL, и поставьте на него ссылки хотя бы с двух связанных страниц и с хаба или страницы-оглавления.

Файл sitemap вмещает до 50 000 URL и 50 МБ без сжатия; большим сайтам нужен индексный файл sitemap. Google пишет, что игнорирует priority и changefreq, так что не тратьте на них время. Страница без внутренних ссылок становится сиротой, которую краулеры найдут поздно или не найдут совсем.

Проверка пройдена: URL есть в sitemap, и как минимум две страницы ссылаются на него с описательным текстом ссылки.

11. hreflang взаимный и с x-default

Если страница существует на нескольких языках, каждая версия должна перечислять все версии, включая саму себя, и каждая должна ссылаться обратно. Google игнорирует аннотации hreflang, не подтверждённые с другой стороны. Добавьте x-default для версии, которая показывается, когда ни один язык не подходит.

Можно пропустить, если: на сайте один язык. Наше руководство по hreflang x-default объясняет, когда он нужен.

12. Попросите поисковики просканировать новую страницу

Когда страница опубликована и прошла проверки выше, сообщите о ней поисковикам. В Google Search Console откройте проверку URL для нового адреса и выберите «Запросить индексирование». Для Bing и других поисковиков с поддержкой IndexNow отправьте URL на эндпоинт IndexNow со своим ключом; Bing отмечает, что это не гарантирует сканирование или индексацию.

У AI-ассистентов нет формы для отправки страниц. Их краулеры находят страницу по ссылкам и через поиск, поэтому так важны проверки 2, 3 и 10. Если вы публикуете файл llms.txt, добавьте страницу и туда; Google пишет, что его Поиск этот файл не использует, так что считайте его необязательным.

Проверка пройдена: проверка URL показывает, что опубликованную страницу можно проиндексировать.

Как мы выбирали эти проверки

Список повторяет путь краулера: дойти до URL, прочитать robots.txt, пройти файрвол, прочитать HTML, затем его интерпретировать. Каждая проверка основана на том, что OpenAI, Anthropic, Perplexity и Google документируют о своих краулерах, на RFC 9309 для robots.txt и на рекомендациях Google по canonical, датам, sitemap и hreflang. Мы не включили проверки без задокументированного влияния на AI-ответы, например плотность ключевых слов или целевой объём текста.

Проверки показывают, что страницу можно прочитать; они не могут показать, что её процитируют. Это зависит от того, насколько хорош ответ по сравнению с другими источниками. Повторяйте проверки 2–5 после каждого изменения файрвола, CDN, темы или CMS: именно такие изменения незаметно сводят их на нет.

AISeeWhy проходит большую часть этих проверок за один раз: загружает страницу как 16 AI- и поисковых краулеров рядом с настоящим браузером, применяет robots.txt к каждому краулеру и читает HTML, разметку, canonical и даты. Бесплатная проверка показывает оценку и первую находку; полный отчёт перечисляет каждую проблему с готовым исправлением.

Исправления для этой проблемы

Бесплатные инструменты

Что дальше

Краулеры в этой статье

Частые вопросы

Нужно ли проводить эти проверки для каждой страницы?

Проверки 1–5 делайте для каждой новой страницы, потому что отдельный URL может быть заблокирован или нести лишний noindex. Проверки 6–11 зависят в основном от шаблона, поэтому проводите их один раз на тип страницы и выборочно проверяйте новые страницы.

Почему нельзя отправить страницу в ChatGPT или Claude, как в Google?

OpenAI, Anthropic и Perplexity не предлагают инструмента для отправки URL веб-страниц. Их краулеры находят страницы по ссылкам и через поиск, поэтому под вашим контролем внутренние ссылки, sitemap и открытый доступ для OAI-SearchBot, Claude-SearchBot и PerplexityBot.

Моя страница проходит все двенадцать проверок. Почему её всё ещё не цитируют?

Проверки делают страницу читаемой, но не предпочтительной. Ассистент выбирает источники, которые лучше всего отвечают на вопрос, поэтому сравните свою страницу с теми, что он цитирует: отвечают ли они раньше, указывают ли цены или характеристики текстом, есть ли у них данные, которых нет у вас.

Как скоро после публикации приходят AI-краулеры?

Ни один вендор не публикует расписание. Логи сервера покажут, когда OAI-SearchBot, Claude-SearchBot или PerplexityBot впервые запросят URL; наше руководство по проверке логов сервера на AI-краулеры показывает, как их найти.

Источники

Другие статьи