12 AEO-перевірок перед публікацією сторінки (2027)

Опубліковано

Коротка відповідь

Перед публікацією переконайтеся, що URL відповідає 200 без редиректів, robots.txt дозволяє кожен пошуковий AI-краулер, файрвол віддає їм справжню сторінку, а відповідь є в сирому HTML. Потім перевірте, чи немає зайвого noindex або nosnippet, чи є один canonical, відповідь під H1, валідний і відповідний JSON-LD, узгоджені дати, запис у sitemap із внутрішніми посиланнями та hreflang, і надішліть запит на індексування.

Більшість сторінок, які так і не з’являються в AI-відповідях, спотикаються об нудні дрібниці: забутий noindex, правило файрвола, canonical, що вказує на стейджинг. Ці дванадцять перевірок ловлять такі помилки до запуску. Кожна займає кілька хвилин, для більшості досить термінала й URL сторінки, і йдуть вони в тому порядку, у якому з ними стикається краулер.

На цій сторінці
  1. Скільки часу займає кожна перевірка?
  2. 1. URL відповідає 200 без ланцюжка редиректів
  3. 2. robots.txt дозволяє сторінку кожному пошуковому AI-краулеру
  4. 3. Файрвол віддає AI-краулерам справжню сторінку
  5. 4. Відповідь є в сирому HTML
  6. 5. Не залишилося noindex чи nosnippet
  7. 6. Один canonical, абсолютний і такий, що вказує на саму сторінку
  8. 7. Title і H1 називають, на що відповідає сторінка, а відповідь іде одразу під ними
  9. 8. JSON-LD розбирається без помилок і збігається з видимим текстом
  10. 9. Видима дата, дати в розмітці та lastmod у sitemap збігаються
  11. 10. Сторінка є в sitemap, і на неї посилаються пов’язані сторінки
  12. 11. hreflang взаємний і з x-default
  13. 12. Попросіть пошуковики просканувати нову сторінку
  14. Як ми обирали ці перевірки

Скільки часу займає кожна перевірка?

Орієнтир для однієї сторінки й потрібний інструмент. Перевірки 1–5 робіть для кожної сторінки, решту один раз на шаблон, а потім вибірково.

1. URL відповідає 200 без ланцюжка редиректів

Краулер має отримувати саму сторінку зі статусом 200 за точним URL, яким ви ділитиметеся і який вкажете в sitemap. Кожен редирект це ще один крок, який може зламатися, а сторінка, що відповідає 200 із повідомленням «не знайдено», це soft 404, який пошуковики можуть викинути з індексу.

# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/

Перевірку пройдено: 200 redirects=0 і той самий URL у відповіді. Як виправити: ставте посилання на кінцевий URL і вказуйте його в sitemap, а зі старих адрес залишайте не більше одного редиректу.

2. robots.txt дозволяє сторінку кожному пошуковому AI-краулеру

Читайте robots.txt так, як його прочитає кожен краулер. Група, у якій названо краулер, замінює для нього групу User-agent: *, а за RFC 9309 перемагає найдовше правило, що збіглося, а в разі рівності перемагає Allow.

Перевірте щонайменше OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot і Googlebot. Новий розділ на кшталт /guides/ може потрапити під старе правило Disallow: /g, бо правила збігаються за префіксом шляху. Переконайтеся також, що сам robots.txt відповідає 200 або 404: за RFC 9309 у разі помилки сервера краулери мають вважати весь сайт закритим.

Перевірку пройдено: жодне правило для цих токенів не забороняє шлях. Наш посібник про тестування robots.txt показує, як перевірити один URL для одного краулера.

3. Файрвол віддає AI-краулерам справжню сторінку

Запитайте сторінку з user agent браузера і з user agent краулерів, потім порівняйте статус і розмір. Захист від ботів, що спрацьовує на ім’я, може віддавати лише краулерам 403, 429 або сторінку-перевірку.

URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Перевірку пройдено: у кожному рядку 200 і схожий розмір. Набагато менший розмір зазвичай означає сторінку-перевірку. Ці рядки перевіряють правила, що спрацьовують на ім’я; справжні краулери до того ж приходять з опублікованих діапазонів IP, а тест із вашого комп’ютера цього не відтворить, тож перевірте й дозвільні правила файрвола для цих діапазонів.

4. Відповідь є в сирому HTML

Знайдіть у HTML, який надсилає сервер, речення зі своєї відповіді. Інспектор елементів у браузері показує сторінку після виконання скриптів, а це не те, що отримує більшість краулерів.

curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer"

Перевірку пройдено: 1 або більше. 0 означає, що текст додає JavaScript, а OpenAI, Anthropic і Perplexity не документують, що їхні краулери його виконують. Рендерте сторінку на сервері або під час збирання; наш посібник про JavaScript-контент і AI-краулери перелічує варіанти.

5. Не залишилося noindex чи nosnippet

Стейджинг-сайти часто викочують із noindex, і шаблон може перенести його в продакшн. Перевірте і метатег robots, і HTTP-заголовок X-Robots-Tag: враховується будь-який із них.

curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html

Перевірку пройдено: нічого не виведено або лише index, follow і подібне. Google пише, що сторінка має бути проіндексована й мати право на сніпет, щоб з’явитися в AI Overviews і AI Mode, а nosnippet також забороняє використовувати її як пряме джерело для них.

6. Один canonical, абсолютний і такий, що вказує на саму сторінку

Сторінка має містити рівно один rel="canonical" з абсолютним URL, що вказує на адресу, яку ви публікуєте. Google називає canonical сильним сигналом, а не командою, і застерігає від відносних URL і суперечливих сигналів, наприклад sitemap, де вказано іншу адресу.

Часті помилки під час запуску: canonical, скопійований зі сторінки-шаблону, canonical, що досі вказує на стейджинг-хост, і два теги canonical одночасно, від теми й від плагіна.

Перевірку пройдено: один тег, робочий URL, той самий протокол і хост, що й у sitemap.

7. Title і H1 називають, на що відповідає сторінка, а відповідь іде одразу під ними

Прочитайте початок сторінки очима сторонньої людини. Title і H1 мають називати запитання чи тему словами покупців, а перші два-три речення під H1 мають відповідати на нього повністю.

Тримайте title у межах приблизно 60 символів, щоб його рідше обрізали в результатах пошуку. Пишіть коротку відповідь так, щоб вона була зрозумілою і як окрема цитата, з числами, одиницями й повною назвою продукту.

Перевірку пройдено: той, хто прочитав лише перший абзац, уже знає відповідь. Наш список способів потрапити в цитати AI-відповідей докладніше розбирає, як писати текст для цитування.

8. JSON-LD розбирається без помилок і збігається з видимим текстом

Зламаний JSON-LD ігнорується повністю, тож одна пропущена кома прибирає всю розмітку. Вставте URL у Rich Results Test від Google або в Schema Markup Validator і виправте всі помилки.

Потім порівняйте значення зі сторінкою. Заголовок, дати, ціна, валюта й назва організації в розмітці мають бути тими, що бачить читач. Google пише, що для його AI-функцій особлива розмітка не потрібна, а структуровані дані мають збігатися з видимим текстом.

Перевірку пройдено: помилок немає, і кожне значення видно на сторінці. Можна пропустити, якщо: для типу сторінки немає відповідної розмітки; проста сторінка краща за неправильну розмітку.

9. Видима дата, дати в розмітці та lastmod у sitemap збігаються

Покажіть на сторінці підписану дату, використовуйте ті самі дати в datePublished і dateModified і ставте lastmod у sitemap за останньою суттєвою зміною. Google просить, щоб видимі дати й дати в розмітці збігалися, і пише, що використовує lastmod, лише якщо він стабільно й перевірювано точний.

Генератор sitemap, який під час кожного збирання ставить усім URL сьогоднішню дату, робить lastmod марним для всіх сторінок, а не лише для нової.

Перевірку пройдено: три місця, одна дата.

10. Сторінка є в sitemap, і на неї посилаються пов’язані сторінки

Краулери знаходять сторінки за посиланнями та через sitemap. Додайте новий URL до XML-sitemap, саме у вигляді canonical URL, і поставте на нього посилання щонайменше з двох пов’язаних сторінок і з хабу чи сторінки-змісту.

Файл sitemap вміщує до 50 000 URL і 50 МБ без стиснення; великим сайтам потрібен індексний файл sitemap. Google пише, що ігнорує priority і changefreq, тож не витрачайте на них час. Сторінка без внутрішніх посилань стає сиротою, яку краулери знайдуть пізно або не знайдуть зовсім.

Перевірку пройдено: URL є в sitemap, і щонайменше дві сторінки посилаються на нього з описовим текстом посилання.

11. hreflang взаємний і з x-default

Якщо сторінка існує кількома мовами, кожна версія має перелічувати всі версії, включно із собою, і кожна має посилатися назад. Google ігнорує анотації hreflang, не підтверджені з іншого боку. Додайте x-default для версії, яку показують, коли жодна мова не підходить.

Можна пропустити, якщо: сайт має одну мову. Наш посібник із hreflang x-default пояснює, коли він потрібен.

12. Попросіть пошуковики просканувати нову сторінку

Коли сторінку опубліковано і вона пройшла перевірки вище, повідомте про неї пошуковикам. У Google Search Console відкрийте перевірку URL-адреси для нової адреси й виберіть «Подати запит на індексування». Для Bing та інших пошуковиків із підтримкою IndexNow надішліть URL на ендпоінт IndexNow зі своїм ключем; Bing зазначає, що це не гарантує сканування чи індексації.

AI-асистенти не мають форми для надсилання сторінок. Їхні краулери знаходять сторінку за посиланнями та через пошук, тому такі важливі перевірки 2, 3 і 10. Якщо ви публікуєте файл llms.txt, додайте сторінку й туди; Google пише, що його Пошук цей файл не використовує, тож вважайте його необов’язковим.

Перевірку пройдено: перевірка URL-адреси показує, що опубліковану сторінку можна проіндексувати.

Як ми обирали ці перевірки

Список повторює шлях краулера: дістатися до URL, прочитати robots.txt, пройти файрвол, прочитати HTML, потім його інтерпретувати. Кожна перевірка ґрунтується на тому, що OpenAI, Anthropic, Perplexity і Google документують про свої краулери, на RFC 9309 для robots.txt і на рекомендаціях Google щодо canonical, дат, sitemap і hreflang. Ми не включили перевірок без задокументованого впливу на AI-відповіді, наприклад щільності ключових слів чи цільового обсягу тексту.

Перевірки показують, що сторінку можна прочитати; вони не можуть показати, що її процитують. Це залежить від того, наскільки добра відповідь порівняно з іншими джерелами. Повторюйте перевірки 2–5 після кожної зміни файрвола, CDN, теми чи CMS: саме такі зміни непомітно зводять їх нанівець.

AISeeWhy проходить більшість цих перевірок за один раз: завантажує сторінку як 16 AI- і пошукових краулерів поруч зі справжнім браузером, застосовує robots.txt до кожного краулера й читає HTML, розмітку, canonical і дати. Безкоштовна перевірка показує оцінку й першу знахідку; повний звіт перелічує кожну проблему з готовим виправленням.

Виправлення для цієї проблеми

Безкоштовні інструменти

Що далі

Краулери в цій статті

Поширені запитання

Чи треба проводити ці перевірки для кожної сторінки?

Перевірки 1–5 робіть для кожної нової сторінки, бо окремий URL може бути заблокований або мати зайвий noindex. Перевірки 6–11 залежать переважно від шаблону, тож проводьте їх один раз на тип сторінки й вибірково перевіряйте нові сторінки.

Чому не можна надіслати сторінку в ChatGPT або Claude, як у Google?

OpenAI, Anthropic і Perplexity не пропонують інструменту для надсилання URL вебсторінок. Їхні краулери знаходять сторінки за посиланнями та через пошук, тож під вашим контролем внутрішні посилання, sitemap і відкритий доступ для OAI-SearchBot, Claude-SearchBot і PerplexityBot.

Моя сторінка проходить усі дванадцять перевірок. Чому її досі не цитують?

Перевірки роблять сторінку читабельною, але не бажаною. Асистент обирає джерела, які найкраще відповідають на запитання, тож порівняйте свою сторінку з тими, які він цитує: чи відповідають вони раніше, чи вказують ціни або характеристики текстом, чи мають дані, яких немає у вас.

Як скоро після публікації приходять AI-краулери?

Жоден вендор не публікує розкладу. Журнали сервера покажуть, коли OAI-SearchBot, Claude-SearchBot або PerplexityBot уперше запитають URL; наш посібник із перевірки журналів сервера на AI-краулери показує, як їх знайти.

Джерела

Інші статті