12 AEO проверки, които да направите, преди да публикувате страница (2027)
Преди да публикувате, потвърдете, че URL адресът връща 200 без пренасочвания, че robots.txt разрешава всеки AI бот за търсене, че защитната стена им изпраща истинската страница и че отговорът е в суровия HTML. След това проверете за забравен noindex или nosnippet, един canonical, отговор под H1, валиден съвпадащ JSON-LD, съгласувани дати, запис в sitemap с вътрешни връзки, hreflang, и заявете индексиране.
Повечето страници, които така и не се появяват в AI отговорите, се провалят на нещо скучно: забравен noindex, правило в защитната стена, canonical, който сочи към тестовата среда. Тези дванадесет проверки хващат това преди пускането. Всяка отнема няколко минути, за повечето не ви трябва нищо повече от терминал и URL адреса на страницата, а са подредени в реда, в който ботът ги среща.
На тази страница
- Колко време отнема всяка проверка?
- 1. URL адресът връща 200 без верига от пренасочвания
- 2. robots.txt разрешава страницата за всеки AI бот за търсене
- 3. Защитната стена изпраща на AI ботовете истинската страница
- 4. Отговорът е в суровия HTML
- 5. Няма забравен noindex или nosnippet
- 6. Един canonical URL адрес, абсолютен и сочещ към самата страница
- 7. Заглавието и H1 казват на какво отговаря страницата, а отговорът е точно под тях
- 8. JSON-LD се парсва и съвпада с видимия текст
- 9. Видимата дата, датите в маркирането и lastmod в sitemap съвпадат
- 10. Страницата е в sitemap и има връзки от свързани страници
- 11. hreflang е взаимен, с x-default
- 12. Помолете търсачките да обходят новата страница
- Как избрахме тези проверки
Колко време отнема всяка проверка?
Ориентир за една страница, с инструмента, който ви трябва. Правете проверки 1 до 5 на всяка страница, а останалите веднъж за всеки шаблон и после на случаен принцип.
- 1. Статус 200: 1 минута, curl.
- 2. robots.txt за всеки бот: 3 минути, браузър или curl.
- 3. Отговор на защитната стена: 3 минути, curl.
- 4. Текст в суровия HTML: 2 минути, curl.
- 5. Без забравен noindex или nosnippet: 2 минути, curl.
- 6. Един canonical: 2 минути, изходният код на страницата.
- 7. Заглавие, H1 и кратък отговор: 5 минути, четене на страницата.
- 8. Валиден и съвпадащ JSON-LD: 5 минути, Rich Results Test или Schema Markup Validator.
- 9. Датите съвпадат: 3 минути, страница, маркиране и sitemap.
- 10. Sitemap и вътрешни връзки: 5 минути, sitemap.xml и вашата CMS.
- 11. hreflang: 5 минути, само за многоезични сайтове.
- 12. Заявка за индексиране: 2 минути, Search Console и IndexNow.
1. URL адресът връща 200 без верига от пренасочвания
Ботът трябва да получи самата страница със статус 200 на точния URL адрес, който ще споделяте и ще посочите в sitemap. Всяко пренасочване е още една стъпка, която може да се провали, а страница, която отговаря с 200 и съобщение „не е намерено“, е soft 404, която търсачките могат да изхвърлят.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Успешно: 200 redirects=0 и същият URL адрес обратно. Поправка: давайте връзка към крайния URL адрес и го посочвайте в sitemap, а от старите адреси оставете най-много едно пренасочване.
2. robots.txt разрешава страницата за всеки AI бот за търсене
Четете robots.txt така, както би го прочел всеки бот. Група, която назовава бот, заменя групата User-agent: * за него, а според RFC 9309 печели най-дългото съвпадащо правило, като при равенство печели Allow.
Проверете поне OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot и Googlebot. Нов раздел като /guides/ може да бъде хванат от старо правило Disallow: /g, защото правилата съвпадат по начало на пътя. Потвърдете и че самият robots.txt връща 200 или 404: според RFC 9309 сървърна грешка означава, че ботовете трябва да приемат, че целият сайт е забранен.
Успешно: никое правило за тези токени не забранява пътя. Нашето ръководство за тестване на robots.txt показва как да проверите един URL адрес за един бот.
3. Защитната стена изпраща на AI ботовете истинската страница
Заявете страницата с user agent на браузър и с user agent низовете на ботовете, след това сравнете статуса и размера. Защита от ботове, която разпознава името, може да върне 403, 429 или страница за проверка само на ботовете.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Успешно: всеки ред показва 200 и сходен размер. Много по-малкият размер обикновено означава страница за проверка. Тези низове тестват правилата, които разпознават името. Истинските ботове идват и от публикувани IP диапазони, което тест от вашия компютър не може да възпроизведе, така че проверете и правилата за разрешаване в защитната стена за тези диапазони.
4. Отговорът е в суровия HTML
Потърсете изречение от отговора си в HTML, който изпраща сървърът. Инспекторът на елементи в браузъра показва страницата след изпълнението на скриптовете, а това не е, което получават повечето ботове.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Успешно: 1 или повече. Резултат 0 означава, че текстът се добавя от JavaScript, а OpenAI, Anthropic и Perplexity не документират, че ботовете им го изпълняват. Рендирайте го на сървъра или при изграждането, нашето ръководство за JavaScript съдържание и AI ботове изброява вариантите.
5. Няма забравен noindex или nosnippet
Тестовите сайтове често излизат с noindex, а шаблонът може да го пренесе в продукция. Проверете и мета тага robots, и HTTP заглавката X-Robots-Tag, защото се брои всяко от двете.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Успешно: нищо не е отпечатано или само index, follow и подобни. Google посочва, че страницата трябва да е индексирана и допустима за фрагмент, за да се появи в AI Overviews и AI Mode, и че nosnippet блокира и използването ѝ като пряк вход за тях.
6. Един canonical URL адрес, абсолютен и сочещ към самата страница
Страницата трябва да обявява точно един rel="canonical" като абсолютен URL адрес, който сочи към URL адреса, който публикувате. Google нарича canonical силен сигнал, а не команда, и предупреждава срещу относителни URL адреси и противоречиви сигнали, например sitemap, който посочва друг адрес.
Честите грешки при пускане са canonical, копиран от страница шаблон, canonical, който все още сочи към тестов хост, и два canonical тага едновременно, от темата и от приставката.
Успешно: един таг, живият URL адрес, същият протокол и хост като в sitemap.
7. Заглавието и H1 казват на какво отговаря страницата, а отговорът е точно под тях
Прочетете горната част на страницата като непознат. Заглавието и H1 трябва да назовават въпроса или темата с думите, които използват купувачите, а първите две или три изречения под H1 трябва да отговарят напълно.
Дръжте заглавието около 60 знака, за да е по-малко вероятно да бъде отрязано в резултатите от търсенето. Напишете краткия отговор така, че да има смисъл и когато се цитира самостоятелно, с изписани числа, мерни единици и име на продукта.
Успешно: който прочете само първия абзац, има отговора. Нашият списък с начини да ви цитират в AI отговорите разглежда по-подробно писането за цитиране.
8. JSON-LD се парсва и съвпада с видимия текст
Счупеният JSON-LD се пренебрегва изцяло, така че една липсваща запетая маха всичко. Поставете URL адреса в Rich Results Test на Google или в Schema Markup Validator и поправете всяка грешка.
След това сравнете стойностите със страницата. Заглавието, датите, цената, валутата и името на организацията в маркирането трябва да са тези, които вижда читателят. Google посочва, че за AI функциите му не е нужно специално маркиране и че структурираните данни трябва да съвпадат с видимия текст.
Успешно: няма грешки и всяка стойност се вижда на страницата. Пропуснете, ако: за този тип страница няма подходящо маркиране, обикновена страница е по-добра от грешно маркиране.
9. Видимата дата, датите в маркирането и lastmod в sitemap съвпадат
Покажете дата с етикет на страницата, използвайте същите дати в datePublished и dateModified и задайте lastmod в sitemap на последната съществена промяна. Google иска видимите и маркираните дати да съвпадат и посочва, че използва lastmod само ако е последователно и проверимо точен.
Генератор на sitemap, който при всяко изграждане слага днешната дата на всеки URL адрес, прави lastmod безполезен за всички страници, не само за новата.
Успешно: три места, една дата.
10. Страницата е в sitemap и има връзки от свързани страници
Ботовете намират страниците чрез връзки и sitemap файлове. Добавете новия URL адрес в XML sitemap с точния canonical URL адрес и дайте връзка към него от поне две свързани страници и от една обобщаваща или индексна страница.
Един sitemap файл може да съдържа до 50 000 URL адреса и 50 MB некомпресиран, по-големите сайтове се нуждаят от sitemap индекс. Google посочва, че пренебрегва priority и changefreq, така че не губете време с тях. Страница без вътрешни връзки е сираче, което ботовете може да намерят късно или изобщо да не намерят.
Успешно: URL адресът е в sitemap и поне две страници водят до него с описателен текст на връзката.
11. hreflang е взаимен, с x-default
Ако страницата съществува на няколко езика, всяка версия трябва да изброява всички версии, включително себе си, и всяка трябва да сочи обратно. Google пренебрегва hreflang анотации, които не са потвърдени от другата страна. Добавете x-default за версията, която се показва, когато никой език не съвпада.
Пропуснете, ако: сайтът е на един език. Нашето ръководство за hreflang x-default обяснява кога ви трябва.
12. Помолете търсачките да обходят новата страница
След като страницата е публикувана и минава проверките по-горе, съобщете на търсачките за нея. В Google Search Console използвайте инструмента за проверка на URL адреси за новия URL адрес и изберете Заявка за индексиране. За Bing и други търсачки, които поддържат IndexNow, изпратете URL адреса до крайната точка на IndexNow със своя ключ. Bing отбелязва, че това не гарантира обхождане или индексиране.
AI асистентите нямат формуляр за изпращане. Техните ботове намират страницата чрез връзки и търсене, затова проверки 2, 3 и 10 са важни. Ако публикувате файл llms.txt, добавете страницата и там. Google посочва, че Търсенето му не го използва, затова го приемайте за незадължителен.
Успешно: проверката на URL адреса показва, че живата страница може да бъде индексирана.
Как избрахме тези проверки
Списъкът следва пътя на бота: достига URL адреса, чете robots.txt, минава през защитната стена, чете HTML и след това го тълкува. Всяка проверка се основава на това, което OpenAI, Anthropic, Perplexity и Google документират за своите ботове, на RFC 9309 за robots.txt и на насоките на Google за canonical, дати, sitemap и hreflang. Оставихме настрана проверки без документиран ефект върху AI отговорите, например плътност на ключовите думи или целеви брой думи.
Проверките показват, че страницата може да бъде прочетена, но не могат да покажат, че ще бъде цитирана. Това зависи от това колко добър е отговорът в сравнение с други източници. Повтаряйте проверки 2 до 5 след всяка промяна на защитната стена, CDN, темата или CMS, защото точно тези промени тихо ги развалят.
AISeeWhy прави повечето от тези проверки наведнъж: изтегля страницата като 16 AI бота и бота на търсачки до истински браузър, прилага robots.txt за всеки бот и чете HTML, маркирането, canonical и датите. Безплатната проверка показва оценката и първата находка, а пълният доклад изброява всеки проблем с готова поправка.
Корекции за този проблем
- OAI-SearchBot е блокиран
- Съдържанието на страницата изисква JavaScript
- Списъци, написани като обикновен текст
- Разделите не започват с кратък отговор: 2 от 3
Следващи стъпки
- robots.txt тестер и проверка за AI ботове
- Проверка и валидатор на llms.txt
- Вижте пример за пълен отчет
- Наблюдение на AI ботове
- Планове и цени
Ботове в тази статия
Често задавани въпроси
Трябва ли да правя тези проверки на всяка страница?
Правете проверки 1 до 5 на всяка нова страница, защото отделен URL адрес може да е блокиран или да носи забравен noindex. Проверки 6 до 11 зависят предимно от шаблона, така че ги правете веднъж за всеки тип страница и проверявайте новите страници на случаен принцип.
Защо не мога да изпратя страница на ChatGPT или Claude, както на Google?
OpenAI, Anthropic и Perplexity не предлагат инструмент за изпращане на URL адреси на уеб страници. Ботовете им намират страниците, като следват връзки и чрез търсене, така че вътрешните връзки, sitemap и отвореният достъп за OAI-SearchBot, Claude-SearchBot и PerplexityBot са това, което контролирате вие.
Страницата ми минава и дванадесетте проверки. Защо все още не е цитирана?
Проверките правят страницата четима, а не предпочитана. Асистентът избира източниците, които отговарят най-добре на въпроса, затова сравнете страницата си със страниците, които той цитира: дали отговарят по-рано, посочват цени или спецификации в текст или предлагат данни, които вашата няма.
Колко скоро след публикуването идват AI ботовете?
Никой доставчик не публикува график. Логовете на сървъра ви показват кога OAI-SearchBot, Claude-SearchBot или PerplexityBot за първи път заявяват URL адреса. Нашето ръководство за проверка на сървърните логове за AI ботове показва как да ги намерите.
Източници
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Преглед на ботовете на OpenAI
- Anthropic: Събира ли Anthropic данни от мрежата и как собствениците на сайтове могат да блокират бота?
- Perplexity: Ботовете на Perplexity
- Google Search Central: AI функциите и вашият уебсайт
- Google Search Central: Мета таг robots, data-nosnippet и X-Robots-Tag
- Google Search Central: Как да посочите canonical URL адрес
- Google Search Central: Как да повлияете на датите до авторството
- Google Search Central: Създаване и изпращане на sitemap
- Sitemaps.org: XML формат на sitemap
- Google Search Central: Информирайте Google за локализираните версии на страницата си
- Помощ за Google Search Console: Инструмент за проверка на URL адреси
- Bing: IndexNow, първи стъпки
- Помощ за Google Search Console: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: Основи на JavaScript SEO