12 AEO проверки што треба да ги направите пред да објавите страница (2027)
Пред објавата потврдете дека URL враќа 200 без пренасочувања, дека robots.txt го дозволува секој AI краулер за пребарување, дека заштитниот ѕид им ја праќа вистинската страница и дека одговорот е во сировиот HTML. Потоа проверете дека нема заостанат noindex или nosnippet, дека има еден canonical, одговор под H1, исправен JSON-LD што се совпаѓа, усогласени датуми, запис во sitemap со внатрешни врски, hreflang, и побарајте индексирање.
Повеќето страници што никогаш не се појавуваат во AI одговорите паѓаат на нешто здодевно: заостанат noindex, правило на заштитниот ѕид, canonical што покажува кон тест-околината. Овие дванаесет проверки го фаќаат тоа пред објавата. Секоја трае неколку минути, за повеќето ви треба само терминал и URL на страницата, а подредени се по редоследот по кој ги среќава краулерот.
На оваа страница
- Колку трае секоја проверка?
- 1. URL враќа 200 без синџир на пренасочувања
- 2. robots.txt ја дозволува страницата за секој AI краулер за пребарување
- 3. Заштитниот ѕид им ја праќа на AI краулерите вистинската страница
- 4. Одговорот е во сировиот HTML
- 5. Нема заостанат noindex или nosnippet
- 6. Еден canonical URL, апсолутен и насочен кон самата страница
- 7. Насловот и H1 кажуваат на што одговара страницата, а одговорот е веднаш под нив
- 8. JSON-LD се парсира исправно и се совпаѓа со видливиот текст
- 9. Видливиот датум, датумите во ознаките и lastmod во sitemap се совпаѓаат
- 10. Страницата е во sitemap и поврзана од сродни страници
- 11. hreflang е взаемен, со x-default
- 12. Побарајте од пребарувачите да ја обиколат новата страница
- Како ги избравме овие проверки
Колку трае секоја проверка?
Груб водич за една страница, со алатката што ви треба. Проверките 1 до 5 пуштете ги на секоја страница, останатите еднаш по шаблон, а потоа проверувајте по случаен избор.
- 1. Статус 200: 1 минута, curl.
- 2. robots.txt по краулер: 3 минути, прелистувач или curl.
- 3. Одговор од заштитниот ѕид: 3 минути, curl.
- 4. Текст во сировиот HTML: 2 минути, curl.
- 5. Без заостанат noindex или nosnippet: 2 минути, curl.
- 6. Еден canonical: 2 минути, преглед на изворниот код.
- 7. Наслов, H1 и краток одговор: 5 минути, читање на страницата.
- 8. JSON-LD исправен и усогласен: 5 минути, Rich Results Test или Schema Markup Validator.
- 9. Датумите се совпаѓаат: 3 минути, страница, ознаки и sitemap.
- 10. Sitemap и внатрешни врски: 5 минути, sitemap.xml и вашиот CMS.
- 11. hreflang: 5 минути, само за повеќејазични сајтови.
- 12. Барање за индексирање: 2 минути, Search Console и IndexNow.
1. URL враќа 200 без синџир на пренасочувања
Краулерот треба да ја добие самата страница со статус 200 на точниот URL што ќе го споделувате и наведете во sitemap. Секое пренасочување е уште еден чекор што може да не успее, а страница што одговара со 200 и порака „не е пронајдено“ е soft 404, која пребарувачите можат да ја отфрлат.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Поминува: 200 redirects=0 и истиот URL назад. Поправка: поврзувајте го и наведувајте го конечниот URL и задржете најмногу едно пренасочување од старите адреси.
2. robots.txt ја дозволува страницата за секој AI краулер за пребарување
Читајте го robots.txt онака како што би го читал секој краулер. Група што именува краулер ја заменува групата User-agent: * за него, а според RFC 9309 победува најдолгото правило што се совпаѓа, при што Allow победува при нерешено.
Проверете барем OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot и Googlebot. Нов дел како /guides/ може да го фати старо правило Disallow: /g, бидејќи правилата се совпаѓаат по префикс на патеката. Потврдете и дека самиот robots.txt враќа 200 или 404: според RFC 9309, грешка на серверот значи дека краулерите треба да претпостават дека целиот сајт е забранет.
Поминува: ниедно правило за овие токени не ја забранува патеката. Нашиот водич за тестирање на robots.txt покажува како да тестирате еден URL за еден краулер.
3. Заштитниот ѕид им ја праќа на AI краулерите вистинската страница
Побарајте ја страницата со кориснички агент на прелистувач и со кориснички агенти на краулери, а потоа споредете ги статусот и големината. Заштитата од ботови што се совпаѓа по име може само на краулерите да им врати 403, 429 или страница со предизвик.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Поминува: секој ред покажува 200 и слична големина. Многу помала големина обично значи страница со предизвик. Овие низи ги тестираат правилата што се совпаѓаат по име. Вистинските краулери доаѓаат и од објавени IP опсези, што тест од вашиот компјутер не може да го повтори, па проверете ги и правилата за дозвола во заштитниот ѕид за тие опсези.
4. Одговорот е во сировиот HTML
Во HTML што го праќа серверот побарајте реченица од вашиот одговор. Инспекторот на елементи во прелистувачот ја прикажува страницата откако ќе се извршат скриптите, а тоа не е она што го добиваат повеќето краулери.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Поминува: 1 или повеќе. Резултат 0 значи дека текстот го додава JavaScript, а OpenAI, Anthropic и Perplexity не документираат дека нивните краулери го извршуваат. Рендерирајте го на серверот или при градењето, нашиот водич за JavaScript содржина и AI краулери ги наведува опциите.
5. Нема заостанат noindex или nosnippet
Тест-сајтовите често излегуваат со noindex, а шаблонот може да го пренесе во продукција. Проверете ги и robots мета-ознаката и HTTP заглавјето X-Robots-Tag, бидејќи се смета кое било од нив.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Поминува: ништо не е испечатено, или само index, follow и слично. Google наведува дека страницата мора да биде индексирана и подобна за исечок за да се појави во AI Overviews и AI Mode, и дека nosnippet ја блокира и употребата како директен влез за нив.
6. Еден canonical URL, апсолутен и насочен кон самата страница
Страницата треба да декларира точно еден rel="canonical", како апсолутен URL, насочен кон URL што го објавувате. Google го нарекува canonical силен сигнал, а не наредба, и предупредува за релативни URL и за сигнали во конфликт, како sitemap што наведува друга адреса.
Чести грешки при објавата се canonical копиран од страница-шаблон, canonical што сè уште покажува кон тест-хостот и две canonical ознаки истовремено, од темата и од приклучокот.
Поминува: една ознака, живиот URL, ист протокол и хост како во sitemap.
7. Насловот и H1 кажуваат на што одговара страницата, а одговорот е веднаш под нив
Прочитајте го врвот на страницата како непознат човек. Насловот и H1 треба да го именуваат прашањето или темата со зборовите што ги користат купувачите, а првите две или три реченици под H1 треба целосно да одговорат на тоа.
Држете го насловот на околу 60 знаци, за да е помала веројатноста да биде скратен во резултатите од пребарувањето. Краткиот одговор напишете го така што има смисла и кога се цитира сам, со испишани броеви, единици и име на производот.
Поминува: кој ќе го прочита само првиот пасус, го има одговорот. Нашата листа на начини AI одговорите да ве цитираат подетално го покрива пишувањето за цитирање.
8. JSON-LD се парсира исправно и се совпаѓа со видливиот текст
Неисправен JSON-LD се игнорира во целост, па една запирка што недостасува го отстранува сето тоа. Залепете го URL во Rich Results Test на Google или во Schema Markup Validator и поправете ја секоја грешка.
Потоа споредете ги вредностите со страницата. Насловот, датумите, цената, валутата и името на организацијата во ознаките треба да бидат оние што ги гледа читателот. Google наведува дека за неговите AI функции не се потребни посебни ознаки и дека структурираните податоци треба да се совпаѓаат со видливиот текст.
Поминува: нема грешки и секоја вредност е видлива на страницата. Прескокнете ако: за тој тип страница нема соодветни ознаки, обична страница е подобра од погрешни ознаки.
9. Видливиот датум, датумите во ознаките и lastmod во sitemap се совпаѓаат
Прикажете датум со ознака на страницата, користете ги истите датуми во datePublished и dateModified и поставете го lastmod во sitemap на последната значајна промена. Google бара видливите и означените датуми да се совпаѓаат и наведува дека lastmod го користи само ако е доследно и проверливо точен.
Генератор на sitemap што при секое градење на секој URL му го запишува денешниот датум го прави lastmod бескорисен за сите страници, не само за новата.
Поминува: три места, еден датум.
10. Страницата е во sitemap и поврзана од сродни страници
Краулерите ги наоѓаат страниците преку врски и sitemap. Додадете го новиот URL во вашиот XML sitemap, со точниот canonical URL, и поврзете го од барем две сродни страници и една централна или индексна страница.
Датотека sitemap може да содржи до 50.000 URL и 50 MB без компресија, на поголемите сајтови им треба индекс на sitemap. Google наведува дека ги игнорира priority и changefreq, па не губете време на нив. Страница без внатрешни врски е сираче што краулерите можат да го најдат доцна или никогаш.
Поминува: URL е во sitemap и барем две страници водат до него со описен текст на врската.
11. hreflang е взаемен, со x-default
Ако страницата постои на повеќе јазици, секоја верзија треба да ги наведе сите верзии, вклучувајќи ја себеси, и секоја мора да води назад. Google ги игнорира hreflang ознаките што не се потврдени од другата страна. Додадете x-default за верзијата што се прикажува кога ниеден јазик не се совпаѓа.
Прескокнете ако: сајтот има еден јазик. Нашиот водич за hreflang x-default објаснува кога ви треба.
12. Побарајте од пребарувачите да ја обиколат новата страница
Откако страницата е објавена и ги поминува проверките погоре, известете ги пребарувачите. Во Google Search Console користете URL Inspection за новиот URL и изберете Request indexing. За Bing и други пребарувачи што поддржуваат IndexNow, испратете го URL до крајната точка на IndexNow со вашиот клуч. Bing напоменува дека тоа не гарантира обиколување или индексирање.
AI асистентите немаат образец за испраќање. Нивните краулери ја наоѓаат страницата преку врски и пребарување, и затоа проверките 2, 3 и 10 се важни. Ако објавувате датотека llms.txt, додадете ја страницата и таму. Google наведува дека неговото Пребарување не ја користи, па сметајте ја за опционална.
Поминува: URL Inspection покажува дека живата страница може да се индексира.
Како ги избравме овие проверки
Листата го следи патот на краулерот: стигнува до URL, го чита robots.txt, поминува низ заштитниот ѕид, го чита HTML и потоа го толкува. Секоја проверка се заснова на она што OpenAI, Anthropic, Perplexity и Google го документираат за своите краулери, на RFC 9309 за robots.txt и на насоките на Google за canonical, датуми, sitemap и hreflang. Изоставивме проверки без документиран ефект врз AI одговорите, како густина на клучни зборови или целен број зборови.
Проверките покажуваат дека страницата може да се прочита, но не можат да покажат дека ќе биде цитирана. Тоа зависи од тоа колку е добар одговорот во споредба со другите извори. Повторете ги проверките 2 до 5 по секоја промена на заштитниот ѕид, CDN, темата или CMS, бидејќи токму тие промени тивко го поништуваат нивниот резултат.
AISeeWhy ги извршува повеќето од овие проверки во едно поминување: ја презема страницата како 16 AI краулери и краулери на пребарувачи покрај вистински прелистувач, го применува robots.txt за секој краулер и ги чита HTML, ознаките, canonical и датумите. Бесплатната проверка ги прикажува оценката и првиот наод, а целосниот извештај го наведува секој проблем со подготвена поправка.
Поправки за овој проблем
- OAI-SearchBot е блокиран
- Содржината на страницата бара JavaScript
- Списоци напишани како обичен текст
- Деловите не почнуваат со краток одговор: 2 од 3
Следни чекори
- Тестер и проверка на robots.txt за AI краулери
- Проверка и валидатор за llms.txt
- Погледнете пример за целосен извештај
- Следење на AI краулери
- Планови и цени
Краулери во оваа статија
Често поставувани прашања
Дали треба да ги пуштам овие проверки на секоја страница?
Проверките 1 до 5 пуштете ги на секоја нова страница, бидејќи поединечен URL може да биде блокиран или да носи заостанат noindex. Проверките 6 до 11 главно зависат од шаблонот, па пуштете ги еднаш по тип страница и проверувајте ги новите страници по случаен избор.
Зошто не можам да испратам страница до ChatGPT или Claude како до Google?
OpenAI, Anthropic и Perplexity не нудат алатка за испраќање URL на веб-страници. Нивните краулери ги наоѓаат страниците следејќи врски и преку пребарување, па внатрешните врски, sitemap и отворениот пристап за OAI-SearchBot, Claude-SearchBot и PerplexityBot се она што вие го контролирате.
Мојата страница ги поминува сите дванаесет проверки. Зошто сè уште не е цитирана?
Проверките ја прават страницата читлива, а не претпочитана. Асистентот ги избира изворите што најдобро одговараат на прашањето, па споредете ја вашата страница со страниците што ги цитира: дали одговараат порано, дали наведуваат цени или спецификации во текст или нудат податоци што вие ги немате.
Колку брзо по објавата доаѓаат AI краулерите?
Ниеден добавувач не објавува распоред. Дневниците на вашиот сервер покажуваат кога OAI-SearchBot, Claude-SearchBot или PerplexityBot првпат го бараат URL. Нашиот водич за проверка на дневниците на серверот за AI краулери покажува како да ги најдете.
Извори
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Преглед на краулерите на OpenAI
- Anthropic: Дали Anthropic собира податоци од вебот и како сопствениците на сајтови можат да го блокираат краулерот?
- Perplexity: Краулери на Perplexity
- Google Search Central: AI функции и вашиот сајт
- Google Search Central: Robots мета-ознака, data-nosnippet и X-Robots-Tag
- Google Search Central: Како да наведете canonical URL
- Google Search Central: Влијание врз датумите во потписот
- Google Search Central: Изработка и испраќање sitemap
- Sitemaps.org: XML формат за sitemap
- Google Search Central: Известете го Google за локализираните верзии на страницата
- Помош за Google Search Console: алатка URL Inspection
- Bing: IndexNow, први чекори
- Помош за Google Search Console: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: Основи на JavaScript SEO