12 AEO провера пре него што објавите страницу (2027)

Објављено

Кратак одговор

Пре објаве потврдите да URL враћа 200 без преусмеравања, да robots.txt дозвољава сваки AI краулер за претрагу, да им заштитни зид шаље праву страницу и да је одговор у сировом HTML-у. Затим проверите да нема заосталог noindex или nosnippet, да постоји један canonical, одговор испод H1, исправан JSON-LD који се поклапа, усклађени датуми, унос у sitemap са интерним линковима, hreflang, и затражите индексирање.

Већина страница које се никад не појаве у AI одговорима пада на нечем досадном: заосталом noindex, правилу заштитног зида, canonical ознаци која показује на тест окружење. Ових дванаест провера то хвата пре објаве. Свака траје неколико минута, за већину вам треба само терминал и URL странице, а поређане су редом којим их краулер сусреће.

На овој страници
  1. Колико траје свака провера?
  2. 1. URL враћа 200 без ланца преусмеравања
  3. 2. robots.txt дозвољава страницу сваком AI краулеру за претрагу
  4. 3. Заштитни зид шаље AI краулерима праву страницу
  5. 4. Одговор је у сировом HTML-у
  6. 5. Нема заосталог noindex ни nosnippet
  7. 6. Један canonical URL, апсолутан и усмерен на саму страницу
  8. 7. Наслов и H1 кажу на шта страница одговара, а одговор је одмах испод
  9. 8. JSON-LD се исправно парсира и поклапа са видљивим текстом
  10. 9. Видљиви датум, датуми у ознакама и lastmod у sitemap-у се поклапају
  11. 10. Страница је у sitemap-у и линкована са сродних страница
  12. 11. hreflang је узајаман, са x-default
  13. 12. Затражите од претраживача да попишу нову страницу
  14. Како смо бирали ове провере

Колико траје свака провера?

Оквирни водич за једну страницу, са алатом који вам треба. Провере 1 до 5 покрените на свакој страници, остале једном по шаблону, а затим насумично проверавајте.

1. URL враћа 200 без ланца преусмеравања

Краулер треба да добије саму страницу са статусом 200 на тачном URL-у који ћете делити и навести у sitemap-у. Свако преусмеравање је још један корак који може да пукне, а страница која одговара са 200 и поруком „није пронађено“ је soft 404, коју претраживачи могу да одбаце.

# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/

Пролази: 200 redirects=0 и исти URL назад. Поправка: линкујте и наведите коначни URL и задржите највише једно преусмеравање са старих адреса.

2. robots.txt дозвољава страницу сваком AI краулеру за претрагу

Читајте robots.txt онако како би га читао сваки краулер. Група која именује краулер замењује групу User-agent: * за њега, а према RFC 9309 побеђује најдуже правило које се поклапа, док Allow побеђује при нерешеном.

Проверите бар OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot и Googlebot. Нови одељак као што је /guides/ може да захвати старо правило Disallow: /g, јер се правила поклапају по префиксу путање. Потврдите и да сам robots.txt враћа 200 или 404: према RFC 9309, грешка сервера значи да краулери треба да претпоставе да је цео сајт забрањен.

Пролази: ниједно правило за ове токене не забрањује путању. Наш водич о томе како тестирати robots.txt показује како да проверите један URL за један краулер.

3. Заштитни зид шаље AI краулерима праву страницу

Затражите страницу са user agent-ом прегледача и са user agent-има краулера, па упоредите статус и величину. Заштита од ботова која се поклапа по имену може само краулерима да врати 403, 429 или страницу са изазовом.

URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Пролази: сваки ред приказује 200 и сличну величину. Много мања величина обично значи страницу са изазовом. Ови стрингови тестирају правила која се поклапају по имену. Прави краулери долазе и са објављених IP опсега, што тест са вашег рачунара не може да понови, па проверите и правила дозволе у заштитном зиду за те опсеге.

4. Одговор је у сировом HTML-у

У HTML-у који сервер шаље потражите реченицу из свог одговора. Инспектор елемената у прегледачу приказује страницу након извршења скрипти, а то није оно што добија већина краулера.

curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer"

Пролази: 1 или више. Резултат 0 значи да текст додаје JavaScript, а OpenAI, Anthropic и Perplexity не документују да га њихови краулери извршавају. Рендерујте га на серверу или при изградњи, наш водич о JavaScript садржају и AI краулерима наводи опције.

5. Нема заосталог noindex ни nosnippet

Тест сајтови често излазе са noindex, а шаблон може да га пренесе у продукцију. Проверите и robots мета ознаку и HTTP заглавље X-Robots-Tag, јер се рачуна било које од њих.

curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html

Пролази: ништа није исписано, или само index, follow и слично. Google наводи да страница мора да буде индексирана и подобна за исечак да би се појавила у AI Overviews и AI Mode, и да nosnippet блокира и коришћење као директан улаз за њих.

6. Један canonical URL, апсолутан и усмерен на саму страницу

Страница треба да декларише тачно један rel="canonical", као апсолутни URL, усмерен на URL који објављујете. Google canonical назива јаким сигналом, а не наредбом, и упозорава на релативне URL-ове и на сигнале у сукобу, као што је sitemap који наводи другу адресу.

Честе грешке при објави су canonical копиран са странице шаблона, canonical који и даље показује на тест хост и две canonical ознаке истовремено, од теме и од додатка.

Пролази: једна ознака, живи URL, исти протокол и хост као у sitemap-у.

7. Наслов и H1 кажу на шта страница одговара, а одговор је одмах испод

Прочитајте врх странице као странац. Наслов и H1 треба да именују питање или тему речима које купци користе, а прве две или три реченице испод H1 треба на то у потпуности да одговоре.

Држите наслов на око 60 знакова, да би било мање вероватно да ће бити скраћен у резултатима претраге. Кратак одговор напишите тако да има смисла и када се цитира сам, са исписаним бројевима, јединицама и називом производа.

Пролази: ко прочита само први пасус, има одговор. Наша листа начина да вас AI одговори цитирају детаљније покрива писање за цитирање.

8. JSON-LD се исправно парсира и поклапа са видљивим текстом

Неисправан JSON-LD се игнорише у целини, па један зарез који недостаје уклања све. Налепите URL у Google-ов Rich Results Test или у Schema Markup Validator и поправите сваку грешку.

Затим упоредите вредности са страницом. Наслов, датуми, цена, валута и назив организације у ознакама треба да буду они које читалац види. Google наводи да за његове AI функције нису потребне посебне ознаке и да структурирани подаци треба да се поклапају са видљивим текстом.

Пролази: нема грешака и свака вредност је видљива на страници. Прескочите ако: за тај тип странице нема одговарајућих ознака, обична страница је боља од погрешних ознака.

9. Видљиви датум, датуми у ознакама и lastmod у sitemap-у се поклапају

Прикажите датум са ознаком на страници, користите исте датуме у datePublished и dateModified и подесите lastmod у sitemap-у на последњу значајну измену. Google тражи да се видљиви и означени датуми поклапају и наводи да lastmod користи само ако је доследно и проверљиво тачан.

Генератор sitemap-а који при свакој изградњи сваком URL-у упише данашњи датум чини lastmod бескорисним за све странице, не само за нову.

Пролази: три места, један датум.

10. Страница је у sitemap-у и линкована са сродних страница

Краулери налазе странице преко линкова и sitemap-ова. Додајте нови URL у свој XML sitemap, са тачним canonical URL-ом, и линкујте га са бар две сродне странице и са једне главне или индексне странице.

Sitemap датотека може да садржи до 50.000 URL-ова и 50 MB без компресије, већим сајтовима треба sitemap индекс. Google наводи да игнорише priority и changefreq, па не губите време на њих. Страница без интерних линкова је сироче које краулери могу да нађу касно или никако.

Пролази: URL је у sitemap-у и бар две странице га линкују са описним текстом линка.

11. hreflang је узајаман, са x-default

Ако страница постоји на више језика, свака верзија треба да наведе све верзије, укључујући себе, и свака мора да линкује назад. Google игнорише hreflang ознаке које нису потврђене са друге стране. Додајте x-default за верзију која се приказује када се ниједан језик не поклапа.

Прескочите ако: сајт има један језик. Наш водич о hreflang x-default објашњава када вам треба.

12. Затражите од претраживача да попишу нову страницу

Када је страница објављена и прође горње провере, обавестите претраживаче. У Google Search Console-у користите URL Inspection за нови URL и изаберите Request indexing. За Bing и друге претраживаче који подржавају IndexNow, пошаљите URL на IndexNow крајњу тачку са својим кључем. Bing напомиње да то не гарантује пописивање ни индексирање.

AI асистенти немају образац за слање. Њихови краулери налазе страницу преко линкова и претраге, и зато су провере 2, 3 и 10 важне. Ако објављујете датотеку llms.txt, додајте страницу и тамо. Google наводи да је његова Претрага не користи, па је сматрајте опционалном.

Пролази: URL Inspection показује да жива страница може да се индексира.

Како смо бирали ове провере

Листа прати пут краулера: долази до URL-а, чита robots.txt, пролази заштитни зид, чита HTML, па га тумачи. Свака провера се заснива на ономе што OpenAI, Anthropic, Perplexity и Google документују о својим краулерима, на RFC 9309 за robots.txt и на Google-овим смерницама за canonical, датуме, sitemap-ове и hreflang. Изоставили смо провере без документованог ефекта на AI одговоре, као што су густина кључних речи или циљни број речи.

Провере показују да страница може да се прочита, али не могу да покажу да ће бити цитирана. То зависи од тога колико је одговор добар у поређењу са другим изворима. Поновите провере 2 до 5 после сваке измене заштитног зида, CDN-а, теме или CMS-а, јер управо те измене тихо поништавају њихов резултат.

AISeeWhy покреће већину ових провера у једном пролазу: преузима страницу као 16 AI краулера и краулера претраживача поред правог прегледача, примењује robots.txt за сваки краулер и чита HTML, ознаке, canonical и датуме. Бесплатна провера приказује оцену и први налаз, а пун извештај наводи сваки проблем са спремном поправком.

Исправке за овај проблем

Бесплатни алати

Следећи кораци

Краулери у овом чланку

Честа питања

Да ли ове провере треба да покрећем на свакој страници?

Провере 1 до 5 покрените на свакој новој страници, јер појединачни URL може да буде блокиран или да носи заостали noindex. Провере 6 до 11 углавном зависе од шаблона, па их покрените једном по типу странице и насумично проверавајте нове странице.

Зашто не могу да пошаљем страницу ChatGPT-у или Claude-у као Google-у?

OpenAI, Anthropic и Perplexity не нуде алат за слање URL-ова веб страница. Њихови краулери налазе странице пратећи линкове и преко претраге, па су интерни линкови, sitemap и отворен приступ за OAI-SearchBot, Claude-SearchBot и PerplexityBot оно што ви контролишете.

Моја страница пролази свих дванаест провера. Зашто и даље није цитирана?

Провере чине страницу читљивом, а не пожељнијом. Асистент бира изворе који најбоље одговарају на питање, па упоредите своју страницу са страницама које цитира: да ли одговарају раније, наводе цене или спецификације у тексту или нуде податке којих ви немате.

Колико брзо после објаве долазе AI краулери?

Ниједан добављач не објављује распоред. Логови вашег сервера показују када OAI-SearchBot, Claude-SearchBot или PerplexityBot први пут затраже URL. Наш водич о провери логова сервера за AI краулере показује како да их пронађете.

Извори

Још чланака