Бетті жарияламас бұрын жасалатын 12 AEO тексеруі (2027)

Жарияланды

Қысқа жауап

Жарияламас бұрын URL қайта бағыттаусыз 200 қайтаратынын, robots.txt әр ЖИ іздеу краулеріне рұқсат беретінін, файрвол оларға нақты бетті беретінін және жауап шикі HTML-де екенін растаңыз. Содан кейін кездейсоқ noindex немесе nosnippet жоқтығын, бір canonical, H1 астындағы жауапты, дұрыс әрі сәйкес JSON-LD, сәйкес күндерді, ішкі сілтемелері бар sitemap жазбасын, hreflang-ты тексеріп, индекстеуді сұраңыз.

ЖИ жауаптарында ешқашан шықпайтын беттердің көбі қарапайым нәрседен құлайды: қалып қойған noindex, файрвол ережесі, staging-ке нұсқайтын canonical. Бұл он екі тексеру оларды іске қосудан бұрын ұстайды. Әрқайсысына бірнеше минут кетеді, көбіне тек терминал мен беттің URL-і жеткілікті және олар краулер кездестіретін ретпен берілген.

Осы бетте
  1. Әр тексеруге қанша уақыт кетеді?
  2. 1. URL қайта бағыттау тізбегінсіз 200 қайтарады
  3. 2. robots.txt бетке әр ЖИ іздеу краулері үшін рұқсат береді
  4. 3. Файрвол ЖИ краулерлеріне нақты бетті береді
  5. 4. Жауап шикі HTML-де бар
  6. 5. Қалып қойған noindex немесе nosnippet жоқ
  7. 6. Бір canonical URL, абсолютті және өзіне нұсқайды
  8. 7. Title және H1 беттің неге жауап беретінін айтады, жауап дәл астында
  9. 8. JSON-LD талданады және көрінетін мәтінге сәйкес
  10. 9. Көрінетін күн, белгілеудегі күндер және sitemap lastmod сәйкес келеді
  11. 10. Бет sitemap-те бар және оған байланысты беттерден сілтеме бар
  12. 11. hreflang өзара, x-default бар
  13. 12. Іздеу жүйелерінен жаңа бетті аралауды сұраңыз
  14. Бұл тексерулерді қалай таңдадық

Әр тексеруге қанша уақыт кетеді?

Бір бетке шамамен, қажетті құралымен. 1-5 тексерулерді әр бетте жасаңыз, қалғанын әр үлгіге бір рет, содан кейін іріктеп тексеріңіз.

1. URL қайта бағыттау тізбегінсіз 200 қайтарады

Краулер бөлісетін және sitemap-ке енгізетін дәл сол URL бойынша беттің өзін 200 статусымен алуы керек. Әр қайта бағыттау сәтсіз болуы мүмкін тағы бір қадам, ал «табылмады» хабарымен 200 қайтаратын бет іздеу жүйелері алып тастай алатын soft 404.

# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/

Өтті: 200 redirects=0 және сол URL қайтады. Түзету: соңғы URL-ге сілтеме беріп, соны тізімге енгізіңіз, ескі мекенжайлардан ең көбі бір қайта бағыттау қалдырыңыз.

2. robots.txt бетке әр ЖИ іздеу краулері үшін рұқсат береді

robots.txt-ті әр краулер оқитындай оқыңыз. Краулерді атайтын топ ол үшін User-agent: * тобын алмастырады, ал RFC 9309 бойынша ең ұзын сәйкес ереже жеңеді, тең болса Allow жеңеді.

Кемінде OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot және Googlebot тексеріңіз. /guides/ сияқты жаңа бөлім ескі Disallow: /g ережесіне іліне алады, өйткені ережелер жол префиксі бойынша сәйкестенеді. Сондай-ақ robots.txt өзі 200 немесе 404 қайтаратынын растаңыз: RFC 9309 бойынша сервер қатесі краулерлер бүкіл сайтқа тыйым салынған деп есептеуі керек дегенді білдіреді.

Өтті: бұл токендердің ешқайсысына арналған ереже жолға тыйым салмайды. robots.txt-ті қалай тексеру туралы нұсқаулығымыз бір URL-ді бір краулерге қалай тексеруді көрсетеді.

3. Файрвол ЖИ краулерлеріне нақты бетті береді

Бетті браузер user agent-імен және краулер user agent-терімен сұрап, статус пен өлшемді салыстырыңыз. Атау бойынша сәйкестендіретін бот қорғанысы тек краулерлерге 403, 429 немесе тексеру бетін қайтара алады.

URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Өтті: әр жолда 200 және ұқсас өлшем. Әлдеқайда кіші өлшем әдетте тексеру бетін білдіреді. Бұл жолдар атау бойынша сәйкестендіретін ережелерді тексереді. Нақты краулерлер жарияланған IP ауқымдарынан да келеді, оны өз компьютеріңізден жасалған тест қайталай алмайды, сондықтан файрволдағы осы ауқымдарға арналған рұқсат ережелерін де тексеріңіз.

4. Жауап шикі HTML-де бар

Сервер жіберетін HTML ішінен жауабыңыздағы бір сөйлемді іздеңіз. Браузердің элементтер инспекторы бетті скрипттер орындалғаннан кейін көрсетеді, ал краулерлердің көбі мұны алмайды.

curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer"

Өтті: 1 немесе одан көп. 0 мәтінді JavaScript қосатынын білдіреді, ал OpenAI, Anthropic және Perplexity краулерлері оны орындайды деп құжаттамайды. Оны серверде немесе құрастыру кезінде рендерлеңіз. JavaScript мазмұны және ЖИ краулерлері туралы нұсқаулығымыз нұсқаларды тізіп береді.

5. Қалып қойған noindex немесе nosnippet жоқ

Staging сайттары жиі noindex-пен келеді, ал үлгі оны production-ға алып өтуі мүмкін. robots meta тегін де, X-Robots-Tag HTTP тақырыбын да тексеріңіз, өйткені екеуі де есептеледі.

curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html

Өтті: ештеңе шықпайды немесе тек index, follow және соған ұқсас. Google AI Overviews пен AI Mode-та шығу үшін бет индекстелген және snippet-ке рұқсат етілген болуы керек екенін, ал nosnippet оларға тікелей кіріс ретінде пайдалануды да бұғаттайтынын айтады.

6. Бір canonical URL, абсолютті және өзіне нұсқайды

Бет жариялайтын URL-ге нұсқайтын, абсолютті URL түріндегі дәл бір rel="canonical" жариялауы керек. Google canonical-ды бұйрық емес, күшті сигнал деп атайды және салыстырмалы URL-дерден және басқа мекенжайды көрсететін sitemap сияқты қайшы сигналдардан сақтандырады.

Іске қосудағы жиі қателер: үлгі беттен көшірілген canonical, әлі де staging хостына нұсқайтын canonical және тақырып пен плагиннен бір мезгілде келген екі canonical тегі.

Өтті: бір тег, жұмыс істеп тұрған URL, протокол мен хост sitemap-тегідей.

7. Title және H1 беттің неге жауап беретінін айтады, жауап дәл астында

Беттің жоғарғы бөлігін бөтен адамша оқыңыз. Title мен H1 сұрақты немесе тақырыпты сатып алушылардың сөзімен атауы керек, ал H1 астындағы алғашқы екі-үш сөйлем оған толық жауап беруі керек.

Іздеу нәтижелерінде қысқарып қалмауы үшін title-ды шамамен 60 таңбада ұстаңыз. Қысқа жауапты сандар, өлшем бірліктері және өнім атауы толық жазылған, жеке дәйексөз ретінде де түсінікті болатындай жазыңыз.

Өтті: тек бірінші абзацты оқыған адам жауапты алады. ЖИ жауаптарында дереккөз болу жолдары туралы тізіміміз дәйексөзге арнап жазуды толығырақ қарастырады.

8. JSON-LD талданады және көрінетін мәтінге сәйкес

Бұзылған JSON-LD толығымен еленбейді, сондықтан бір жетіспейтін үтір бәрін жояды. URL-ді Google Rich Results Test немесе Schema Markup Validator құралына қойып, әр қатені түзетіңіз.

Содан кейін мәндерді бетпен салыстырыңыз. Белгілеудегі тақырып, күндер, баға, валюта және ұйым атауы оқырман көретінмен бірдей болуы керек. Google өзінің ЖИ функциялары үшін арнайы белгілеу қажет емес екенін және құрылымдалған деректер көрінетін мәтінге сәйкес келуі керек екенін айтады.

Өтті: қате жоқ және әр мән бетте көрінеді. Өткізіп жіберуге болады: бет түріне сай белгілеу болмаса, қате белгілеуден қарапайым бет жақсы.

9. Көрінетін күн, белгілеудегі күндер және sitemap lastmod сәйкес келеді

Бетте белгіленген күнді көрсетіңіз, datePublished пен dateModified ішінде сол күндерді қолданыңыз және sitemap lastmod мәнін соңғы елеулі өзгеріске қойыңыз. Google көрінетін және белгіленген күндердің сәйкес келуін сұрайды және lastmod мәнін тек ол үнемі әрі тексерілетіндей дәл болса ғана пайдаланатынын айтады.

Әр құрастыруда әр URL-ге бүгінгі күнді басатын sitemap генераторы lastmod мәнін жаңа бет үшін ғана емес, барлық беттер үшін пайдасыз етеді.

Өтті: үш жерде бір күн.

10. Бет sitemap-те бар және оған байланысты беттерден сілтеме бар

Краулерлер беттерді сілтемелер мен sitemap-тер арқылы табады. Жаңа URL-ді XML sitemap-ке дәл canonical URL-мен қосып, оған кемінде екі байланысты беттен және бір хаб немесе индекс беттен сілтеме беріңіз.

Бір sitemap файлында 50,000 URL-ге дейін және сығылмаған күйде 50 MB-қа дейін болады, үлкенірек сайттарға sitemap index қажет. Google priority пен changefreq мәндерін елемейтінін айтады, сондықтан оларға уақыт жұмсамаңыз. Ішкі сілтемесі жоқ бет краулерлер кеш табуы немесе мүлде таппауы мүмкін жетім бет.

Өтті: URL sitemap-те бар және кемінде екі бет оған сипаттамалы анкор мәтінімен сілтеме береді.

11. hreflang өзара, x-default бар

Бет бірнеше тілде болса, әр нұсқа өзін қоса барлық нұсқаларды көрсетуі және әрқайсысы кері сілтеме беруі керек. Google екінші жақтан расталмаған hreflang аннотацияларын елемейді. Ешбір тіл сәйкес келмегенде көрсетілетін нұсқа үшін x-default қосыңыз.

Өткізіп жіберуге болады: сайт бір тілде болса. hreflang x-default туралы нұсқаулығымыз ол қашан қажет екенін түсіндіреді.

12. Іздеу жүйелерінен жаңа бетті аралауды сұраңыз

Бет жұмыс істеп, жоғарыдағы тексерулерден өткен соң, ол туралы іздеу жүйелеріне хабарлаңыз. Google Search Console-да жаңа URL үшін URL Inspection қолданып, Request indexing таңдаңыз. Bing және IndexNow қолдайтын басқа жүйелер үшін URL-ді кілтіңізбен IndexNow endpoint-іне жіберіңіз. Bing бұл аралауға немесе индекстеуге кепілдік бермейтінін ескертеді.

ЖИ ассистенттерінде жіберу формасы жоқ. Олардың краулерлері бетті сілтемелер мен іздеу арқылы табады, сондықтан 2, 3 және 10 тексерулер маңызды. llms.txt файлын жарияласаңыз, бетті сонда да қосыңыз. Google оны өз Search-і пайдаланбайтынын айтады, сондықтан оны міндетті емес деп санаңыз.

Өтті: URL Inspection жұмыс істеп тұрған бетті индекстеуге болатынын көрсетеді.

Бұл тексерулерді қалай таңдадық

Тізім краулер жүретін жолмен жүреді: URL-ге жету, robots.txt оқу, файрволдан өту, HTML оқу, содан кейін оны түсіндіру. Әр тексеру OpenAI, Anthropic, Perplexity және Google өз краулерлері туралы құжаттайтын нәрсеге, robots.txt үшін RFC 9309-ға және Google-дың canonical, күндер, sitemap және hreflang туралы нұсқаулығына негізделген. ЖИ жауаптарына әсері құжатталмаған тексерулерді, мысалы кілт сөз тығыздығы немесе сөз санының мақсаттарын қалдырдық.

Тексерулер беттің оқылатынын көрсетеді, бірақ оның дереккөз болатынын көрсете алмайды. Бұл жауаптың басқа дереккөздермен салыстырғанда қаншалықты жақсы екеніне байланысты. 2-5 тексерулерді файрвол, CDN, тақырып немесе CMS әр өзгергеннен кейін қайталаңыз, өйткені дәл осы өзгерістер оларды байқатпай бұзады.

AISeeWhy бұл тексерулердің көбін бір өтуде жасайды: бетті нақты браузермен қатар 16 ЖИ және іздеу краулері ретінде жүктейді, robots.txt-ті әр краулерге қолданады және HTML, белгілеу, canonical пен күндерді оқиды. Тегін тексеру ұпай мен алғашқы табылған мәселені көрсетеді, толық есеп әр мәселені дайын түзетуімен тізеді.

Бұл мәселені түзету жолдары

Тегін құралдар

Келесі қадамдар

Осы мақаладағы краулерлер

Жиі қойылатын сұрақтар

Бұл тексерулерді әр бетте жасау керек пе?

1-5 тексерулерді әр жаңа бетте жасаңыз, өйткені жеке URL бұғатталуы немесе кездейсоқ noindex алып жүруі мүмкін. 6-11 тексерулер негізінен үлгіге байланысты, сондықтан оларды әр бет түріне бір рет жасап, жаңа беттерді іріктеп тексеріңіз.

Неге бетті Google-ға жібергендей ChatGPT немесе Claude-қа жібере алмаймын?

OpenAI, Anthropic және Perplexity веб-беттер үшін URL жіберу құралын ұсынбайды. Олардың краулерлері беттерді сілтемелер және іздеу арқылы табады, сондықтан сіздің бақылауыңызда ішкі сілтемелер, sitemap және OAI-SearchBot, Claude-SearchBot пен PerplexityBot үшін ашық қолжетімділік бар.

Бетім он екі тексерудің бәрінен өтеді. Неге ол әлі дереккөз болмай жүр?

Тексерулер бетті таңдаулы емес, оқылатын етеді. Ассистент сұраққа ең жақсы жауап беретін дереккөздерді таңдайды, сондықтан бетіңізді ол көрсететін беттермен салыстырыңыз: олар ертерек жауап бере ме, бағалар мен сипаттамаларды мәтінмен жаза ма, сізде жоқ деректер бере ме.

Жариялағаннан кейін ЖИ краулерлері қаншалықты тез келеді?

Ешбір жеткізуші кесте жарияламайды. Сервер журналдарыңыз OAI-SearchBot, Claude-SearchBot немесе PerplexityBot URL-ді алғаш қашан сұрағанын көрсетеді. ЖИ краулерлерін сервер журналдарынан тексеру туралы нұсқаулығымыз оларды қалай табуды көрсетеді.

Дереккөздер

Басқа мақалалар