12 AEO kontrolli, mis teha enne lehe avaldamist (2027)
Enne avaldamist veendu, et URL tagastab 200 ilma ümbersuunamisteta, robots.txt lubab iga AI-otsingurobotit, tulemüür annab neile päris lehe ja vastus on toores HTML-is. Seejärel kontrolli, et pole kogemata jäänud noindexit ega nosnippetit, et on üks canonical, vastus H1 all, kehtiv ja kattuv JSON-LD, ühtivad kuupäevad, sitemap'i kirje koos sisemiste linkidega ja hreflang, ning taotle indekseerimist.
Enamik lehti, mis AI-vastustes kunagi ei ilmu, komistab millegi igava taha: üle jäänud noindex, tulemüüri reegel, testkeskkonnale osutav canonical. Need kaksteist kontrolli püüavad sellised vead kinni enne avaldamist. Iga kontroll võtab paar minutit, enamik vajab ainult terminali ja lehe URL-i ning need on loetletud järjekorras, milles robot nendega kokku puutub.
Sellel lehel
- Kui kaua iga kontroll aega võtab?
- 1. URL tagastab 200 ilma ümbersuunamiste ahelata
- 2. robots.txt lubab lehte igale AI-otsingurobotile
- 3. Tulemüür annab AI-robotitele päris lehe
- 4. Vastus on toores HTML-is
- 5. Pole üle jäänud noindexit ega nosnippetit
- 6. Üks canonical URL, absoluutne ja iseendale osutav
- 7. Pealkiri ja H1 ütlevad, millele leht vastab, ja vastus on kohe all
- 8. JSON-LD parsitakse ja kattub nähtava tekstiga
- 9. Nähtav kuupäev, märgenduse kuupäevad ja sitemap'i lastmod ühtivad
- 10. Leht on sitemap'is ja seotud lehed lingivad sellele
- 11. hreflang on vastastikune ja sisaldab x-defaulti
- 12. Palu otsingumootoritel uut lehte roomata
- Kuidas me need kontrollid valisime
Kui kaua iga kontroll aega võtab?
Ligikaudne juhend ühe lehe kohta koos vajaliku tööriistaga. Tee kontrollid 1 kuni 5 igal lehel; ülejäänud üks kord malli kohta ja siis pisteliselt.
- 1. Olek 200: 1 minut, curl.
- 2. robots.txt iga roboti kohta: 3 minutit, brauser või curl.
- 3. Tulemüüri vastus: 3 minutit, curl.
- 4. Tekst toores HTML-is: 2 minutit, curl.
- 5. Pole juhuslikku noindexit ega nosnippetit: 2 minutit, curl.
- 6. Üks canonical: 2 minutit, view-source.
- 7. Pealkiri, H1 ja lühivastus: 5 minutit, lehte lugedes.
- 8. JSON-LD kehtiv ja kattuv: 5 minutit, rikkalike tulemuste test või Schema Markup Validator.
- 9. Kuupäevad ühtivad: 3 minutit, leht, märgendus ja sitemap.
- 10. Sitemap ja sisemised lingid: 5 minutit, sitemap.xml ja sinu sisuhaldussüsteem.
- 11. hreflang: 5 minutit, ainult mitmekeelsetele saitidele.
- 12. Indekseerimise taotlemine: 2 minutit, Search Console ja IndexNow.
1. URL tagastab 200 ilma ümbersuunamiste ahelata
Robot peaks saama lehe enda olekuga 200 täpselt sellel URL-il, mida jagad ja sitemap'i paned. Iga ümbersuunamine on veel üks samm, mis võib ebaõnnestuda, ja leht, mis vastab 200 ja teatega „ei leitud”, on soft 404, mille otsingumootorid võivad välja jätta.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Korras: 200 redirects=0 ja tagasi sama URL. Parandus: lingi ja kanna sitemap'i lõplik URL ning hoia vanadelt aadressidelt kõige rohkem üks ümbersuunamine.
2. robots.txt lubab lehte igale AI-otsingurobotile
Loe robots.txt-d nii, nagu iga robot seda loeks. Grupp, mis nimetab robotit, asendab selle jaoks grupi User-agent: * ning RFC 9309 järgi võidab pikim sobiv reegel, viigi korral võidab Allow.
Kontrolli vähemalt tunnuseid OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot ja Googlebot. Uue jaotise nagu /guides/ võib kinni püüda vana reegel Disallow: /g, sest reeglid sobituvad tee eesliidetega. Kinnita ka, et robots.txt ise tagastab 200 või 404: RFC 9309 järgi tähendab serveriviga, et robotid peavad eeldama, et kogu sait on keelatud.
Korras: ükski nende tunnuste reegel ei keela seda teed. Meie juhend robots.txt testimise kohta näitab, kuidas testida ühte URL-i ühe roboti jaoks.
3. Tulemüür annab AI-robotitele päris lehe
Küsi lehte brauseri user agent'iga ja robotite user agent'idega ning võrdle olekut ja suurust. Nime järgi sobituv botikaitse võib ainult robotitele tagastada koodi 403, 429 või kontrollilehe.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Korras: igal real on 200 ja sarnane suurus. Palju väiksem suurus tähendab tavaliselt kontrollilehte. Need stringid testivad nime järgi sobituvaid reegleid; päris robotid tulevad ka avaldatud IP-vahemikest, mida test sinu enda arvutist järele teha ei saa, seega kontrolli ka tulemüüri lubamisreegleid nende vahemike jaoks.
4. Vastus on toores HTML-is
Otsi serveri saadetud HTML-ist lauset oma vastusest. Brauseri elemendiinspektor näitab lehte pärast skriptide käivitumist, mis pole see, mida enamik roboteid saab.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Korras: 1 või rohkem. 0 tähendab, et tekst lisatakse JavaScriptiga, mille käivitamist OpenAI, Anthropic ja Perplexity oma robotite puhul ei dokumenteeri. Renderda see serveris või ehitamise ajal; meie juhend JavaScripti sisu ja AI-robotite kohta loetleb võimalused.
5. Pole üle jäänud noindexit ega nosnippetit
Testkeskkonnad lähevad sageli välja koos noindex-iga ja mall võib selle tootmisse kaasa viia. Kontrolli nii robots-metasilti kui ka HTTP päist X-Robots-Tag, sest kumbki neist loeb.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Korras: midagi ei prindita või ainult index, follow ja muu sarnane. Google ütleb, et leht peab olema indekseeritud ja snippet'i jaoks sobiv, et ilmuda AI-ülevaadetes ja AI-režiimis, ning et nosnippet blokeerib ka lehe kasutamise nende otsese sisendina.
6. Üks canonical URL, absoluutne ja iseendale osutav
Leht peaks deklareerima täpselt ühe rel="canonical" absoluutse URL-ina, mis osutab sinu avaldatavale URL-ile. Google nimetab canonicalit tugevaks signaaliks, mitte käsuks, ning hoiatab suhteliste URL-ide ja vastuoluliste signaalide eest, näiteks sitemap'i eest, mis loetleb teist aadressi.
Tavalised vead avaldamisel on mallilehelt kopeeritud canonical, testkeskkonna hostile endiselt osutav canonical ja kaks canonical-silti korraga, üks teemast ja teine pistikprogrammist.
Korras: üks silt, avalik URL, sama protokoll ja host mis sitemap'is.
7. Pealkiri ja H1 ütlevad, millele leht vastab, ja vastus on kohe all
Loe lehe ülaosa nagu võõras. Pealkiri ja H1 peaksid nimetama küsimuse või teema ostjate sõnadega ning esimesed kaks või kolm lauset H1 all peaksid sellele täielikult vastama.
Hoia pealkiri umbes 60 tähemärgi piires, et seda otsingutulemustes väiksema tõenäosusega kärbitaks. Kirjuta lühivastus nii, et see oleks mõistetav ka üksi tsiteerituna, koos välja kirjutatud numbrite, ühikute ja tootenimega.
Korras: see, kes loeb ainult esimest lõiku, saab vastuse. Meie loend viisidest, kuidas AI-vastused sinule viitaksid, käsitleb tsitaatide jaoks kirjutamist põhjalikumalt.
8. JSON-LD parsitakse ja kattub nähtava tekstiga
Katkist JSON-LD-d eiratakse tervikuna, nii et üks puuduv koma eemaldab kogu märgenduse. Kleebi URL Google'i rikkalike tulemuste testi (Rich Results Test) või Schema Markup Validatorisse ja paranda iga viga.
Seejärel võrdle väärtusi lehega. Märgenduses olev pealkiri, kuupäevad, hind, valuuta ja organisatsiooni nimi peavad olema need, mida lugeja näeb. Google ütleb, et tema AI-funktsioonid ei vaja erilist märgendust ja et struktureeritud andmed peavad kattuma nähtava tekstiga.
Korras: vigu pole ja iga väärtus on lehel nähtav. Jäta vahele, kui: lehetüübile ei sobi ükski märgendus; lihtne leht on parem kui vale märgendus.
9. Nähtav kuupäev, märgenduse kuupäevad ja sitemap'i lastmod ühtivad
Näita lehel sildiga kuupäeva, kasuta samu kuupäevi väljadel datePublished ja dateModified ning sea sitemap'i lastmod viimasele olulisele muudatusele. Google palub nähtavatel ja märgenduse kuupäevadel ühtida ning ütleb, et kasutab lastmod-i ainult siis, kui see on järjepidevalt ja kontrollitavalt täpne.
Sitemap'i generaator, mis märgib igal ehitamisel iga URL-i tänase kuupäevaga, muudab lastmod-i kasutuks kõigi lehtede jaoks, mitte ainult uue.
Korras: kolm kohta, üks kuupäev.
10. Leht on sitemap'is ja seotud lehed lingivad sellele
Robotid leiavad lehti linkide ja sitemap'ide kaudu. Lisa uus URL oma XML-sitemap'i täpselt canonical URL-ina ja lingi sellele vähemalt kahelt seotud lehelt ning ühelt koond- või registrilehelt.
Üks sitemap'i fail mahutab kuni 50 000 URL-i ja 50 MB pakkimata kujul; suuremad saidid vajavad sitemap'i indeksit. Google ütleb, et eirab välju priority ja changefreq, nii et ära neile aega kuluta. Sisemiste linkideta leht on orb, mille robotid võivad leida hilja või üldse mitte.
Korras: URL on sitemap'is ja vähemalt kaks lehte lingivad sellele kirjeldava ankrutekstiga.
11. hreflang on vastastikune ja sisaldab x-defaulti
Kui leht on olemas mitmes keeles, peab iga versioon loetlema kõik versioonid, sealhulgas iseenda, ja iga versioon peab tagasi lingima. Google eirab hreflangi märkeid, mida teine pool ei kinnita. Lisa x-default versiooni jaoks, mida näidatakse, kui ükski keel ei sobi.
Jäta vahele, kui: saidil on üks keel. Meie juhend hreflangi x-defaulti kohta selgitab, millal seda vaja on.
12. Palu otsingumootoritel uut lehte roomata
Kui leht on avalik ja läbib ülaltoodud kontrollid, anna otsingumootoritele sellest teada. Google Search Console'is kasuta uue URL-i jaoks URL-i kontrollimise tööriista (URL Inspection) ja vali „Taotle indekseerimist”. Bingi ja teiste IndexNow'd toetavate mootorite jaoks saada URL koos oma võtmega IndexNow' lõpp-punkti; Bing märgib, et see ei taga roomamist ega indekseerimist.
AI-assistentidel pole esitamisvormi. Nende robotid leiavad lehe linkide ja otsingu kaudu, mistõttu on kontrollid 2, 3 ja 10 olulised. Kui avaldad llms.txt faili, lisa leht ka sinna; Google ütleb, et tema otsing seda ei kasuta, seega pea seda valikuliseks.
Korras: URL-i kontrollimise tööriist näitab, et avalikku lehte saab indekseerida.
Kuidas me need kontrollid valisime
Loend järgib roboti teekonda: jõuab URL-ini, loeb robots.txt-d, läbib tulemüüri, loeb HTML-i ja tõlgendab seda. Iga kontroll põhineb sellel, mida OpenAI, Anthropic, Perplexity ja Google oma robotite kohta dokumenteerivad, RFC 9309-l robots.txt jaoks ning Google'i juhistel canonicalite, kuupäevade, sitemap'ide ja hreflangi kohta. Jätsime välja kontrollid, millel pole AI-vastustele dokumenteeritud mõju, näiteks märksõnatiheduse või sõnade arvu eesmärgid.
Kontrollid näitavad, et lehte saab lugeda; need ei saa näidata, et sellele viidatakse. See sõltub sellest, kui hea on vastus võrreldes teiste allikatega. Korda kontrolle 2 kuni 5 pärast iga tulemüüri, CDN-i, teema või sisuhaldussüsteemi muudatust, sest just need muudatused tühistavad need vaikselt.
AISeeWhy teeb enamiku neist kontrollidest ühe korraga: see laadib lehe 16 AI- ja otsingurobotina päris brauseri kõrval, rakendab robots.txt-d iga roboti kohta eraldi ning loeb HTML-i, märgendust, canonicalit ja kuupäevi. Tasuta kontroll näitab skoori ja esimest leidu; täisaruanne loetleb iga probleemi koos valmis parandusega.
Selle probleemi parandused
- OAI-SearchBot on blokeeritud
- Lehe sisu vajab JavaScripti
- Loendid, mis on kirjutatud lihttekstina
- Jaotised ei alga lühikese vastusega: 2 / 3
Järgmised sammud
- robots.txt testija ja kontrollija AI-robotitele
- llms.txt kontrollija ja valideerija
- Vaadake täieliku raporti näidet
- AI-robotite jälgimine
- Paketid ja hinnad
Selles artiklis olevad robotid
Korduma kippuvad küsimused
Kas pean neid kontrolle tegema igal lehel?
Tee kontrollid 1 kuni 5 igal uuel lehel, sest üksik URL võib olla blokeeritud või kanda juhuslikku noindexit. Kontrollid 6 kuni 11 sõltuvad peamiselt mallist, seega tee need üks kord lehetüübi kohta ja kontrolli uusi lehti pisteliselt.
Miks ma ei saa lehte ChatGPT-le või Claude'ile esitada nagu Google'ile?
OpenAI, Anthropic ja Perplexity ei paku veebilehtede jaoks URL-ide esitamise tööriista. Nende robotid leiavad lehti linke järgides ja otsingu kaudu, seega on sinu kontrolli all sisemised lingid, sitemap ja avatud ligipääs tunnustele OAI-SearchBot, Claude-SearchBot ja PerplexityBot.
Minu leht läbib kõik kaksteist kontrolli. Miks talle ikka ei viidata?
Kontrollid teevad lehe loetavaks, mitte eelistatuks. Assistent valib allikad, mis vastavad küsimusele kõige paremini, seega võrdle oma lehte nende lehtedega, millele ta viitab: kas need vastavad varem, kas need esitavad hinnad või tehnilised andmed tekstina või pakuvad andmeid, mis sinu lehel puuduvad.
Kui ruttu pärast avaldamist AI-robotid tulevad?
Ükski teenusepakkuja ajakava ei avalda. Sinu serverilogid näitavad, millal OAI-SearchBot, Claude-SearchBot või PerplexityBot URL-i esimest korda küsivad; meie juhend serverilogidest AI-robotite otsimise kohta näitab, kuidas neid leida.
Allikad
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI robotite ülevaade
- Anthropic: kas Anthropic kogub veebist andmeid ja kuidas saavad saidiomanikud robotit blokeerida?
- Perplexity: Perplexity robotid
- Google Search Central: AI-funktsioonid ja sinu veebisait
- Google Search Central: robots-metasilt, data-nosnippet ja X-Robots-Tag
- Google Search Central: kuidas määrata canonical URL
- Google Search Central: avaldamiskuupäevade mõjutamine
- Google Search Central: sitemap'i koostamine ja esitamine
- Sitemaps.org: sitemap'ide XML-vorming
- Google Search Central: anna Google'ile teada oma lehe lokaliseeritud versioonidest
- Google Search Console'i abi: URL-i kontrollimise tööriist
- Bing: IndexNow, alustamine
- Google Search Console'i abi: rikkalike tulemuste test
- Schema.org: Schema Markup Validator
- Google Search Central: JavaScripti SEO põhitõed