12 AEO provjera koje treba napraviti prije objave stranice (2027)
Prije objave potvrdite da URL vraća 200 bez preusmjeravanja, da robots.txt dopušta svaki AI crawler za pretraživanje, da im vatrozid šalje pravu stranicu i da je odgovor u sirovom HTML-u. Zatim provjerite da nema zaostalog noindex ili nosnippet, da postoji jedan canonical, odgovor ispod H1, ispravan JSON-LD koji odgovara tekstu, usklađeni datumi, unos u sitemapu s internim poveznicama, hreflang, i zatražite indeksiranje.
Većina stranica koje se nikad ne pojave u AI odgovorima padne na nečem dosadnom: zaostalom noindex, pravilu vatrozida, canonical oznaci koja pokazuje na testno okruženje. Ovih dvanaest provjera to hvata prije objave. Svaka traje nekoliko minuta, za većinu vam treba samo terminal i URL stranice, a poredane su redoslijedom kojim ih crawler susreće.
Na ovoj stranici
- Koliko traje svaka provjera?
- 1. URL vraća 200 bez lanca preusmjeravanja
- 2. robots.txt dopušta stranicu svakom AI crawleru za pretraživanje
- 3. Vatrozid AI crawlerima šalje pravu stranicu
- 4. Odgovor je u sirovom HTML-u
- 5. Nema zaostalog noindex ni nosnippet
- 6. Jedan canonical URL, apsolutan i usmjeren na samu stranicu
- 7. Naslov i H1 kažu na što stranica odgovara, a odgovor je odmah ispod
- 8. JSON-LD se ispravno parsira i odgovara vidljivom tekstu
- 9. Vidljivi datum, datumi u oznakama i lastmod u sitemapu se podudaraju
- 10. Stranica je u sitemapu i povezana sa srodnih stranica
- 11. hreflang je uzajaman, s x-default
- 12. Zatražite od tražilica da indeksiraju novu stranicu
- Kako smo birali ove provjere
Koliko traje svaka provjera?
Okvirni vodič za jednu stranicu, s alatom koji vam treba. Provjere 1 do 5 pokrenite na svakoj stranici, ostale jednom po predlošku, a zatim nasumično provjeravajte.
- 1. Status 200: 1 minuta, curl.
- 2. robots.txt po crawleru: 3 minute, preglednik ili curl.
- 3. Odgovor vatrozida: 3 minute, curl.
- 4. Tekst u sirovom HTML-u: 2 minute, curl.
- 5. Bez zaostalog noindex ili nosnippet: 2 minute, curl.
- 6. Jedan canonical: 2 minute, prikaz izvornog koda.
- 7. Naslov, H1 i kratak odgovor: 5 minuta, čitanje stranice.
- 8. JSON-LD ispravan i usklađen: 5 minuta, Rich Results Test ili Schema Markup Validator.
- 9. Datumi se podudaraju: 3 minute, stranica, oznake i sitemap.
- 10. Sitemap i interne poveznice: 5 minuta, sitemap.xml i vaš CMS.
- 11. hreflang: 5 minuta, samo za višejezične web-stranice.
- 12. Zahtjev za indeksiranje: 2 minute, Search Console i IndexNow.
1. URL vraća 200 bez lanca preusmjeravanja
Crawler treba dobiti samu stranicu sa statusom 200 na točnom URL-u koji ćete dijeliti i navesti u sitemapu. Svako preusmjeravanje još je jedan korak koji može zakazati, a stranica koja odgovara kodom 200 i porukom „nije pronađeno” je soft 404, koju tražilice mogu odbaciti.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Prolazi: 200 redirects=0 i isti URL natrag. Popravak: povezujte i navodite konačni URL i zadržite najviše jedno preusmjeravanje sa starih adresa.
2. robots.txt dopušta stranicu svakom AI crawleru za pretraživanje
Čitajte robots.txt onako kako bi ga čitao svaki crawler. Grupa koja navodi crawler zamjenjuje grupu User-agent: * za njega, a prema RFC 9309 pobjeđuje najdulje pravilo koje se podudara, dok Allow pobjeđuje pri izjednačenju.
Provjerite barem OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot i Googlebot. Novi odjeljak kao što je /guides/ može zahvatiti staro pravilo Disallow: /g jer se pravila podudaraju po prefiksu putanje. Potvrdite i da sam robots.txt vraća 200 ili 404: prema RFC 9309 pogreška poslužitelja znači da crawleri trebaju pretpostaviti da je cijela web-stranica zabranjena.
Prolazi: nijedno pravilo za ove tokene ne zabranjuje putanju. Naš vodič o testiranju robots.txt pokazuje kako provjeriti jedan URL za jedan crawler.
3. Vatrozid AI crawlerima šalje pravu stranicu
Zatražite stranicu s user agentom preglednika i s user agentima crawlera, a zatim usporedite status i veličinu. Zaštita od botova koja se podudara po imenu može samo crawlerima vratiti 403, 429 ili stranicu s provjerom.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Prolazi: svaki redak prikazuje 200 i sličnu veličinu. Mnogo manja veličina obično znači stranicu s provjerom. Ovi nizovi testiraju pravila koja se podudaraju po imenu. Pravi crawleri dolaze i s objavljenih IP raspona, što test s vašeg računala ne može ponoviti, pa provjerite i pravila dopuštanja u vatrozidu za te raspone.
4. Odgovor je u sirovom HTML-u
U HTML-u koji poslužitelj šalje potražite rečenicu iz svog odgovora. Inspektor elemenata u pregledniku prikazuje stranicu nakon izvršavanja skripti, a to nije ono što dobiva većina crawlera.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Prolazi: 1 ili više. Rezultat 0 znači da tekst dodaje JavaScript, a OpenAI, Anthropic i Perplexity ne dokumentiraju da ga njihovi crawleri izvršavaju. Renderirajte ga na poslužitelju ili pri izgradnji, naš vodič o JavaScript sadržaju i AI crawlerima navodi mogućnosti.
5. Nema zaostalog noindex ni nosnippet
Testne web-stranice često izlaze s noindex, a predložak ga može prenijeti u produkciju. Provjerite i robots meta oznaku i HTTP zaglavlje X-Robots-Tag jer se računa bilo koje od njih.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Prolazi: ništa nije ispisano ili samo index, follow i slično. Google navodi da stranica mora biti indeksirana i prikladna za isječak da bi se pojavila u AI Overviews i AI Mode te da nosnippet blokira i korištenje kao izravnog ulaza za njih.
6. Jedan canonical URL, apsolutan i usmjeren na samu stranicu
Stranica treba deklarirati točno jedan rel="canonical", kao apsolutni URL, usmjeren na URL koji objavljujete. Google canonical naziva jakim signalom, a ne naredbom, i upozorava na relativne URL-ove i na proturječne signale, primjerice sitemap koji navodi drugu adresu.
Česte pogreške pri objavi su canonical kopiran sa stranice predloška, canonical koji i dalje pokazuje na testni host i dvije canonical oznake istodobno, od teme i od dodatka.
Prolazi: jedna oznaka, živi URL, isti protokol i host kao u sitemapu.
7. Naslov i H1 kažu na što stranica odgovara, a odgovor je odmah ispod
Pročitajte vrh stranice kao neznanac. Naslov i H1 trebaju imenovati pitanje ili temu riječima koje kupci koriste, a prve dvije ili tri rečenice ispod H1 trebaju na njih u potpunosti odgovoriti.
Držite naslov na oko 60 znakova kako bi bilo manje vjerojatno da će biti skraćen u rezultatima pretraživanja. Kratak odgovor napišite tako da ima smisla i kad se citira sam, s ispisanim brojevima, jedinicama i nazivom proizvoda.
Prolazi: tko pročita samo prvi odlomak, ima odgovor. Naš popis načina da vas AI odgovori citiraju detaljnije pokriva pisanje za citiranje.
8. JSON-LD se ispravno parsira i odgovara vidljivom tekstu
Neispravan JSON-LD zanemaruje se u cijelosti, pa jedan zarez koji nedostaje uklanja sve. Zalijepite URL u Googleov Rich Results Test ili u Schema Markup Validator i popravite svaku pogrešku.
Zatim usporedite vrijednosti sa stranicom. Naslov, datumi, cijena, valuta i naziv organizacije u oznakama trebaju biti oni koje čitatelj vidi. Google navodi da za njegove AI značajke nisu potrebne posebne oznake i da strukturirani podaci trebaju odgovarati vidljivom tekstu.
Prolazi: nema pogrešaka i svaka je vrijednost vidljiva na stranici. Preskočite ako: za tu vrstu stranice nema odgovarajućih oznaka, obična stranica bolja je od pogrešnih oznaka.
9. Vidljivi datum, datumi u oznakama i lastmod u sitemapu se podudaraju
Prikažite datum s oznakom na stranici, koristite iste datume u datePublished i dateModified i postavite lastmod u sitemapu na posljednju značajnu izmjenu. Google traži da se vidljivi i označeni datumi podudaraju i navodi da lastmod koristi samo ako je dosljedno i provjerljivo točan.
Generator sitemapa koji pri svakoj izgradnji svakom URL-u upiše današnji datum čini lastmod beskorisnim za sve stranice, ne samo za novu.
Prolazi: tri mjesta, jedan datum.
10. Stranica je u sitemapu i povezana sa srodnih stranica
Crawleri pronalaze stranice preko poveznica i sitemapa. Dodajte novi URL u svoj XML sitemap, s točnim canonical URL-om, i povežite ga s barem dvije srodne stranice i jedne središnje ili indeksne stranice.
Datoteka sitemapa može sadržavati do 50.000 URL-ova i 50 MB bez kompresije, većim web-stranicama treba indeks sitemapa. Google navodi da zanemaruje priority i changefreq, pa ne gubite vrijeme na njih. Stranica bez internih poveznica siroče je koje crawleri mogu pronaći kasno ili nikako.
Prolazi: URL je u sitemapu i barem ga dvije stranice povezuju s opisnim tekstom poveznice.
11. hreflang je uzajaman, s x-default
Ako stranica postoji na više jezika, svaka verzija treba navesti sve verzije, uključujući sebe, i svaka mora povezivati natrag. Google zanemaruje hreflang oznake koje nisu potvrđene s druge strane. Dodajte x-default za verziju koja se prikazuje kad se nijedan jezik ne podudara.
Preskočite ako: web-stranica ima jedan jezik. Naš vodič o hreflang x-default objašnjava kada vam treba.
12. Zatražite od tražilica da indeksiraju novu stranicu
Kad je stranica objavljena i prođe gornje provjere, obavijestite tražilice. U Google Search Consoleu upotrijebite URL Inspection za novi URL i odaberite Request indexing. Za Bing i druge tražilice koje podržavaju IndexNow pošaljite URL na IndexNow krajnju točku sa svojim ključem. Bing napominje da to ne jamči indeksiranje.
AI asistenti nemaju obrazac za slanje. Njihovi crawleri pronalaze stranicu preko poveznica i pretraživanja, i zato su provjere 2, 3 i 10 važne. Ako objavljujete datoteku llms.txt, dodajte stranicu i ondje. Google navodi da je njegovo Pretraživanje ne koristi, pa je smatrajte neobaveznom.
Prolazi: URL Inspection pokazuje da se živa stranica može indeksirati.
Kako smo birali ove provjere
Popis prati put crawlera: dolazi do URL-a, čita robots.txt, prolazi vatrozid, čita HTML, a zatim ga tumači. Svaka se provjera temelji na onome što OpenAI, Anthropic, Perplexity i Google dokumentiraju o svojim crawlerima, na RFC 9309 za robots.txt i na Googleovim smjernicama za canonical, datume, sitemape i hreflang. Izostavili smo provjere bez dokumentiranog učinka na AI odgovore, kao što su gustoća ključnih riječi ili ciljani broj riječi.
Provjere pokazuju da se stranica može pročitati, ali ne mogu pokazati da će biti citirana. To ovisi o tome koliko je odgovor dobar u usporedbi s drugim izvorima. Ponovite provjere 2 do 5 nakon svake izmjene vatrozida, CDN-a, teme ili CMS-a jer upravo te izmjene tiho poništavaju njihov rezultat.
AISeeWhy pokreće većinu ovih provjera u jednom prolazu: dohvaća stranicu kao 16 AI crawlera i crawlera tražilica uz pravi preglednik, primjenjuje robots.txt za svaki crawler i čita HTML, oznake, canonical i datume. Besplatna provjera prikazuje ocjenu i prvi nalaz, a puno izvješće navodi svaki problem sa spremnim popravkom.
Ispravci za ovaj problem
- OAI-SearchBot je blokiran
- Sadržaj stranice treba JavaScript
- Popisi napisani kao običan tekst
- Odjeljci ne počinju kratkim odgovorom: 2 od 3
Sljedeći koraci
- robots.txt tester i provjera za AI crawlere
- Provjera i validator llms.txt
- Pogledajte primjer potpunog izvještaja
- Praćenje AI crawlera
- Planovi i cijene
Crawleri u ovom članku
Česta pitanja
Trebam li ove provjere pokretati na svakoj stranici?
Provjere 1 do 5 pokrenite na svakoj novoj stranici jer pojedinačni URL može biti blokiran ili nositi zaostali noindex. Provjere 6 do 11 uglavnom ovise o predlošku, pa ih pokrenite jednom po vrsti stranice i nasumično provjeravajte nove stranice.
Zašto ne mogu poslati stranicu ChatGPT-u ili Claudeu kao Googleu?
OpenAI, Anthropic i Perplexity ne nude alat za slanje URL-ova web-stranica. Njihovi crawleri pronalaze stranice prateći poveznice i preko pretraživanja, pa su interne poveznice, sitemap i otvoren pristup za OAI-SearchBot, Claude-SearchBot i PerplexityBot ono što vi kontrolirate.
Moja stranica prolazi svih dvanaest provjera. Zašto i dalje nije citirana?
Provjere čine stranicu čitljivom, a ne poželjnijom. Asistent bira izvore koji najbolje odgovaraju na pitanje, pa usporedite svoju stranicu sa stranicama koje citira: odgovaraju li ranije, navode li cijene ili specifikacije u tekstu ili nude podatke kojih vi nemate.
Koliko brzo nakon objave dolaze AI crawleri?
Nijedan dobavljač ne objavljuje raspored. Zapisnici vašeg poslužitelja pokazuju kada OAI-SearchBot, Claude-SearchBot ili PerplexityBot prvi put zatraže URL. Naš vodič o provjeri zapisnika poslužitelja za AI crawlere pokazuje kako ih pronaći.
Izvori
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Pregled OpenAI crawlera
- Anthropic: Prikuplja li Anthropic podatke s weba i kako vlasnici web-stranica mogu blokirati crawler?
- Perplexity: Perplexity crawleri
- Google Search Central: AI značajke i vaša web-stranica
- Google Search Central: Robots meta oznaka, data-nosnippet i X-Robots-Tag
- Google Search Central: Kako navesti canonical URL
- Google Search Central: Utjecaj na datume uz autorski potpis
- Google Search Central: Izrada i slanje sitemapa
- Sitemaps.org: XML format sitemapa
- Google Search Central: Obavijestite Google o lokaliziranim verzijama stranice
- Pomoć za Google Search Console: alat URL Inspection
- Bing: IndexNow, prvi koraci
- Pomoć za Google Search Console: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: Osnove JavaScript SEO-a