12 semakan AEO sebelum anda menerbitkan halaman (2027)
Sebelum menerbitkan, sahkan URL memulangkan 200 tanpa ubah hala, robots.txt membenarkan setiap crawler carian AI, firewall anda menyajikan halaman sebenar kepada mereka, dan jawapan ada dalam HTML mentah. Kemudian semak noindex atau nosnippet yang tertinggal, satu canonical, jawapan di bawah H1, JSON-LD yang sah dan sepadan, tarikh yang sepadan, entri sitemap dengan pautan dalaman, hreflang, dan minta pengindeksan.
Kebanyakan halaman yang tidak pernah muncul dalam jawapan AI gagal kerana perkara yang membosankan: noindex yang tertinggal, peraturan firewall, canonical yang menghala ke staging. Dua belas semakan ini menangkapnya sebelum pelancaran. Setiap satu mengambil beberapa minit, kebanyakannya hanya memerlukan terminal dan URL halaman, dan ia disusun mengikut urutan crawler menemuinya.
Dalam halaman ini
- Berapa lama setiap semakan?
- 1. URL memulangkan 200 tanpa rantaian ubah hala
- 2. robots.txt membenarkan halaman untuk setiap crawler carian AI
- 3. Firewall menyajikan halaman sebenar kepada crawler AI
- 4. Jawapan ada dalam HTML mentah
- 5. Tiada noindex atau nosnippet yang tertinggal
- 6. Satu URL canonical, mutlak dan menghala ke dirinya sendiri
- 7. Tajuk dan H1 menyatakan apa yang dijawab halaman, dengan jawapan betul-betul di bawahnya
- 8. JSON-LD boleh dihuraikan dan sepadan dengan teks yang dipaparkan
- 9. Tarikh yang dipaparkan, tarikh markup dan lastmod sitemap sepadan
- 10. Halaman ada dalam sitemap dan dipautkan dari halaman berkaitan
- 11. hreflang bersifat timbal balik, dengan x-default
- 12. Minta enjin carian merangkak halaman baharu
- Cara kami memilih semakan ini
Berapa lama setiap semakan?
Anggaran kasar untuk satu halaman, dengan alat yang anda perlukan. Jalankan semakan 1 hingga 5 pada setiap halaman; selebihnya sekali bagi setiap templat, kemudian semak secara rawak.
- 1. Status 200: 1 minit, curl.
- 2. robots.txt bagi setiap crawler: 3 minit, pelayar atau curl.
- 3. Respons firewall: 3 minit, curl.
- 4. Teks dalam HTML mentah: 2 minit, curl.
- 5. Tiada noindex atau nosnippet yang tertinggal: 2 minit, curl.
- 6. Satu canonical: 2 minit, view-source.
- 7. Tajuk, H1 dan jawapan ringkas: 5 minit, membaca halaman.
- 8. JSON-LD sah dan sepadan: 5 minit, Rich Results Test atau Schema Markup Validator.
- 9. Tarikh sepadan: 3 minit, halaman, markup dan sitemap.
- 10. Sitemap dan pautan dalaman: 5 minit, sitemap.xml dan CMS anda.
- 11. hreflang: 5 minit, hanya untuk laman berbilang bahasa.
- 12. Minta pengindeksan: 2 minit, Search Console dan IndexNow.
1. URL memulangkan 200 tanpa rantaian ubah hala
Crawler patut mendapat halaman itu sendiri dengan status 200 pada URL tepat yang akan anda kongsi dan senaraikan dalam sitemap. Setiap ubah hala ialah satu langkah lagi yang boleh gagal, dan halaman yang menjawab 200 dengan mesej "tidak ditemui" ialah soft 404 yang mungkin digugurkan oleh enjin carian.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Lulus: 200 redirects=0 dan URL yang sama dipulangkan. Pembaikan: pautkan dan senaraikan URL akhir, dan kekalkan paling banyak satu ubah hala daripada alamat lama.
2. robots.txt membenarkan halaman untuk setiap crawler carian AI
Baca robots.txt seperti yang dilakukan setiap crawler. Kumpulan yang menamakan crawler menggantikan kumpulan User-agent: * untuknya, dan di bawah RFC 9309 peraturan sepadan yang paling panjang menang, dengan Allow menang jika seri.
Semak sekurang-kurangnya OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot dan Googlebot. Bahagian baharu seperti /guides/ boleh terkena peraturan lama Disallow: /g, kerana peraturan memadankan awalan laluan. Sahkan juga robots.txt sendiri memulangkan 200 atau 404: di bawah RFC 9309, ralat pelayan bermakna crawler patut menganggap seluruh laman dilarang.
Lulus: tiada peraturan untuk mana-mana token ini yang melarang laluan itu. Panduan kami tentang cara menguji robots.txt menunjukkan cara menguji satu URL untuk satu crawler.
3. Firewall menyajikan halaman sebenar kepada crawler AI
Minta halaman dengan user agent pelayar dan dengan user agent crawler, kemudian bandingkan status dan saiz. Perlindungan bot yang memadankan nama boleh memulangkan 403, 429 atau halaman cabaran kepada crawler sahaja.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Lulus: setiap baris menunjukkan 200 dan saiz yang hampir sama. Saiz yang jauh lebih kecil biasanya bermakna halaman cabaran. Rentetan ini menguji peraturan yang memadankan nama; crawler sebenar juga datang dari julat IP yang diterbitkan, yang tidak dapat ditiru oleh ujian dari mesin anda sendiri, jadi semak juga peraturan benarkan firewall anda untuk julat itu.
4. Jawapan ada dalam HTML mentah
Cari satu ayat daripada jawapan anda dalam HTML yang dihantar pelayan. Pemeriksa elemen pelayar menunjukkan halaman selepas skrip berjalan, dan itu bukan apa yang diterima kebanyakan crawler.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Lulus: 1 atau lebih. Nilai 0 bermakna teks ditambah oleh JavaScript, sedangkan OpenAI, Anthropic dan Perplexity tidak mendokumenkan bahawa crawler mereka menjalankannya. Paparkan di pelayan atau semasa build; panduan kami tentang kandungan JavaScript dan crawler AI menyenaraikan pilihannya.
5. Tiada noindex atau nosnippet yang tertinggal
Laman staging sering dilancarkan dengan noindex, dan templat boleh membawanya ke produksi. Semak kedua-dua tag meta robots dan pengepala HTTP X-Robots-Tag, kerana kedua-duanya dikira.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Lulus: tiada apa yang dicetak, atau hanya index, follow dan seumpamanya. Google menyatakan halaman mesti diindeks dan layak untuk snippet untuk muncul dalam AI Overviews dan AI Mode, dan nosnippet juga menyekat penggunaannya sebagai input langsung untuk ciri itu.
6. Satu URL canonical, mutlak dan menghala ke dirinya sendiri
Halaman patut mengisytiharkan tepat satu rel="canonical", sebagai URL mutlak, yang menghala ke URL yang anda terbitkan. Google menyifatkan canonical sebagai isyarat kuat, bukan arahan, dan memberi amaran terhadap URL relatif serta isyarat bercanggah seperti sitemap yang menyenaraikan alamat lain.
Kesilapan biasa semasa pelancaran ialah canonical yang disalin daripada halaman templat, canonical yang masih menghala ke hos staging, dan dua tag canonical serentak daripada tema dan plugin.
Lulus: satu tag, URL langsung, protokol dan hos yang sama seperti dalam sitemap.
7. Tajuk dan H1 menyatakan apa yang dijawab halaman, dengan jawapan betul-betul di bawahnya
Baca bahagian atas halaman seperti orang asing membacanya. Tajuk dan H1 patut menamakan soalan atau topik dengan perkataan yang digunakan pembeli, dan dua atau tiga ayat pertama di bawah H1 patut menjawabnya sepenuhnya.
Hadkan tajuk kepada kira-kira 60 aksara supaya kurang berkemungkinan dipotong dalam hasil carian. Tulis jawapan ringkas supaya masih bermakna apabila dipetik sendirian, dengan nombor, unit dan nama produk ditulis penuh.
Lulus: seseorang yang hanya membaca perenggan pertama sudah mendapat jawapannya. Senarai kami tentang cara untuk dipetik dalam jawapan AI membincangkan penulisan untuk dipetik dengan lebih mendalam.
8. JSON-LD boleh dihuraikan dan sepadan dengan teks yang dipaparkan
JSON-LD yang rosak diabaikan sepenuhnya, jadi satu koma yang hilang membuang semuanya. Tampal URL ke dalam Rich Results Test Google atau Schema Markup Validator dan baiki setiap ralat.
Kemudian bandingkan nilainya dengan halaman. Tajuk, tarikh, harga, mata wang dan nama organisasi dalam markup patut sama dengan yang dilihat pembaca. Google menyatakan tiada markup khas diperlukan untuk ciri AI-nya, dan data berstruktur patut sepadan dengan teks yang dipaparkan.
Lulus: tiada ralat, dan setiap nilai kelihatan pada halaman. Langkau jika: jenis halaman itu tiada markup yang sesuai; halaman biasa lebih baik daripada markup yang salah.
9. Tarikh yang dipaparkan, tarikh markup dan lastmod sitemap sepadan
Tunjukkan tarikh berlabel pada halaman, gunakan tarikh yang sama dalam datePublished dan dateModified, dan tetapkan lastmod sitemap kepada perubahan penting yang terakhir. Google meminta tarikh yang dipaparkan dan tarikh dalam markup sepadan, dan menyatakan ia hanya menggunakan lastmod jika nilainya tepat secara konsisten dan boleh disahkan.
Penjana sitemap yang mengecop setiap URL dengan tarikh hari ini pada setiap build menjadikan lastmod tidak berguna untuk semua halaman, bukan hanya halaman baharu.
Lulus: tiga tempat, satu tarikh.
10. Halaman ada dalam sitemap dan dipautkan dari halaman berkaitan
Crawler menemui halaman melalui pautan dan sitemap. Tambah URL baharu ke sitemap XML anda, menggunakan URL canonical yang tepat, dan pautkan kepadanya dari sekurang-kurangnya dua halaman berkaitan dan satu halaman hab atau indeks.
Satu fail sitemap boleh memuatkan sehingga 50,000 URL dan 50 MB tanpa mampatan; laman yang lebih besar memerlukan indeks sitemap. Google menyatakan ia mengabaikan priority dan changefreq, jadi jangan buang masa padanya. Halaman tanpa pautan dalaman ialah halaman yatim yang mungkin ditemui crawler lewat atau langsung tidak.
Lulus: URL ada dalam sitemap dan sekurang-kurangnya dua halaman memautkannya dengan teks sauh yang deskriptif.
11. hreflang bersifat timbal balik, dengan x-default
Jika halaman wujud dalam beberapa bahasa, setiap versi patut menyenaraikan semua versi, termasuk dirinya sendiri, dan setiap satu mesti memaut kembali. Google mengabaikan anotasi hreflang yang tidak disahkan dari pihak sebelah. Tambah x-default untuk versi yang ditunjukkan apabila tiada bahasa yang sepadan.
Langkau jika: laman itu hanya mempunyai satu bahasa. Panduan kami tentang hreflang x-default menerangkan bila anda memerlukannya.
12. Minta enjin carian merangkak halaman baharu
Sebaik sahaja halaman disiarkan dan lulus semakan di atas, beritahu enjin carian tentangnya. Dalam Google Search Console, gunakan URL Inspection pada URL baharu dan pilih Request indexing. Untuk Bing dan enjin lain yang menyokong IndexNow, hantar URL ke endpoint IndexNow dengan kunci anda; Bing mencatatkan bahawa ini tidak menjamin perangkakan atau pengindeksan.
Pembantu AI tiada borang penghantaran. Crawler mereka menemui halaman melalui pautan dan carian, sebab itulah semakan 2, 3 dan 10 penting. Jika anda menerbitkan fail llms.txt, tambah halaman itu di sana juga; Google menyatakan Cariannya tidak menggunakannya, jadi anggap ia pilihan.
Lulus: URL Inspection menunjukkan halaman langsung boleh diindeks.
Cara kami memilih semakan ini
Senarai ini mengikut laluan yang diambil crawler: mencapai URL, membaca robots.txt, melepasi firewall, membaca HTML, kemudian mentafsirnya. Setiap semakan berdasarkan apa yang didokumenkan oleh OpenAI, Anthropic, Perplexity dan Google tentang crawler mereka, RFC 9309 untuk robots.txt, dan panduan Google untuk canonical, tarikh, sitemap dan hreflang. Kami tinggalkan semakan yang tiada kesan berdokumen pada jawapan AI, seperti ketumpatan kata kunci atau sasaran bilangan perkataan.
Semakan ini menunjukkan bahawa halaman boleh dibaca; ia tidak dapat menunjukkan bahawa halaman akan dipetik. Itu bergantung pada sejauh mana jawapannya baik berbanding sumber lain. Ulang semakan 2 hingga 5 selepas setiap perubahan firewall, CDN, tema atau CMS, kerana perubahan itulah yang diam-diam membatalkannya.
AISeeWhy menjalankan kebanyakan semakan ini sekali gus: ia mengambil halaman sebagai 16 crawler AI dan enjin carian di samping pelayar sebenar, menggunakan robots.txt bagi setiap crawler dan membaca HTML, markup, canonical dan tarikh. Semakan percuma menunjukkan skor dan penemuan pertama; laporan penuh menyenaraikan setiap masalah dengan pembaikan sedia guna.
Pembetulan untuk masalah ini
- OAI-SearchBot disekat
- Kandungan halaman memerlukan JavaScript
- Senarai yang ditulis sebagai teks biasa
- Bahagian tidak dibuka dengan jawapan ringkas: 2 daripada 3
Langkah seterusnya
- Penguji dan penyemak robots.txt untuk perangkak AI
- Penyemak dan pengesah llms.txt
- Lihat contoh laporan penuh
- Pemantauan perangkak AI
- Pelan dan harga
Perangkak dalam artikel ini
Soalan lazim
Adakah saya perlu menjalankan semakan ini pada setiap halaman?
Jalankan semakan 1 hingga 5 pada setiap halaman baharu, kerana satu URL boleh disekat atau membawa noindex yang tertinggal. Semakan 6 hingga 11 kebanyakannya bergantung pada templat, jadi jalankannya sekali bagi setiap jenis halaman dan semak halaman baharu secara rawak.
Mengapa saya tidak boleh menghantar halaman ke ChatGPT atau Claude seperti ke Google?
OpenAI, Anthropic dan Perplexity tidak menawarkan alat penghantaran URL untuk halaman web. Crawler mereka menemui halaman dengan mengikut pautan dan melalui carian, jadi pautan dalaman, sitemap dan akses terbuka untuk OAI-SearchBot, Claude-SearchBot dan PerplexityBot ialah perkara yang anda kawal.
Halaman saya lulus kesemua dua belas semakan. Mengapa ia masih tidak dipetik?
Semakan ini menjadikan halaman boleh dibaca, bukan diutamakan. Pembantu AI memilih sumber yang paling baik menjawab sesuatu soalan, jadi bandingkan halaman anda dengan halaman yang memang dipetiknya: sama ada halaman itu menjawab lebih awal, menyatakan harga atau spesifikasi dalam teks, atau menawarkan data yang tiada pada halaman anda.
Berapa cepat crawler AI melawat selepas penerbitan?
Tiada vendor yang menerbitkan jadual. Log pelayan anda menunjukkan bila OAI-SearchBot, Claude-SearchBot atau PerplexityBot mula-mula meminta URL itu; panduan kami tentang menyemak log pelayan untuk crawler AI menunjukkan cara mencarinya.
Sumber
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Gambaran keseluruhan crawler OpenAI
- Anthropic: Adakah Anthropic merangkak data dari web, dan bagaimana pemilik laman boleh menyekat crawler itu?
- Perplexity: Crawler Perplexity
- Google Search Central: Ciri AI dan laman web anda
- Google Search Central: Tag meta robots, data-nosnippet dan X-Robots-Tag
- Google Search Central: Cara menentukan URL canonical
- Google Search Central: Mempengaruhi tarikh byline anda
- Google Search Central: Membina dan menghantar sitemap
- Sitemaps.org: Format XML sitemap
- Google Search Central: Beritahu Google tentang versi halaman anda yang disetempatkan
- Bantuan Google Search Console: Alat URL Inspection
- Bing: IndexNow, bermula
- Bantuan Google Search Console: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: Asas SEO JavaScript