12 pemeriksaan AEO sebelum Anda memublikasikan halaman (2027)
Sebelum memublikasikan, pastikan URL mengembalikan 200 tanpa redirect, robots.txt mengizinkan setiap crawler pencarian AI, firewall menyajikan halaman asli kepada mereka, dan jawabannya ada di HTML mentah. Lalu periksa noindex atau nosnippet yang tertinggal, satu canonical, jawaban di bawah H1, JSON-LD yang valid dan sesuai, tanggal yang cocok, entri sitemap dengan tautan internal, hreflang, dan minta pengindeksan.
Kebanyakan halaman yang tidak pernah muncul di jawaban AI gagal karena hal yang membosankan: noindex yang tertinggal, aturan firewall, canonical yang mengarah ke staging. Dua belas pemeriksaan ini menangkapnya sebelum rilis. Masing-masing hanya butuh beberapa menit, sebagian besar cukup dengan terminal dan URL halaman, dan semuanya diurutkan sesuai urutan crawler menjumpainya.
Di halaman ini
- Berapa lama setiap pemeriksaan?
- 1. URL mengembalikan 200 tanpa rantai redirect
- 2. robots.txt mengizinkan halaman untuk setiap crawler pencarian AI
- 3. Firewall menyajikan halaman asli kepada crawler AI
- 4. Jawabannya ada di HTML mentah
- 5. Tidak ada noindex atau nosnippet yang tertinggal
- 6. Satu URL canonical, absolut dan mengarah ke dirinya sendiri
- 7. Judul dan H1 menyebut apa yang dijawab halaman, dengan jawaban tepat di bawahnya
- 8. JSON-LD bisa diurai dan sesuai dengan teks yang terlihat
- 9. Tanggal yang terlihat, tanggal di markup, dan lastmod sitemap cocok
- 10. Halaman ada di sitemap dan ditautkan dari halaman terkait
- 11. hreflang bersifat timbal balik, dengan x-default
- 12. Minta mesin pencari meng-crawl halaman baru
- Cara kami memilih pemeriksaan ini
Berapa lama setiap pemeriksaan?
Perkiraan kasar untuk satu halaman, beserta alat yang Anda perlukan. Jalankan pemeriksaan 1 sampai 5 di setiap halaman; sisanya sekali per template, lalu cek acak.
- 1. Status 200: 1 menit, curl.
- 2. robots.txt per crawler: 3 menit, browser atau curl.
- 3. Respons firewall: 3 menit, curl.
- 4. Teks di HTML mentah: 2 menit, curl.
- 5. Tidak ada noindex atau nosnippet yang tertinggal: 2 menit, curl.
- 6. Satu canonical: 2 menit, view-source.
- 7. Judul, H1, dan jawaban singkat: 5 menit, membaca halaman.
- 8. JSON-LD valid dan sesuai: 5 menit, Rich Results Test atau Schema Markup Validator.
- 9. Tanggal cocok: 3 menit, halaman, markup, dan sitemap.
- 10. Sitemap dan tautan internal: 5 menit, sitemap.xml dan CMS Anda.
- 11. hreflang: 5 menit, hanya untuk situs multibahasa.
- 12. Minta pengindeksan: 2 menit, Search Console dan IndexNow.
1. URL mengembalikan 200 tanpa rantai redirect
Crawler harus mendapat halaman itu sendiri dengan status 200 di URL persis yang akan Anda bagikan dan cantumkan di sitemap. Setiap redirect adalah satu langkah lagi yang bisa gagal, dan halaman yang menjawab 200 dengan pesan "tidak ditemukan" adalah soft 404 yang bisa dibuang mesin pencari.
# Final status, number of redirects and final URL
curl -s -o /dev/null -L -w "%{http_code} redirects=%{num_redirects} %{url_effective}\n" https://example.com/new-page/ Lolos: 200 redirects=0 dan URL yang sama kembali. Perbaikan: tautkan dan cantumkan URL final, dan pertahankan paling banyak satu redirect dari alamat lama.
2. robots.txt mengizinkan halaman untuk setiap crawler pencarian AI
Baca robots.txt seperti yang dilakukan setiap crawler. Grup yang menyebut nama sebuah crawler menggantikan grup User-agent: * untuknya, dan menurut RFC 9309 aturan yang cocok paling panjang yang menang, dengan Allow menang jika seri.
Periksa setidaknya OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot, dan Googlebot. Bagian baru seperti /guides/ bisa terkena aturan lama Disallow: /g, karena aturan mencocokkan awalan path. Pastikan juga robots.txt sendiri mengembalikan 200 atau 404: menurut RFC 9309, error server berarti crawler harus menganggap seluruh situs dilarang.
Lolos: tidak ada aturan untuk token-token ini yang melarang path tersebut. Panduan kami tentang cara menguji robots.txt menunjukkan cara menguji satu URL untuk satu crawler.
3. Firewall menyajikan halaman asli kepada crawler AI
Minta halaman dengan user agent browser dan dengan user agent crawler, lalu bandingkan status dan ukurannya. Perlindungan bot yang mencocokkan nama bisa mengembalikan 403, 429, atau halaman tantangan hanya kepada crawler.
URL=https://example.com/new-page/
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
"Mozilla/5.0 (compatible; Claude-SearchBot)" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download} $UA\n" -A "$UA" "$URL"
done Lolos: setiap baris menunjukkan 200 dan ukuran yang mirip. Ukuran yang jauh lebih kecil biasanya berarti halaman tantangan. String ini menguji aturan yang mencocokkan nama; crawler asli juga datang dari rentang IP yang dipublikasikan, yang tidak bisa ditiru oleh pengujian dari komputer Anda sendiri, jadi periksa juga aturan izin firewall Anda untuk rentang tersebut.
4. Jawabannya ada di HTML mentah
Cari satu kalimat dari jawaban Anda di HTML yang dikirim server. Inspektur elemen browser menampilkan halaman setelah skrip berjalan, dan itu bukan yang didapat sebagian besar crawler.
curl -s https://example.com/new-page/ | grep -c "a sentence from your short answer" Lolos: 1 atau lebih. Angka 0 berarti teks ditambahkan oleh JavaScript, padahal OpenAI, Anthropic, dan Perplexity tidak mendokumentasikan bahwa crawler mereka menjalankannya. Render di server atau saat build; panduan kami tentang konten JavaScript dan crawler AI mencantumkan pilihannya.
5. Tidak ada noindex atau nosnippet yang tertinggal
Situs staging sering dirilis dengan noindex, dan template bisa membawanya ke produksi. Periksa tag meta robots dan header HTTP X-Robots-Tag, karena keduanya sama-sama berlaku.
curl -s -D - -o /tmp/page.html https://example.com/new-page/ | grep -i "x-robots-tag"
grep -i -o '<meta[^>]*name="robots"[^>]*>' /tmp/page.html Lolos: tidak ada yang tercetak, atau hanya index, follow dan sejenisnya. Google menyatakan halaman harus terindeks dan layak tampil dengan snippet agar muncul di AI Overviews dan AI Mode, dan nosnippet juga memblokir pemakaiannya sebagai input langsung untuk fitur tersebut.
6. Satu URL canonical, absolut dan mengarah ke dirinya sendiri
Halaman harus mendeklarasikan tepat satu rel="canonical", sebagai URL absolut, yang mengarah ke URL yang Anda publikasikan. Google menyebut canonical sebagai sinyal kuat, bukan perintah, dan memperingatkan agar tidak memakai URL relatif atau sinyal yang saling bertentangan, seperti sitemap yang mencantumkan alamat lain.
Kesalahan umum saat rilis adalah canonical yang tersalin dari halaman template, canonical yang masih mengarah ke host staging, dan dua tag canonical sekaligus dari tema dan plugin.
Lolos: satu tag, URL live, protokol dan host yang sama seperti di sitemap.
7. Judul dan H1 menyebut apa yang dijawab halaman, dengan jawaban tepat di bawahnya
Baca bagian atas halaman seperti orang asing membacanya. Judul dan H1 harus menyebut pertanyaan atau topiknya dengan kata-kata yang dipakai pembeli, dan dua atau tiga kalimat pertama di bawah H1 harus menjawabnya secara penuh.
Batasi judul sekitar 60 karakter agar lebih kecil kemungkinannya terpotong di hasil pencarian. Tulis jawaban singkat agar tetap masuk akal saat dikutip sendirian, dengan angka, satuan, dan nama produk ditulis lengkap.
Lolos: orang yang hanya membaca paragraf pertama sudah mendapat jawabannya. Daftar kami tentang cara agar dikutip dalam jawaban AI membahas cara menulis untuk dikutip lebih mendalam.
8. JSON-LD bisa diurai dan sesuai dengan teks yang terlihat
JSON-LD yang rusak diabaikan seluruhnya, jadi satu koma yang hilang menghapus semuanya. Tempel URL ke Rich Results Test Google atau Schema Markup Validator dan perbaiki setiap error.
Lalu bandingkan nilainya dengan halaman. Judul, tanggal, harga, mata uang, dan nama organisasi di markup harus sama dengan yang dilihat pembaca. Google menyatakan tidak ada markup khusus yang diperlukan untuk fitur AI-nya, dan data terstruktur harus sesuai dengan teks yang terlihat.
Lolos: tidak ada error, dan setiap nilai terlihat di halaman. Lewati jika: jenis halaman itu tidak punya markup yang cocok; halaman polos lebih baik daripada markup yang salah.
9. Tanggal yang terlihat, tanggal di markup, dan lastmod sitemap cocok
Tampilkan tanggal berlabel di halaman, gunakan tanggal yang sama di datePublished dan dateModified, dan isi lastmod di sitemap dengan perubahan signifikan terakhir. Google meminta tanggal yang terlihat dan tanggal di markup saling cocok, dan menyatakan hanya memakai lastmod jika nilainya akurat secara konsisten dan bisa diverifikasi.
Generator sitemap yang mencap setiap URL dengan tanggal hari ini pada setiap build membuat lastmod tidak berguna untuk semua halaman, bukan hanya halaman baru.
Lolos: tiga tempat, satu tanggal.
10. Halaman ada di sitemap dan ditautkan dari halaman terkait
Crawler menemukan halaman lewat tautan dan sitemap. Tambahkan URL baru ke sitemap XML Anda, dengan URL canonical yang persis, dan tautkan ke halaman itu dari setidaknya dua halaman terkait dan satu halaman hub atau indeks.
Satu file sitemap bisa memuat hingga 50.000 URL dan 50 MB tanpa kompresi; situs yang lebih besar memerlukan indeks sitemap. Google menyatakan mengabaikan priority dan changefreq, jadi jangan buang waktu untuk keduanya. Halaman tanpa tautan internal adalah halaman yatim yang bisa ditemukan crawler terlambat atau tidak sama sekali.
Lolos: URL ada di sitemap dan setidaknya dua halaman menautkannya dengan teks jangkar yang deskriptif.
11. hreflang bersifat timbal balik, dengan x-default
Jika halaman tersedia dalam beberapa bahasa, setiap versi harus mencantumkan semua versi, termasuk dirinya sendiri, dan masing-masing harus menautkan kembali. Google mengabaikan anotasi hreflang yang tidak dikonfirmasi dari sisi lain. Tambahkan x-default untuk versi yang ditampilkan saat tidak ada bahasa yang cocok.
Lewati jika: situs hanya punya satu bahasa. Panduan kami tentang hreflang x-default menjelaskan kapan Anda membutuhkannya.
12. Minta mesin pencari meng-crawl halaman baru
Setelah halaman live dan lolos pemeriksaan di atas, beri tahu mesin pencari. Di Google Search Console, gunakan URL Inspection pada URL baru dan pilih Request indexing. Untuk Bing dan mesin lain yang mendukung IndexNow, kirim URL ke endpoint IndexNow dengan kunci Anda; Bing mencatat bahwa ini tidak menjamin crawling atau pengindeksan.
Asisten AI tidak punya formulir pengiriman. Crawler mereka menemukan halaman lewat tautan dan pencarian, itulah sebabnya pemeriksaan 2, 3, dan 10 penting. Jika Anda memublikasikan file llms.txt, tambahkan halaman itu di sana juga; Google menyatakan Penelusurannya tidak memakainya, jadi anggap opsional.
Lolos: URL Inspection menunjukkan halaman live bisa diindeks.
Cara kami memilih pemeriksaan ini
Daftar ini mengikuti jalur yang ditempuh crawler: menjangkau URL, membaca robots.txt, melewati firewall, membaca HTML, lalu menafsirkannya. Setiap pemeriksaan didasarkan pada apa yang didokumentasikan OpenAI, Anthropic, Perplexity, dan Google tentang crawler mereka, pada RFC 9309 untuk robots.txt, dan pada panduan Google untuk canonical, tanggal, sitemap, dan hreflang. Kami meninggalkan pemeriksaan yang tidak punya efek terdokumentasi pada jawaban AI, seperti kepadatan kata kunci atau target jumlah kata.
Pemeriksaan ini menunjukkan bahwa halaman bisa dibaca; pemeriksaan ini tidak bisa menunjukkan bahwa halaman akan dikutip. Itu bergantung pada seberapa baik jawabannya dibandingkan sumber lain. Ulangi pemeriksaan 2 sampai 5 setelah setiap perubahan firewall, CDN, tema, atau CMS, karena perubahan itulah yang diam-diam membatalkannya.
AISeeWhy menjalankan sebagian besar pemeriksaan ini sekaligus: AISeeWhy mengambil halaman sebagai 16 crawler AI dan mesin pencari berdampingan dengan browser sungguhan, menerapkan robots.txt per crawler, dan membaca HTML, markup, canonical, serta tanggal. Pemeriksaan gratis menampilkan skor dan temuan pertama; laporan lengkap mencantumkan setiap masalah beserta perbaikan siap pakai.
Perbaikan untuk masalah ini
- OAI-SearchBot diblokir
- Konten halaman memerlukan JavaScript
- Daftar yang ditulis sebagai teks biasa
- Bagian tidak dibuka dengan jawaban singkat: 2 dari 3
Langkah berikutnya
- robots.txt tester dan pemeriksa untuk crawler AI
- Pemeriksa dan validator llms.txt
- Lihat contoh laporan lengkap
- Pemantauan crawler AI
- Paket dan harga
Crawler dalam artikel ini
Pertanyaan yang sering diajukan
Apakah saya perlu menjalankan pemeriksaan ini di setiap halaman?
Jalankan pemeriksaan 1 sampai 5 di setiap halaman baru, karena satu URL bisa saja diblokir atau membawa noindex yang tertinggal. Pemeriksaan 6 sampai 11 sebagian besar bergantung pada template, jadi jalankan sekali per jenis halaman dan cek acak halaman baru.
Mengapa saya tidak bisa mengirim halaman ke ChatGPT atau Claude seperti ke Google?
OpenAI, Anthropic, dan Perplexity tidak menyediakan alat pengiriman URL untuk halaman web. Crawler mereka menemukan halaman dengan mengikuti tautan dan lewat pencarian, jadi tautan internal, sitemap, dan akses terbuka untuk OAI-SearchBot, Claude-SearchBot, dan PerplexityBot adalah hal yang bisa Anda kendalikan.
Halaman saya lolos kedua belas pemeriksaan. Mengapa masih belum dikutip?
Pemeriksaan ini membuat halaman bisa dibaca, bukan diutamakan. Asisten memilih sumber yang paling baik menjawab sebuah pertanyaan, jadi bandingkan halaman Anda dengan halaman yang memang dikutipnya: apakah halaman itu menjawab lebih cepat, menulis harga atau spesifikasi sebagai teks, atau menawarkan data yang tidak dimiliki halaman Anda.
Seberapa cepat crawler AI berkunjung setelah publikasi?
Tidak ada vendor yang memublikasikan jadwal. Log server Anda menunjukkan kapan OAI-SearchBot, Claude-SearchBot, atau PerplexityBot pertama kali meminta URL itu; panduan kami tentang memeriksa log server untuk crawler AI menunjukkan cara menemukannya.
Sumber
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Ikhtisar crawler OpenAI
- Anthropic: Apakah Anthropic melakukan crawl data dari web, dan bagaimana pemilik situs bisa memblokir crawler-nya?
- Perplexity: Crawler Perplexity
- Google Search Central: Fitur AI dan situs Anda
- Google Search Central: Tag meta robots, data-nosnippet, dan X-Robots-Tag
- Google Search Central: Cara menentukan URL canonical
- Google Search Central: Memengaruhi tanggal byline Anda
- Google Search Central: Membuat dan mengirim sitemap
- Sitemaps.org: Format XML sitemap
- Google Search Central: Memberi tahu Google tentang versi halaman yang dilokalkan
- Bantuan Google Search Console: Alat URL Inspection
- Bing: IndexNow, memulai
- Bantuan Google Search Console: Rich Results Test
- Schema.org: Schema Markup Validator
- Google Search Central: Dasar-dasar SEO JavaScript