Cara kerja skor
AISeeWhy menguji apakah crawler AI dan pencarian AI dapat membaca dan mengutip halaman web. Semua hal yang memengaruhi skor ada di halaman ini.
Rumusnya
Skor = 100 − 15 × (temuan P1) − 6 × (temuan P2) − 2 × (temuan P3), tidak pernah di bawah 0. Halaman ditandai terlihat oleh AI jika skornya 70 atau lebih dan tidak ada temuan P1.
Prioritas
- P1, kritis: pencarian AI atau asisten AI tidak bisa membaca halaman, atau tidak bisa memercayai isinya.
- P2, penting: halaman lebih sulit dipahami, ditemukan, atau dikutip.
- P3, sebaiknya diperbaiki, atau pilihan kebijakan seperti memblokir crawler yang mengumpulkan data pelatihan.
Apa yang diuji
- Halaman diambil sebagai 16 crawler AI dan mesin pencari, sebagai curl, dan sebagai browser desktop, dengan user agent yang dipublikasikan setiap crawler. Crawler yang mendapat error, tantangan, atau halaman yang berbeda dari browser dilaporkan beserta status HTTP dan tanda tangan firewall.
- robots.txt diurai menurut RFC 9309 untuk setiap token crawler, termasuk token yang tidak pernah dikirim sebagai user agent (Google-Extended, Applebot-Extended).
- Data terstruktur halaman (JSON-LD), konten yang langsung menjawab, tanggal, sitemap, alternatif hreflang, dan llms.txt diperiksa.
- Crawler yang mengalami kegagalan sementara (error jaringan, 429, 5xx) dicoba ulang sekali sebelum dihitung.
Batasan pengujian eksternal
- Permintaan berasal dari server AISeeWhy, bukan dari alamat IP pemilik crawler. Firewall yang memercayai crawler asli berdasarkan IP bisa memblokir kami tetapi mengizinkan mereka, dan sebaliknya. Pemeriksaan log server menunjukkan bagaimana crawler asli dijawab.
- JavaScript tidak dijalankan, karena crawler AI tidak menjalankannya.
- Satu URL adalah satu halaman. Gunakan audit massal atau sitemap untuk seluruh situs.
- Skor yang lebih baik berarti lebih sedikit hambatan teknis. Ini tidak menjamin asisten AI akan menyebut atau mengutip Anda.
Aturan
Versi aturan saat ini: 2026.11. Versi berubah setiap kali aturan, prioritas, atau rumus berubah, dan setiap laporan menampilkan versi yang digunakan untuk membuatnya.