Applebot
Applebot adalah crawler web Apple. Datanya mendukung pencarian di Spotlight, Siri, dan Safari, dan Apple menyatakan data itu juga dapat dipakai untuk melatih model fondasi Apple. Memblokir Applebot menghapus halaman Anda dari fitur pencarian Apple tersebut; untuk keluar dari pelatihan saja, larang Applebot-Extended.
Fungsinya
Apple menyatakan data yang di-crawl Applebot mendukung fitur pencarian di seluruh ekosistemnya, termasuk Spotlight, Siri, dan Safari, dan mengizinkan Applebot di robots.txt memungkinkan konten Anda muncul di hasil pencarian untuk pengguna Apple. Data itu juga dapat dipakai untuk melatih model fondasi Apple dan memberi model AI konteks terbaru di produk Apple.
Applebot menghormati direktif robots.txt yang ditujukan kepadanya. Jika robots.txt Anda tidak menyebut Applebot tetapi menyebut Googlebot, Apple menyatakan Applebot mengikuti aturan Googlebot. Applebot tidak mengikuti Crawl-delay. Penggunaan untuk pelatihan dikendalikan terpisah dengan token Applebot-Extended.
Dalam studi kami pada 2026-11, 3.9% situs populer yang memiliki robots.txt memblokirnya. →
Token robots.txt
Applebot
String user agent
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)Cara mengizinkannya
User-agent: Applebot
Allow: /Cara memblokirnya
User-agent: Applebot
Disallow: /Cara memverifikasi kunjungan asli
Apple menyatakan lalu lintas Applebot dapat diidentifikasi dengan pencarian DNS terbalik yang menghasilkan nama host di domain applebot.apple.com; pastikan dengan pencarian maju bahwa nama host itu mengarah kembali ke IP yang sama. Anda juga dapat mencocokkan IP dengan prefiks CIDR yang dipublikasikan Apple di applebot.json.
Periksa apakah situs Anda mengizinkannya →
robots.txt untuk crawler AI: apa yang diizinkan, apa yang diblokir →