Applebot-Extended
Applebot-Extended adalah token robots.txt, bukan crawler. Melarangnya memberi tahu Apple agar tidak memakai konten yang di-crawl Applebot untuk melatih model fondasi generatifnya. Apple menyatakan halaman yang melarangnya tetap dapat muncul di hasil pencarian Apple, sehingga memblokirnya tidak memengaruhi visibilitas di Siri atau Spotlight.
Fungsinya
Apple menyatakan Applebot-Extended tidak meng-crawl halaman web. Token ini hanya dipakai untuk menentukan bagaimana data yang di-crawl Applebot boleh digunakan. Melarangnya mengeluarkan konten Anda dari pelatihan model fondasi Apple yang mendukung fitur AI generatif seperti Apple Intelligence.
Halaman yang melarang Applebot-Extended tetap dapat disertakan dalam hasil pencarian, dan Apple menyatakan aturan ini tidak dipertimbangkan dalam peringkat pencarian. Crawling itu sendiri dikendalikan oleh token Applebot.
Dalam studi kami pada 2026-11, 18.0% situs populer yang memiliki robots.txt memblokirnya. →
Token robots.txt
Applebot-Extended
Cara mengizinkannya
User-agent: Applebot-Extended
Allow: /Cara memblokirnya
User-agent: Applebot-Extended
Disallow: /Cara memverifikasi kunjungan asli
Tidak ada yang perlu diverifikasi di log Anda: Applebot-Extended tidak pernah muncul sebagai user agent. Permintaan di baliknya berasal dari Applebot, yang dapat Anda verifikasi dengan DNS terbalik (applebot.apple.com) atau dengan rentang IP yang dipublikasikan Apple.
Periksa apakah situs Anda mengizinkannya →
robots.txt untuk crawler AI: apa yang diizinkan, apa yang diblokir →