Applebot
Applebot je Appleov web-crawler. Njegovi podaci pokreću pretraživanje u Spotlightu, Siriju i Safariju, a Apple navodi da se mogu koristiti i za treniranje Appleovih temeljnih modela. Blokiranjem Applebota vaše stranice nestaju iz tih Appleovih značajki pretraživanja; ako se želite isključiti samo iz treniranja, umjesto toga zabranite Applebot-Extended.
Kako ga dopustiti
User-agent: Applebot
Allow: / Kako ga blokirati
User-agent: Applebot
Disallow: / Što radi
Apple navodi da podaci koje Applebot pretraži pokreću značajke pretraživanja u cijelom njegovu ekosustavu, uključujući Spotlight, Siri i Safari, te da dopuštanje Applebota u robots.txt omogućuje pojavljivanje vašeg sadržaja u rezultatima pretraživanja za korisnike Applea. Podaci se mogu koristiti i za treniranje Appleovih temeljnih modela i za pružanje aktualnog konteksta AI modelima u Appleovim proizvodima.
Applebot poštuje direktive robots.txt namijenjene njemu. Ako vaš robots.txt ne spominje Applebot, ali spominje Googlebot, Apple navodi da Applebot slijedi pravila za Googlebot. Ne slijedi Crawl-delay. Upotreba za treniranje zasebno se kontrolira tokenom Applebot-Extended.
U našem istraživanju iz razdoblja 2026-11 blokiralo ga je 3.9% popularnih web-stranica s datotekom robots.txt. →
Token za robots.txt
Applebot
Niz user agenta
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot) Kako provjeriti stvarne posjete
Apple navodi da se promet Applebota može prepoznati obrnutim DNS upitom koji vraća naziv hosta u domeni applebot.apple.com; izravnim upitom potvrdite da se naziv hosta razrješava natrag u istu IP adresu. IP adresu možete usporediti i s CIDR prefiksima koje Apple objavljuje u applebot.json.