Applebot
Applebot — веб-краулер Apple. Его данные обеспечивают поиск в Spotlight, Siri и Safari, и, по словам Apple, могут также использоваться для обучения базовых моделей Apple. Блокировка Applebot убирает ваши страницы из этих функций поиска Apple; чтобы отказаться только от обучения, запретите вместо этого Applebot-Extended.
Что он делает
Apple сообщает, что данные, собранные Applebot, обеспечивают функции поиска во всей её экосистеме, включая Spotlight, Siri и Safari, и что если разрешить Applebot в robots.txt, ваш контент сможет появляться в результатах поиска для пользователей Apple. Данные также могут использоваться для обучения базовых моделей Apple и для предоставления AI-моделям актуального контекста в продуктах Apple.
Applebot соблюдает директивы robots.txt, адресованные ему. Если в вашем robots.txt Applebot не упомянут, но упомянут Googlebot, Apple сообщает, что Applebot следует правилам Googlebot. Crawl-delay он не учитывает. Использование для обучения настраивается отдельно токеном Applebot-Extended.
В нашем исследовании за 2026-11 3.9% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
Applebot
Строка user agent
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)Как его разрешить
User-agent: Applebot
Allow: /Как его заблокировать
User-agent: Applebot
Disallow: /Как проверить настоящие визиты
Apple сообщает, что трафик Applebot можно определить обратным DNS-запросом, который возвращает имя хоста в домене applebot.apple.com; прямым запросом убедитесь, что это имя хоста разрешается в тот же IP. Также можно сверить IP с префиксами CIDR, которые Apple публикует в applebot.json.