Applebot
Applebot — вебкраулер Apple. Його дані забезпечують пошук у Spotlight, Siri і Safari, і Apple каже, що їх також можуть використовувати для навчання базових моделей Apple. Блокування Applebot прибирає ваші сторінки з цих пошукових функцій Apple; щоб відмовитися лише від навчання, заборонте натомість Applebot-Extended.
Що він робить
Apple каже, що дані, зібрані Applebot, забезпечують пошукові функції в її екосистемі, зокрема Spotlight, Siri і Safari, а дозвіл для Applebot у robots.txt дає змогу вашому контенту з'являтися в результатах пошуку для користувачів Apple. Ці дані також можуть використовуватися для навчання базових моделей Apple і для надання моделям ШІ актуального контексту в продуктах Apple.
Applebot дотримується директив robots.txt, адресованих йому. Якщо ваш robots.txt не згадує Applebot, але згадує Googlebot, Apple каже, що Applebot слідує правилам Googlebot. Crawl-delay він не враховує. Використання для навчання контролюється окремо токеном Applebot-Extended.
У нашому дослідженні за 2026-11 його заблокували 3.9% популярних сайтів із robots.txt. →
Токен robots.txt
Applebot
Рядок user agent
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)Як його дозволити
User-agent: Applebot
Allow: /Як його заблокувати
User-agent: Applebot
Disallow: /Як перевірити справжні візити
Apple каже, що трафік Applebot можна розпізнати за зворотним DNS-запитом, який повертає ім'я хоста в домені applebot.apple.com; підтвердьте прямим запитом, що це ім'я вказує на той самий IP. Також можна зіставити IP із префіксами CIDR, які Apple публікує в applebot.json.