Applebot-Extended
Applebot-Extended — токен robots.txt, а не краулер. Запрет для него сообщает Apple, что контент, обойдённый Applebot, нельзя использовать для обучения её генеративных базовых моделей. По словам Apple, страницы, запретившие его, всё равно могут появляться в результатах поиска Apple, так что блокировка не влияет на видимость в Siri и Spotlight.
Что он делает
Apple сообщает, что Applebot-Extended не обходит веб-страницы. Он нужен только для определения того, как можно использовать данные, собранные Applebot. Запрет для него исключает ваш контент из обучения базовых моделей Apple, на которых работают генеративные AI-функции, такие как Apple Intelligence.
Страницы, запретившие Applebot-Extended, всё равно могут попадать в результаты поиска, и Apple сообщает, что это правило не учитывается при ранжировании в поиске. Сам обход настраивается токеном Applebot.
В нашем исследовании за 2026-11 18.0% популярных сайтов с файлом robots.txt блокировали его. →
Токен robots.txt
Applebot-Extended
Как его разрешить
User-agent: Applebot-Extended
Allow: /Как его заблокировать
User-agent: Applebot-Extended
Disallow: /Как проверить настоящие визиты
В логах проверять нечего: Applebot-Extended никогда не появляется как user agent. Запросы за ним исходят от Applebot, которого можно проверить обратным DNS (applebot.apple.com) или по опубликованным диапазонам IP Apple.