Applebot-Extended
Applebot-Extended — це токен robots.txt, а не краулер. Його заборона повідомляє Apple, що контент, обійдений Applebot, не слід використовувати для навчання її генеративних базових моделей. Apple каже, що сторінки з такою забороною все одно можуть з'являтися в пошуку Apple, тож блокування не впливає на видимість у Siri чи Spotlight.
Що він робить
Apple каже, що Applebot-Extended не обходить вебсторінки. Він лише визначає, як можна використовувати дані, зібрані Applebot. Його заборона виключає ваш контент із навчання базових моделей Apple, які забезпечують функції генеративного ШІ, такі як Apple Intelligence.
Сторінки, що забороняють Applebot-Extended, все одно можуть потрапляти в результати пошуку, і Apple каже, що це правило не враховується в ранжуванні. Сам обхід контролюється токеном Applebot.
У нашому дослідженні за 2026-11 його заблокували 18.0% популярних сайтів із robots.txt. →
Токен robots.txt
Applebot-Extended
Як його дозволити
User-agent: Applebot-Extended
Allow: /Як його заблокувати
User-agent: Applebot-Extended
Disallow: /Як перевірити справжні візити
У ваших журналах перевіряти нічого: Applebot-Extended ніколи не з'являється як user agent. Запити за ним надходять від Applebot, якого можна перевірити зворотним DNS (applebot.apple.com) або за опублікованими діапазонами IP Apple.