Applebot-Extended
Applebot-Extended — краулер емес, robots.txt токені. Оған тыйым салу Apple-ға Applebot краулингтен өткізген мазмұнды генеративтік базалық модельдерін оқытуға пайдаланбауды айтады. Apple-дың айтуынша, оған тыйым салатын беттер Apple іздеу нәтижелерінде шыға береді, сондықтан оны бұғаттау Siri мен Spotlight-та көрінуге әсер етпейді.
Оны қалай өткізуге болады
User-agent: Applebot-Extended
Allow: / Оны қалай бұғаттауға болады
User-agent: Applebot-Extended
Disallow: / Ол не істейді
Apple-дың айтуынша, Applebot-Extended веб-беттерді краулингтен өткізбейді. Ол тек Applebot краулингтен өткізген деректерді қалай пайдалануға болатынын анықтау үшін қолданылады. Оған тыйым салу мазмұныңызды Apple Intelligence сияқты генеративтік ЖИ функцияларын қамтамасыз ететін Apple базалық модельдерін оқытудан шығарады.
Applebot-Extended-ке тыйым салатын беттер іздеу нәтижелеріне қосыла береді, ал Apple бұл ереже іздеу рейтингінде ескерілмейтінін айтады. Краулингтің өзі Applebot токені арқылы басқарылады.
2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 18.0% бөлігі оны бұғаттаған. →
robots.txt токені
Applebot-Extended
Нақты кірулерді қалай тексеруге болады
Журналдарыңызда тексеретін ештеңе жоқ: Applebot-Extended ешқашан user agent ретінде көрінбейді. Негізгі сұраулар Applebot-тан келеді, оны reverse DNS (applebot.apple.com) арқылы немесе Apple жариялаған IP ауқымдары бойынша тексеруге болады.
Сайтыңыз оны өткізетінін тексеріңіз →
ЖИ краулерлеріне арналған robots.txt: нені өткізу, нені бұғаттау керек →