Applebot
Applebot అనేది Apple వెబ్ క్రాలర్. దాని డేటా Spotlight, Siri, Safariలో సెర్చ్కు శక్తినిస్తుంది, Apple ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు కూడా అది ఉపయోగించబడవచ్చని Apple చెబుతుంది. Applebotను బ్లాక్ చేస్తే మీ పేజీలు ఆ Apple సెర్చ్ ఫీచర్ల నుంచి తొలగిపోతాయి; ట్రైనింగ్ నుంచి మాత్రమే opt out చేయడానికి బదులుగా Applebot-Extendedను నిషేధించండి.
దీన్ని ఎలా అనుమతించాలి
User-agent: Applebot
Allow: / దీన్ని ఎలా బ్లాక్ చేయాలి
User-agent: Applebot
Disallow: / ఇది ఏమి చేస్తుంది
Applebot క్రాల్ చేసిన డేటా Spotlight, Siri, Safariతో సహా తన ఎకోసిస్టమ్ అంతటా సెర్చ్ ఫీచర్లకు శక్తినిస్తుందని, robots.txtలో Applebotను అనుమతిస్తే మీ కంటెంట్ Apple యూజర్ల సెర్చ్ ఫలితాల్లో కనిపిస్తుందని Apple చెబుతుంది. ఆ డేటా Apple ఫౌండేషన్ మోడల్ల ట్రైనింగ్కు, Apple ప్రోడక్ట్లలో AI మోడల్లకు తాజా సందర్భాన్ని ఇవ్వడానికి కూడా ఉపయోగించబడవచ్చు.
Applebot తనకు ఉద్దేశించిన robots.txt directivesను గౌరవిస్తుంది. మీ robots.txt Applebotను పేర్కొనకుండా Googlebotను పేర్కొంటే, Applebot Googlebot నియమాలను పాటిస్తుందని Apple చెబుతుంది. ఇది Crawl-delayను పాటించదు. ట్రైనింగ్ ఉపయోగం Applebot-Extended టోకెన్తో విడిగా నియంత్రించబడుతుంది.
మా 2026-11 అధ్యయనంలో, robots.txt ఉన్న ప్రముఖ సైట్లలో 3.9% దీన్ని బ్లాక్ చేశాయి. →
robots.txt టోకెన్
Applebot
యూజర్ ఏజెంట్ స్ట్రింగ్
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot) నిజమైన సందర్శనలను ఎలా ధృవీకరించాలి
applebot.apple.com డొమైన్లోని hostnameను ఇచ్చే reverse DNS lookup ద్వారా Applebot ట్రాఫిక్ను గుర్తించవచ్చని Apple చెబుతుంది; hostname తిరిగి అదే IPకి resolve అవుతోందని forward lookupతో నిర్ధారించుకోండి. Apple applebot.jsonలో ప్రచురించే CIDR prefixలతో కూడా IPని సరిపోల్చవచ్చు.
మీ సైట్ దీన్ని అనుమతిస్తోందో తనిఖీ చేయండి →
AI క్రాలర్ల కోసం robots.txt: ఏది అనుమతించాలి, ఏది బ్లాక్ చేయాలి →