Applebot
Applebot हा Apple चा वेब क्रॉलर आहे. त्याचा डेटा Spotlight, Siri आणि Safari मधील सर्चला शक्ती देतो, आणि Apple सांगते की तो Apple च्या foundation models च्या ट्रेनिंगसाठीही वापरला जाऊ शकतो. Applebot ला ब्लॉक केल्याने तुमची पेजेस Apple च्या त्या सर्च वैशिष्ट्यांमधून काढली जातात; फक्त ट्रेनिंगमधून opt out करायचे असल्यास त्याऐवजी Applebot-Extended ला नकार द्या.
त्याला परवानगी कशी द्यावी
User-agent: Applebot
Allow: / त्याला ब्लॉक कसे करावे
User-agent: Applebot
Disallow: / तो काय करतो
Apple सांगते की Applebot ने क्रॉल केलेला डेटा Spotlight, Siri आणि Safari सह त्याच्या संपूर्ण इकोसिस्टममधील सर्च वैशिष्ट्यांना शक्ती देतो, आणि robots.txt मध्ये Applebot ला परवानगी दिल्याने तुमचा मजकूर Apple वापरकर्त्यांसाठीच्या सर्च निकालांमध्ये दिसू शकतो. हा डेटा Apple foundation models च्या ट्रेनिंगसाठी आणि Apple उत्पादनांमधील AI मॉडेलना अद्ययावत संदर्भ देण्यासाठीही वापरला जाऊ शकतो.
Applebot त्याला उद्देशून दिलेल्या robots.txt directives चा आदर करतो. तुमच्या robots.txt मध्ये Applebot चा उल्लेख नसेल पण Googlebot चा असेल, तर Applebot Googlebot चे नियम पाळतो असे Apple सांगते. तो Crawl-delay पाळत नाही. ट्रेनिंगसाठीचा वापर Applebot-Extended टोकनद्वारे स्वतंत्रपणे नियंत्रित होतो.
आमच्या 2026-11 च्या अभ्यासात, robots.txt असलेल्या लोकप्रिय साइटपैकी 3.9% साइटनी त्याला ब्लॉक केले. →
robots.txt टोकन
Applebot
युजर-एजंट स्ट्रिंग
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot) खऱ्या भेटींची पडताळणी कशी करावी
Apple सांगते की applebot.apple.com डोमेनमधील hostname देणाऱ्या reverse DNS lookup ने Applebot ट्रॅफिक ओळखता येते; hostname पुन्हा त्याच IP वर resolve होतो याची forward lookup ने खात्री करा. तुम्ही IP ची Apple applebot.json मध्ये प्रकाशित करत असलेल्या CIDR prefixes शीही तुलना करू शकता.
तुमची साइट त्याला आत येऊ देते का ते तपासा →
AI क्रॉलरसाठी robots.txt: कशाला परवानगी द्यावी, काय ब्लॉक करावे →