Applebot
Applebot Apple का वेब क्रॉलर है। इसका डेटा Spotlight, Siri और Safari में सर्च को चलाता है, और Apple के अनुसार इसका उपयोग Apple के फ़ाउंडेशन मॉडलों की ट्रेनिंग में भी हो सकता है। Applebot को ब्लॉक करने से आपके पेज Apple की उन सर्च सुविधाओं से हट जाते हैं; सिर्फ़ ट्रेनिंग से ऑप्ट-आउट करना हो, तो इसके बजाय Applebot-Extended को डिसअलाउ करें।
यह क्या करता है
Apple के अनुसार Applebot द्वारा क्रॉल किया गया डेटा उसके पूरे इकोसिस्टम में सर्च सुविधाओं को चलाता है, जिनमें Spotlight, Siri और Safari शामिल हैं, और robots.txt में Applebot को अनुमति देने से आपका कंटेंट Apple उपयोगकर्ताओं के सर्च नतीजों में आ सकता है। इस डेटा का उपयोग Apple के फ़ाउंडेशन मॉडलों की ट्रेनिंग और Apple उत्पादों में AI मॉडलों को अद्यतन संदर्भ देने में भी हो सकता है।
Applebot अपने लिए लिखे गए robots.txt निर्देशों का सम्मान करता है। अगर आपकी robots.txt में Applebot का ज़िक्र नहीं है लेकिन Googlebot का है, तो Apple के अनुसार Applebot Googlebot के नियमों का पालन करता है। यह Crawl-delay का पालन नहीं करता। ट्रेनिंग के लिए उपयोग को अलग से Applebot-Extended टोकन नियंत्रित करता है।
हमारे 2026-11 के अध्ययन में robots.txt वाली लोकप्रिय साइटों में से 3.9% ने इसे ब्लॉक किया था। →
robots.txt टोकन
Applebot
User-agent स्ट्रिंग
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot)इसे अनुमति कैसे दें
User-agent: Applebot
Allow: /इसे ब्लॉक कैसे करें
User-agent: Applebot
Disallow: /असली विज़िट कैसे सत्यापित करें
Apple बताती है कि Applebot के ट्रैफ़िक को रिवर्स DNS लुकअप से पहचाना जा सकता है, जो applebot.apple.com डोमेन का होस्टनाम लौटाता है; फ़ॉरवर्ड लुकअप से पुष्टि करें कि वह होस्टनाम उसी IP पर वापस रिज़ॉल्व होता है। आप IP का मिलान उन CIDR प्रीफ़िक्स से भी कर सकते हैं जिन्हें Apple applebot.json में प्रकाशित करती है।