AI ट्रेनिंग ब्लॉक करें, पर AI सर्च उत्तरों में बने रहें

प्रकाशित 2026-11-12

कई साइट मालिक एक साथ दो चीज़ें चाहते हैं: वे नहीं चाहते कि उनका कंटेंट AI मॉडल की ट्रेनिंग में इस्तेमाल हो, और वे चाहते हैं कि AI असिस्टेंट उनके पेज ढूंढें, उद्धृत करें और लिंक करें। चूंकि बड़े वेंडर अब ये काम अलग-अलग क्रॉलर या टोकन में बांटते हैं, robots.txt दोनों पसंद व्यक्त कर सकता है। पेच यह है कि वेंडरों के नाम अलग हैं, कुछ वेंडर इस ढर्रे में फ़िट नहीं बैठते, और एक गलत पंक्ति आपको ट्रेनिंग डेटा के बजाय AI उत्तरों से बाहर कर सकती है।

ट्रेनिंग क्रॉलर और सर्च क्रॉलर में क्या अंतर है?

ट्रेनिंग क्रॉलर ऐसे पेज इकट्ठा करता है जो AI मॉडल बनाने या सुधारने में इस्तेमाल हो सकते हैं। ट्रेनिंग अपने आप में कोई हवाला या लिंक नहीं बनाती। सर्च क्रॉलर एक इंडेक्स बनाता है जिसे AI असिस्टेंट उत्तर के लिए स्रोत खोजने में इस्तेमाल करता है, और यही स्रोत वह उद्धृत कर सकता है। यूज़र-ट्रिगर्ड फ़ेचर कोई पेज लाइव खोलता है क्योंकि किसी ने उसके बारे में पूछा।

वेंडर इन भूमिकाओं को अलग-अलग दस्तावेज़ित करते हैं और कहते हैं कि सेटिंग स्वतंत्र हैं। उदाहरण के लिए OpenAI कहती है कि उसके क्रॉलरों की हर robots.txt सेटिंग बाकी से स्वतंत्र है। इसलिए ट्रेनिंग से बाहर रहने का विकल्प, सही ढंग से किया जाए, तो आपके सर्च में दिखने पर असर नहीं डालता।

कौन-से टोकन ट्रेनिंग को और कौन-से सर्च को नियंत्रित करते हैं?

ये वे टोकन हैं जिन्हें वेंडर दस्तावेज़ित करते हैं, इस आधार पर समूहित कि वे क्या नियंत्रित करते हैं:

• OpenAI: GPTBot ऐसा कंटेंट क्रॉल करता है जो उसके फ़ाउंडेशन मॉडल की ट्रेनिंग में इस्तेमाल हो सकता है। OAI-SearchBot ChatGPT सर्च के लिए है, और ChatGPT-User उपयोगकर्ता की कार्रवाइयां संभालता है; OpenAI कहती है कि उस पर robots.txt लागू नहीं भी हो सकता।
• Anthropic: ClaudeBot ऐसा कंटेंट इकट्ठा करता है जो ट्रेनिंग में योगदान दे सकता है। Claude-SearchBot Claude के सर्च नतीजे बेहतर बनाता है, और Claude-User उपयोगकर्ताओं के लिए पेज फ़ेच करता है। Anthropic कहती है कि उसके बॉट robots.txt का सम्मान करते हैं।
• Google: Google-Extended एक robots.txt टोकन है जिसका अपना कोई क्रॉलर नहीं है। यह भविष्य के Gemini मॉडल की ट्रेनिंग में और Gemini Apps व Vertex AI की ग्राउंडिंग में इस्तेमाल को नियंत्रित करता है। Google कहता है कि यह Google Search में शामिल होने या रैंकिंग को प्रभावित नहीं करता, जो Googlebot से नियंत्रित होती है।
• Apple: Applebot-Extended क्रॉल नहीं करता; यह तय करता है कि Applebot के क्रॉल किए कंटेंट का इस्तेमाल Apple के फ़ाउंडेशन मॉडल की ट्रेनिंग में होगा या नहीं। Apple कहती है कि इसे disallow करने वाले पेज उसके सर्च नतीजों में फिर भी दिख सकते हैं।
• Meta: meta-externalagent फ़ाउंडेशन मॉडल की ट्रेनिंग जैसे उपयोगों के लिए क्रॉल करता है, जबकि meta-webindexer Meta AI के सर्च नतीजे बेहतर बनाता है।
• Common Crawl: CCBot Common Crawl का सार्वजनिक वेब आर्काइव बनाता है। Cloudflare का managed robots.txt इसे उन AI ट्रेनिंग क्रॉलरों में गिनता है जिन्हें वह disallow करता है।
• Perplexity: PerplexityBot और Perplexity-User सर्च और उपयोगकर्ता के अनुरोधों के लिए हैं। Perplexity कहता है कि दोनों में से कोई भी ट्रेनिंग डेटा इकट्ठा करने में इस्तेमाल नहीं होता, इसलिए Perplexity का ऐसा कोई ट्रेनिंग टोकन नहीं है जिसे ब्लॉक किया जाए।

robots.txt कैसा दिखता है?

RFC 9309 के अनुसार लगातार कई User-agent पंक्तियां एक ग्रुप बनाती हैं, इसलिए नियम उनमें से हर एक पर लागू होते हैं। यह फ़ाइल ऊपर के ट्रेनिंग टोकन से बाहर रहती है, सर्च और यूज़र एजेंटों को अनुमति देती है, और एक निजी पाथ सबके लिए बंद रखती है:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

दो बातें मायने रखती हैं। पहली, नाम वाला ग्रुप * से कुछ नहीं लेता, इसलिए निजी पाथ सर्च ग्रुप में दोहराने होंगे। दूसरी, Googlebot या Applebot को ट्रेनिंग ग्रुप में न जोड़ें: वे सर्च क्रॉलर हैं, और उन्हें ब्लॉक करने से आप Google Search और Apple की सर्च सुविधाओं से बाहर हो जाते हैं। बदलाव तुरंत लागू नहीं होते: OpenAI सर्च के लिए लगभग 24 घंटे बताती है, और Perplexity 24 घंटे तक।

कितनी साइटें पहले से ऐसा कर रही हैं?

उम्मीद से कम। हमने 2026-11-12 को Tranco सूची के 1,000 सबसे लोकप्रिय डोमेन की robots.txt फ़ाइलें पढ़ीं। robots.txt देने वाली 518 में से 155 (29.9%) कम से कम एक AI ट्रेनिंग क्रॉलर के लिए होम पेज को disallow करती हैं। सिर्फ़ 57 (11.0%) चुनिंदा रास्ता अपनाती हैं: वे ट्रेनिंग क्रॉलर ब्लॉक करती हैं और हमारे परखे हर AI सर्च व यूज़र क्रॉलर को अनुमति देती हैं। कुल मिलाकर 101 साइटें (19.5%) कम से कम एक AI सर्च या यूज़र क्रॉलर ब्लॉक करती हैं।

क्रॉलर-दर-क्रॉलर आंकड़े भी यही बंटवारा दिखाते हैं। GPTBot 111 साइटों (21.4%) पर और OAI-SearchBot 58 (11.2%) पर ब्लॉक है। ClaudeBot 110 (21.2%) पर और Claude-SearchBot 67 (12.9%) पर। Google-Extended 94 (18.1%) पर, Googlebot 14 (2.7%) पर। सिर्फ़ 18 साइटें (3.5%) Content-Signal इस्तेमाल करती हैं।

यह अध्ययन सिर्फ़ होम पेज के robots.txt नियम देखता है। यह फ़ायरवॉल ब्लॉक नहीं मापता, और यह नहीं दिखाता कि हर साइट का इरादा क्या था।

Content-Signal क्या जोड़ता है?

Content Signals एक robots.txt एक्सटेंशन है जिसे Cloudflare ने contentsignals.org पर प्रकाशित किया है। Content-Signal पंक्ति बताती है कि कंटेंट कैसे इस्तेमाल हो सकता है, तीन संकेतों के साथ: search (सर्च इंडेक्स बनाना और लिंक व छोटे अंश दिखाना), ai-input (कंटेंट को रीयल टाइम में AI मॉडल में डालना, जैसे जेनरेटिव उत्तरों के लिए ग्राउंडिंग या रिट्रीवल) और ai-train (मॉडल की ट्रेनिंग या फ़ाइन-ट्यूनिंग)।

ध्यान दें कि search की परिभाषा में AI से बने सर्च सारांश शामिल नहीं हैं। अगर आप AI उत्तरों में दिखना चाहते हैं, तो ऊपर के उदाहरण की तरह ai-input=yes भी सेट करें। Cloudflare का managed robots.txt डिफ़ॉल्ट रूप से search=yes, ai-train=no जोड़ता है; जो संकेत आप छोड़ देते हैं, वह उस उपयोग को न अनुमति देता है न रोकता है।

ये घोषित पसंद हैं। Content Signals की साइट कहती है कि वे तकनीकी स्तर पर क्रॉलिंग नहीं रोकते, और Cloudflare ध्यान दिलाता है कि robots.txt का पालन स्वैच्छिक है। हमारे जांचे OpenAI, Anthropic, Google या Perplexity के क्रॉलर पेजों में से किसी में नहीं लिखा कि वे Content-Signal पढ़ते हैं या नहीं, इसलिए इसे हर क्रॉलर के ग्रुप के अतिरिक्त मानें, उनके विकल्प के रूप में नहीं।

यह बंटवारा कहां साफ़ तौर पर काम नहीं करता?

कुछ मामलों में सावधानी चाहिए:

• Google AI Overviews और AI Mode उस Search इंडेक्स पर आधारित हैं जिसे Googlebot बनाता है, इसलिए Google-Extended आपको उनसे बाहर नहीं करता। Google की Search Console सहायता जोड़ती है कि Google-Extended Search की जेनरेटिव AI सुविधाओं के पीछे के मॉडल की ट्रेनिंग सीमित करता है, जो दायरा उसके क्रॉलर दस्तावेज़ में नहीं बताया गया। Google अब किसी साइट को AI Overviews और AI Mode से बाहर रखने के लिए Search Console में एक अलग सेटिंग देता है।
• OpenAI कहती है कि अगर कोई साइट GPTBot और OAI-SearchBot दोनों को अनुमति देती है, तो वह एक क्रॉल के नतीजे दोनों उद्देश्यों के लिए इस्तेमाल कर सकती है। GPTBot को disallow करना ही संकेत देता है कि कंटेंट का इस्तेमाल ट्रेनिंग के लिए न हो।
• बाहर रहने के विकल्प आगे के लिए लागू होते हैं। उदाहरण के लिए Anthropic ClaudeBot को disallow करने को इस तरह बताती है कि आपकी साइट का भविष्य का कंटेंट ट्रेनिंग डेटासेट से बाहर रहेगा।
• यूज़र-ट्रिगर्ड फ़ेचर बीच की श्रेणी में आते हैं। OpenAI और Perplexity कहते हैं कि robots.txt ChatGPT-User पर लागू नहीं भी हो सकता और Perplexity-User पर आम तौर पर लागू नहीं होता।
• फ़ायरवॉल robots.txt नहीं पढ़ते। बॉट ब्लॉक करने वाला कोई व्यापक नियम आपके अनुमति दिए सर्च क्रॉलरों को भी रोक सकता है। अगर आप ट्रेनिंग ब्लॉक फ़ायरवॉल पर लागू करते हैं, तो ट्रेनिंग एजेंटों को नाम से मिलाएं और उनकी प्रकाशित IP रेंज से सत्यापित करें।

मैं कैसे जांचूं कि बंटवारा काम कर रहा है?

अपना robots.txt वैसे पढ़ें जैसे हर क्रॉलर पढ़ेगा: उस ग्रुप को ढूंढें जिसमें उसका नाम हो, कोई न हो तभी * पर लौटें, और सबसे लंबा मेल खाता नियम लागू करें। फिर हर सर्च क्रॉलर के user agent से एक पेज मांगें और पक्का करें कि उसे पूरे कंटेंट के साथ 200 मिलता है, 403 या चैलेंज पेज नहीं।

AISeeWhy 14 क्रॉलरों के लिए दोनों करता है, उन्हें ट्रेनिंग, सर्च और यूज़र एजेंट के रूप में समूहित करके, और सबसे आम गलती चिह्नित करता है: ट्रेनिंग रोकने के इरादे से PerplexityBot या Claude-SearchBot जैसा सर्च टोकन ब्लॉक कर देना।

अक्सर पूछे जाने वाले प्रश्न

क्या GPTBot को ब्लॉक करने से मेरी साइट ChatGPT उत्तरों से हट जाएगी?

नहीं। OpenAI कहती है कि GPTBot ट्रेनिंग के लिए है और हर robots.txt सेटिंग स्वतंत्र है। ChatGPT सर्च OAI-SearchBot इस्तेमाल करता है; जब तक वह अनुमत है और आपके फ़ायरवॉल से ब्लॉक नहीं, आपके पेज पात्र बने रहते हैं।

क्या Google-Extended ब्लॉक करने से मैं AI Overviews से हट जाता हूं?

Google के दस्तावेज़ों के अनुसार नहीं। Google कहता है कि Google-Extended Google Search में शामिल होने को प्रभावित नहीं करता, और AI Overviews Search इंडेक्स पर आधारित हैं। Google किसी साइट को AI Overviews और AI Mode से बाहर रखने के लिए Search Console में अलग नियंत्रण देता है।

क्या ऐसी कोई एक पंक्ति है जो सारी AI ट्रेनिंग ब्लॉक कर दे?

नहीं, ऐसी कोई मानक पंक्ति नहीं है। Content-Signal: ai-train=no सभी क्रॉलरों के लिए पसंद घोषित करता है, लेकिन कोई क्रॉलर उसका पालन करे या नहीं, यह ऑपरेटर पर निर्भर है। हर ट्रेनिंग टोकन के लिए नाम वाले ग्रुप ही दस्तावेज़ित तरीका हैं।

क्या AI ट्रेनिंग रोकने के लिए मुझे Perplexity को ब्लॉक करना चाहिए?

Perplexity कहता है कि उसके एजेंट ट्रेनिंग डेटा इकट्ठा करने में इस्तेमाल नहीं होते। PerplexityBot को ब्लॉक करने से Perplexity के सर्च नतीजों में आपका दिखना घटता है, जबकि ट्रेनिंग से बाहर रहने का मकसद पूरा नहीं होता।

स्रोत

• OpenAI: OpenAI क्रॉलरों का अवलोकन
• Anthropic: क्या Anthropic वेब से डेटा क्रॉल करती है, और साइट मालिक क्रॉलर को कैसे ब्लॉक कर सकते हैं?
• Google: आम क्रॉलर, Google-Extended समेत
• Google Search Console Help: Search जेनरेटिव AI नियंत्रण
• Apple: Applebot के बारे में
• Meta: Meta के वेब क्रॉलर
• Common Crawl: CCBot
• Perplexity: Perplexity क्रॉलर
• RFC 9309: Robots Exclusion Protocol
• Content Signals (contentsignals.org)
• Cloudflare: Managed robots.txt और Content Signals
• AISeeWhy: AI क्रॉलर एक्सेस रिपोर्ट, 2026-11

और लेख

• सर्वर लॉग में AI क्रॉलर कैसे जांचें
• क्या Google-Extended ब्लॉक करने से आप AI Overviews और AI Mode से हट जाते हैं?
• क्या ChatGPT आपकी वेबसाइट देख सकता है? ऐसे जांचें