AI ट्रेनिंग ब्लॉक करून AI सर्च उत्तरांमध्ये कसे राहावे
बहुतेक AI कंपन्या मॉडेल ट्रेनिंग आणि सर्चसाठी वेगवेगळे robots.txt टोकन वापरतात. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent आणि CCBot सारखे ट्रेनिंग टोकन नाकारा, आणि OAI-SearchBot, Claude-SearchBot आणि PerplexityBot सारख्या सर्च व युजर टोकनना परवानगी द्या. हीच पसंती शब्दांत सांगण्यासाठी Content-Signal ओळ जोडा.
अनेक साइट मालकांना एकाच वेळी दोन गोष्टी हव्या असतात: त्यांचा मजकूर AI मॉडेल ट्रेन करण्यासाठी वापरला जाऊ नये, आणि AI असिस्टंटनी त्यांची पेजेस शोधावीत, उद्धृत करावीत आणि लिंक करावीत. मोठ्या कंपन्या आता ही कामे वेगवेगळ्या क्रॉलर किंवा टोकनमध्ये विभागतात, त्यामुळे robots.txt दोन्ही निवडी व्यक्त करू शकते. अडचण अशी की नावे कंपनीनुसार वेगळी आहेत, काही कंपन्या या पद्धतीत बसत नाहीत, आणि एक चुकीची ओळ तुम्हाला ट्रेनिंग डेटाऐवजी AI उत्तरांमधूनच काढून टाकू शकते.
या पेजवर
ट्रेनिंग क्रॉलर आणि सर्च क्रॉलरमध्ये काय फरक आहे?
ट्रेनिंग क्रॉलर अशी पेजेस गोळा करतो जी AI मॉडेल तयार करण्यासाठी किंवा सुधारण्यासाठी वापरली जाऊ शकतात. ट्रेनिंगमुळे स्वतःहून संदर्भ किंवा लिंक मिळत नाही. सर्च क्रॉलर असा इंडेक्स तयार करतो जो AI असिस्टंट उत्तरासाठी स्रोत शोधण्यासाठी वापरतो, आणि त्याच स्रोतांचा तो संदर्भ देऊ शकतो. युजरने सुरू केलेला फेचर कोणीतरी विचारल्यामुळे पेज लाइव्ह उघडतो.
कंपन्या या भूमिकांचे स्वतंत्र दस्तऐवज देतात आणि सेटिंग्ज एकमेकांपासून स्वतंत्र असल्याचे सांगतात. उदाहरणार्थ, OpenAI सांगते की त्याच्या क्रॉलरसाठीची प्रत्येक robots.txt सेटिंग इतरांपासून स्वतंत्र आहे. त्यामुळे योग्य प्रकारे केलेले ट्रेनिंग opt-out तुमच्या सर्च दृश्यमानतेला हात लावत नाही.
कोणते टोकन ट्रेनिंग नियंत्रित करतात आणि कोणते सर्च?
कंपन्यांनी दस्तऐवजात दिलेले टोकन, ते काय नियंत्रित करतात त्यानुसार गटबद्ध:
- OpenAI:
GPTBotअसा मजकूर क्रॉल करतो जो त्याच्या फाउंडेशन मॉडेलच्या ट्रेनिंगसाठी वापरला जाऊ शकतो.OAI-SearchBotChatGPT सर्चसाठी आहे, आणिChatGPT-Userयुजरच्या कृती हाताळतो; OpenAI सांगते की त्याला robots.txt लागू होईलच असे नाही. - Anthropic:
ClaudeBotट्रेनिंगमध्ये योगदान देऊ शकेल असा मजकूर गोळा करतो.Claude-SearchBotClaude चे सर्च निकाल सुधारतो, आणिClaude-Userयुजरसाठी पेजेस मिळवतो. Anthropic सांगते की त्याचे बॉट robots.txt पाळतात. - Google:
Google-Extendedहे robots.txt टोकन आहे, त्याचा स्वतःचा क्रॉलर नाही. ते भविष्यातील Gemini मॉडेलच्या ट्रेनिंगमध्ये आणि Gemini Apps व Vertex AI च्या grounding मध्ये होणारा वापर नियंत्रित करते. Google सांगते की त्याचा Google Search मधील समावेशावर किंवा रँकिंगवर परिणाम होत नाही, जेGooglebotद्वारे नियंत्रित होते. - Apple:
Applebot-Extendedक्रॉल करत नाही;Applebotने क्रॉल केलेला मजकूर Apple च्या फाउंडेशन मॉडेलच्या ट्रेनिंगसाठी वापरला जातो का हे ते नियंत्रित करते. Apple सांगते की त्याला नाकारणारी पेजेस त्याच्या सर्च निकालांमध्ये तरीही दिसू शकतात. - Meta:
meta-externalagentफाउंडेशन मॉडेलचे ट्रेनिंग यासारख्या वापरांसाठी क्रॉल करतो, तरmeta-webindexerMeta AI चे सर्च निकाल सुधारतो. - Common Crawl:
CCBotCommon Crawl चे सार्वजनिक वेब संग्रह तयार करतो. Cloudflare ची managed robots.txt त्याला ती नाकारत असलेल्या AI ट्रेनिंग क्रॉलरमध्ये गणते. - Perplexity:
PerplexityBotआणिPerplexity-Userसर्च आणि युजरच्या विनंत्यांसाठी काम करतात. Perplexity सांगते की दोघांपैकी कोणीही ट्रेनिंग डेटा गोळा करण्यासाठी वापरला जात नाही, त्यामुळे ब्लॉक करण्यासाठी Perplexity चे कोणतेही ट्रेनिंग टोकन नाही.
robots.txt कशी दिसते?
RFC 9309 नुसार सलग अनेक User-agent ओळी मिळून एक गट बनतो, त्यामुळे नियम त्यातील प्रत्येकाला लागू होतात. ही फाइल वरील ट्रेनिंग टोकनमधून बाहेर पडते, सर्च व युजर एजंटना परवानगी देते आणि एक खाजगी पाथ सर्वांसाठी बंद ठेवते:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml दोन तपशील महत्त्वाचे आहेत. पहिला, नाव असलेला गट * कडून काहीही वारसा घेत नाही, त्यामुळे सर्व खाजगी पाथ सर्च गटात पुन्हा लिहावे लागतात. दुसरा, Googlebot किंवा Applebot ट्रेनिंग गटात जोडू नका: ते सर्च क्रॉलर आहेत, आणि त्यांना ब्लॉक केल्याने तुम्ही Google Search आणि Apple च्या सर्च फीचरमधून बाहेर पडता. बदल लगेच लागू होत नाहीत: OpenAI सर्चसाठी सुमारे 24 तास सांगते, आणि Perplexity 24 तासांपर्यंत.
किती साइट आधीच असे करतात?
अपेक्षेपेक्षा कमी. 2026-11-12 रोजी आम्ही Tranco यादीतील सर्वात लोकप्रिय 1,000 डोमेनच्या robots.txt फायली वाचल्या. robots.txt देणाऱ्या 518 पैकी 155 (29.9%) किमान एका AI ट्रेनिंग क्रॉलरसाठी होम पेज नाकारतात. फक्त 57 (11.0%) निवडक मार्ग घेतात: ते ट्रेनिंग क्रॉलर ब्लॉक करतात आणि आम्ही तपासलेल्या प्रत्येक AI सर्च व युजर क्रॉलरला परवानगी देतात. एकूण 101 साइट (19.5%) किमान एक AI सर्च किंवा युजर क्रॉलर ब्लॉक करतात.
प्रत्येक क्रॉलरचे आकडेही हीच विभागणी दाखवतात. GPTBot 111 साइटवर (21.4%) ब्लॉक आहे आणि OAI-SearchBot 58 वर (11.2%). ClaudeBot 110 वर (21.2%) ब्लॉक आहे आणि Claude-SearchBot 67 वर (12.9%). Google-Extended 94 वर (18.1%) ब्लॉक आहे, Googlebot 14 वर (2.7%). फक्त 18 साइट (3.5%) Content-Signal वापरतात.
हा अभ्यास फक्त होम पेजसाठीचे robots.txt नियम पाहतो. तो फायरवॉल ब्लॉक मोजत नाही, आणि प्रत्येक साइटचा हेतू काय होता हे दाखवत नाही.
Content-Signal काय भर घालते?
Content Signals हा Cloudflare ने contentsignals.org वर प्रकाशित केलेला robots.txt विस्तार आहे. Content-Signal ओळ मजकूर कसा वापरता येईल ते तीन सिग्नलद्वारे सांगते: search (सर्च इंडेक्स तयार करणे आणि लिंक व छोटे उतारे दाखवणे), ai-input (मजकूर रिअल टाइममध्ये AI मॉडेलमध्ये देणे, उदा. जनरेटिव्ह उत्तरांसाठी grounding किंवा retrieval) आणि ai-train (मॉडेल ट्रेन किंवा fine-tune करणे).
लक्षात घ्या की search च्या व्याख्येत AI ने तयार केलेले सर्च सारांश येत नाहीत. AI उत्तरांमध्ये दिसायचे असल्यास, वरील उदाहरणाप्रमाणे ai-input=yes देखील सेट करा. Cloudflare ची managed robots.txt डीफॉल्टने search=yes, ai-train=no जोडते; तुम्ही वगळलेला सिग्नल तो वापर ना मंजूर करतो ना प्रतिबंधित करतो.
या जाहीर केलेल्या पसंती आहेत. Content Signals साइट सांगते की ते तांत्रिक पातळीवर क्रॉलिंग रोखत नाहीत, आणि Cloudflare नमूद करते की robots.txt चे पालन ऐच्छिक आहे. आम्ही तपासलेल्या OpenAI, Anthropic, Google किंवा Perplexity च्या कोणत्याही क्रॉलर पेजवर ते Content-Signal वाचतात की नाही हे सांगितलेले नाही, त्यामुळे ते प्रत्येक क्रॉलरच्या गटांची जागा घेणारे नव्हे तर त्यात भर घालणारे माना.
ही विभागणी कुठे नीट चालत नाही?
काही प्रसंगांत काळजी घ्यावी लागते:
- Google AI Overviews आणि AI Mode हे
Googlebotतयार करत असलेल्या Search इंडेक्सवर आधारित आहेत, त्यामुळेGoogle-Extendedतुम्हाला त्यांच्यातून बाहेर काढत नाही. Google च्या Search Console मदतीत भर आहे कीGoogle-ExtendedSearch च्या जनरेटिव्ह AI फीचरमागील मॉडेलचे ट्रेनिंग मर्यादित करते, जे त्याच्या क्रॉलर दस्तऐवजात नमूद नाही. AI Overviews आणि AI Mode मधून साइट वगळण्यासाठी Google आता Search Console मध्ये वेगळी सेटिंग देते. - OpenAI सांगते की साइटने
GPTBotआणिOAI-SearchBotदोघांनाही परवानगी दिल्यास, ते एकाच क्रॉलचे निकाल दोन्ही उद्देशांसाठी वापरू शकते. मजकूर ट्रेनिंगसाठी वापरू नये हेGPTBotला नाकारल्यानेच कळते. - opt-out पुढच्या काळासाठी लागू होतात. उदाहरणार्थ, Anthropic
ClaudeBotला नाकारण्याचे वर्णन तुमच्या साइटचा भविष्यातील मजकूर ट्रेनिंग डेटासेटमधून वगळणे असे करते. - युजरने सुरू केलेले फेचर मधल्या स्थितीत असतात. OpenAI आणि Perplexity सांगतात की
ChatGPT-Userला robots.txt लागू होईलच असे नाही आणिPerplexity-Userला ती साधारणपणे लागू होत नाही. - फायरवॉल robots.txt वाचत नाहीत. बॉट ब्लॉक करणारा व्यापक नियम तुम्ही परवानगी दिलेले सर्च क्रॉलरही थांबवू शकतो. ट्रेनिंग ब्लॉक फायरवॉलवर लागू करत असल्यास, ट्रेनिंग एजंटना नावाने जुळवा आणि त्यांच्या प्रकाशित IP रेंजने त्यांची पडताळणी करा.
विभागणी काम करते आहे हे कसे तपासावे?
तुमची robots.txt प्रत्येक क्रॉलर वाचेल तशी वाचा: त्याचे नाव असलेला गट शोधा, तसा गट नसल्यासच * कडे जा, आणि सर्वात लांब जुळणारा नियम लागू करा. मग प्रत्येक सर्च क्रॉलरच्या युजर एजंटसह पेज मागवा आणि त्याला 403 किंवा चॅलेंज पेज नव्हे तर पूर्ण मजकुरासह 200 मिळते याची खात्री करा.
AISeeWhy हे दोन्ही 14 क्रॉलरसाठी करते, त्यांना ट्रेनिंग, सर्च आणि युजर एजंटमध्ये गटबद्ध करते, आणि सर्वात सामान्य चूक दाखवते: ट्रेनिंग ब्लॉक करायचे असताना PerplexityBot किंवा Claude-SearchBot सारखे सर्च टोकन ब्लॉक करणे.
पुढील पायऱ्या
- AI क्रॉलरसाठी robots.txt टेस्टर आणि तपासणी
- AI क्रॉलर IP तपासणी
- पूर्ण अहवालाचे एक उदाहरण पाहा
- AI क्रॉलर मॉनिटरिंग
- प्लॅन आणि किंमती
या लेखातील क्रॉलर
वारंवार विचारले जाणारे प्रश्न
GPTBot ब्लॉक केल्याने माझी साइट ChatGPT उत्तरांमधून निघून जाईल का?
नाही. OpenAI सांगते की GPTBot ट्रेनिंगसाठी आहे आणि प्रत्येक robots.txt सेटिंग स्वतंत्र आहे. ChatGPT सर्च OAI-SearchBot वापरतो; त्याला परवानगी असेल आणि तुमचा फायरवॉल त्याला ब्लॉक करत नसेल, तोपर्यंत तुमची पेजेस पात्र राहतात.
Google-Extended ब्लॉक केल्याने मी AI Overviews मधून बाहेर पडतो का?
Google च्या दस्तऐवजानुसार नाही. Google सांगते की Google-Extended चा Google Search मधील समावेशावर परिणाम होत नाही, आणि AI Overviews Search इंडेक्सवर आधारित आहेत. AI Overviews आणि AI Mode मधून साइट वगळण्यासाठी Google Search Console मध्ये वेगळे नियंत्रण देते.
सर्व AI ट्रेनिंग ब्लॉक करणारी एकच ओळ आहे का?
कोणतीही मानक ओळ नाही. Content-Signal: ai-train=no सर्व क्रॉलरसाठी पसंती सांगते, पण क्रॉलर ती पाळतो का हे त्याच्या ऑपरेटरवर अवलंबून आहे. प्रत्येक ट्रेनिंग टोकनसाठी नाव असलेले गट हा दस्तऐवजात दिलेला मार्ग आहे.
AI ट्रेनिंग थांबवण्यासाठी मी Perplexity ला ब्लॉक करावे का?
Perplexity सांगते की त्याचे एजंट ट्रेनिंग डेटा गोळा करण्यासाठी वापरले जात नाहीत. PerplexityBot ला ब्लॉक केल्याने ट्रेनिंग opt-out होत नाही, फक्त Perplexity च्या सर्च निकालांमधील तुमची दृश्यमानता कमी होते.
स्रोत
- OpenAI: OpenAI क्रॉलरचे विहंगावलोकन
- Anthropic: Anthropic वेबवरून डेटा क्रॉल करते का, आणि साइट मालक क्रॉलर कसा ब्लॉक करू शकतात?
- Google: सामान्य क्रॉलर, Google-Extended सह
- Google Search Console मदत: Search मधील जनरेटिव्ह AI नियंत्रण
- Apple: Applebot बद्दल
- Meta: Meta वेब क्रॉलर
- Common Crawl: CCBot
- Perplexity: Perplexity क्रॉलर
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt आणि Content Signals
- AISeeWhy: AI क्रॉलर ॲक्सेस अहवाल, 2026-11