AI ट्रेनिंग ब्लॉक करून AI सर्च उत्तरांमध्ये कसे राहावे

प्रकाशित

छोटे उत्तर

बहुतेक AI कंपन्या मॉडेल ट्रेनिंग आणि सर्चसाठी वेगवेगळे robots.txt टोकन वापरतात. GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent आणि CCBot सारखे ट्रेनिंग टोकन नाकारा, आणि OAI-SearchBot, Claude-SearchBot आणि PerplexityBot सारख्या सर्च व युजर टोकनना परवानगी द्या. हीच पसंती शब्दांत सांगण्यासाठी Content-Signal ओळ जोडा.

अनेक साइट मालकांना एकाच वेळी दोन गोष्टी हव्या असतात: त्यांचा मजकूर AI मॉडेल ट्रेन करण्यासाठी वापरला जाऊ नये, आणि AI असिस्टंटनी त्यांची पेजेस शोधावीत, उद्धृत करावीत आणि लिंक करावीत. मोठ्या कंपन्या आता ही कामे वेगवेगळ्या क्रॉलर किंवा टोकनमध्ये विभागतात, त्यामुळे robots.txt दोन्ही निवडी व्यक्त करू शकते. अडचण अशी की नावे कंपनीनुसार वेगळी आहेत, काही कंपन्या या पद्धतीत बसत नाहीत, आणि एक चुकीची ओळ तुम्हाला ट्रेनिंग डेटाऐवजी AI उत्तरांमधूनच काढून टाकू शकते.

या पेजवर
  1. ट्रेनिंग क्रॉलर आणि सर्च क्रॉलरमध्ये काय फरक आहे?
  2. कोणते टोकन ट्रेनिंग नियंत्रित करतात आणि कोणते सर्च?
  3. robots.txt कशी दिसते?
  4. किती साइट आधीच असे करतात?
  5. Content-Signal काय भर घालते?
  6. ही विभागणी कुठे नीट चालत नाही?
  7. विभागणी काम करते आहे हे कसे तपासावे?

ट्रेनिंग क्रॉलर आणि सर्च क्रॉलरमध्ये काय फरक आहे?

ट्रेनिंग क्रॉलर अशी पेजेस गोळा करतो जी AI मॉडेल तयार करण्यासाठी किंवा सुधारण्यासाठी वापरली जाऊ शकतात. ट्रेनिंगमुळे स्वतःहून संदर्भ किंवा लिंक मिळत नाही. सर्च क्रॉलर असा इंडेक्स तयार करतो जो AI असिस्टंट उत्तरासाठी स्रोत शोधण्यासाठी वापरतो, आणि त्याच स्रोतांचा तो संदर्भ देऊ शकतो. युजरने सुरू केलेला फेचर कोणीतरी विचारल्यामुळे पेज लाइव्ह उघडतो.

कंपन्या या भूमिकांचे स्वतंत्र दस्तऐवज देतात आणि सेटिंग्ज एकमेकांपासून स्वतंत्र असल्याचे सांगतात. उदाहरणार्थ, OpenAI सांगते की त्याच्या क्रॉलरसाठीची प्रत्येक robots.txt सेटिंग इतरांपासून स्वतंत्र आहे. त्यामुळे योग्य प्रकारे केलेले ट्रेनिंग opt-out तुमच्या सर्च दृश्यमानतेला हात लावत नाही.

कोणते टोकन ट्रेनिंग नियंत्रित करतात आणि कोणते सर्च?

कंपन्यांनी दस्तऐवजात दिलेले टोकन, ते काय नियंत्रित करतात त्यानुसार गटबद्ध:

robots.txt कशी दिसते?

RFC 9309 नुसार सलग अनेक User-agent ओळी मिळून एक गट बनतो, त्यामुळे नियम त्यातील प्रत्येकाला लागू होतात. ही फाइल वरील ट्रेनिंग टोकनमधून बाहेर पडते, सर्च व युजर एजंटना परवानगी देते आणि एक खाजगी पाथ सर्वांसाठी बंद ठेवते:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

दोन तपशील महत्त्वाचे आहेत. पहिला, नाव असलेला गट * कडून काहीही वारसा घेत नाही, त्यामुळे सर्व खाजगी पाथ सर्च गटात पुन्हा लिहावे लागतात. दुसरा, Googlebot किंवा Applebot ट्रेनिंग गटात जोडू नका: ते सर्च क्रॉलर आहेत, आणि त्यांना ब्लॉक केल्याने तुम्ही Google Search आणि Apple च्या सर्च फीचरमधून बाहेर पडता. बदल लगेच लागू होत नाहीत: OpenAI सर्चसाठी सुमारे 24 तास सांगते, आणि Perplexity 24 तासांपर्यंत.

किती साइट आधीच असे करतात?

अपेक्षेपेक्षा कमी. 2026-11-12 रोजी आम्ही Tranco यादीतील सर्वात लोकप्रिय 1,000 डोमेनच्या robots.txt फायली वाचल्या. robots.txt देणाऱ्या 518 पैकी 155 (29.9%) किमान एका AI ट्रेनिंग क्रॉलरसाठी होम पेज नाकारतात. फक्त 57 (11.0%) निवडक मार्ग घेतात: ते ट्रेनिंग क्रॉलर ब्लॉक करतात आणि आम्ही तपासलेल्या प्रत्येक AI सर्च व युजर क्रॉलरला परवानगी देतात. एकूण 101 साइट (19.5%) किमान एक AI सर्च किंवा युजर क्रॉलर ब्लॉक करतात.

प्रत्येक क्रॉलरचे आकडेही हीच विभागणी दाखवतात. GPTBot 111 साइटवर (21.4%) ब्लॉक आहे आणि OAI-SearchBot 58 वर (11.2%). ClaudeBot 110 वर (21.2%) ब्लॉक आहे आणि Claude-SearchBot 67 वर (12.9%). Google-Extended 94 वर (18.1%) ब्लॉक आहे, Googlebot 14 वर (2.7%). फक्त 18 साइट (3.5%) Content-Signal वापरतात.

हा अभ्यास फक्त होम पेजसाठीचे robots.txt नियम पाहतो. तो फायरवॉल ब्लॉक मोजत नाही, आणि प्रत्येक साइटचा हेतू काय होता हे दाखवत नाही.

Content-Signal काय भर घालते?

Content Signals हा Cloudflare ने contentsignals.org वर प्रकाशित केलेला robots.txt विस्तार आहे. Content-Signal ओळ मजकूर कसा वापरता येईल ते तीन सिग्नलद्वारे सांगते: search (सर्च इंडेक्स तयार करणे आणि लिंक व छोटे उतारे दाखवणे), ai-input (मजकूर रिअल टाइममध्ये AI मॉडेलमध्ये देणे, उदा. जनरेटिव्ह उत्तरांसाठी grounding किंवा retrieval) आणि ai-train (मॉडेल ट्रेन किंवा fine-tune करणे).

लक्षात घ्या की search च्या व्याख्येत AI ने तयार केलेले सर्च सारांश येत नाहीत. AI उत्तरांमध्ये दिसायचे असल्यास, वरील उदाहरणाप्रमाणे ai-input=yes देखील सेट करा. Cloudflare ची managed robots.txt डीफॉल्टने search=yes, ai-train=no जोडते; तुम्ही वगळलेला सिग्नल तो वापर ना मंजूर करतो ना प्रतिबंधित करतो.

या जाहीर केलेल्या पसंती आहेत. Content Signals साइट सांगते की ते तांत्रिक पातळीवर क्रॉलिंग रोखत नाहीत, आणि Cloudflare नमूद करते की robots.txt चे पालन ऐच्छिक आहे. आम्ही तपासलेल्या OpenAI, Anthropic, Google किंवा Perplexity च्या कोणत्याही क्रॉलर पेजवर ते Content-Signal वाचतात की नाही हे सांगितलेले नाही, त्यामुळे ते प्रत्येक क्रॉलरच्या गटांची जागा घेणारे नव्हे तर त्यात भर घालणारे माना.

ही विभागणी कुठे नीट चालत नाही?

काही प्रसंगांत काळजी घ्यावी लागते:

विभागणी काम करते आहे हे कसे तपासावे?

तुमची robots.txt प्रत्येक क्रॉलर वाचेल तशी वाचा: त्याचे नाव असलेला गट शोधा, तसा गट नसल्यासच * कडे जा, आणि सर्वात लांब जुळणारा नियम लागू करा. मग प्रत्येक सर्च क्रॉलरच्या युजर एजंटसह पेज मागवा आणि त्याला 403 किंवा चॅलेंज पेज नव्हे तर पूर्ण मजकुरासह 200 मिळते याची खात्री करा.

AISeeWhy हे दोन्ही 14 क्रॉलरसाठी करते, त्यांना ट्रेनिंग, सर्च आणि युजर एजंटमध्ये गटबद्ध करते, आणि सर्वात सामान्य चूक दाखवते: ट्रेनिंग ब्लॉक करायचे असताना PerplexityBot किंवा Claude-SearchBot सारखे सर्च टोकन ब्लॉक करणे.

मोफत टूल्स

पुढील पायऱ्या

या लेखातील क्रॉलर

वारंवार विचारले जाणारे प्रश्न

GPTBot ब्लॉक केल्याने माझी साइट ChatGPT उत्तरांमधून निघून जाईल का?

नाही. OpenAI सांगते की GPTBot ट्रेनिंगसाठी आहे आणि प्रत्येक robots.txt सेटिंग स्वतंत्र आहे. ChatGPT सर्च OAI-SearchBot वापरतो; त्याला परवानगी असेल आणि तुमचा फायरवॉल त्याला ब्लॉक करत नसेल, तोपर्यंत तुमची पेजेस पात्र राहतात.

Google-Extended ब्लॉक केल्याने मी AI Overviews मधून बाहेर पडतो का?

Google च्या दस्तऐवजानुसार नाही. Google सांगते की Google-Extended चा Google Search मधील समावेशावर परिणाम होत नाही, आणि AI Overviews Search इंडेक्सवर आधारित आहेत. AI Overviews आणि AI Mode मधून साइट वगळण्यासाठी Google Search Console मध्ये वेगळे नियंत्रण देते.

सर्व AI ट्रेनिंग ब्लॉक करणारी एकच ओळ आहे का?

कोणतीही मानक ओळ नाही. Content-Signal: ai-train=no सर्व क्रॉलरसाठी पसंती सांगते, पण क्रॉलर ती पाळतो का हे त्याच्या ऑपरेटरवर अवलंबून आहे. प्रत्येक ट्रेनिंग टोकनसाठी नाव असलेले गट हा दस्तऐवजात दिलेला मार्ग आहे.

AI ट्रेनिंग थांबवण्यासाठी मी Perplexity ला ब्लॉक करावे का?

Perplexity सांगते की त्याचे एजंट ट्रेनिंग डेटा गोळा करण्यासाठी वापरले जात नाहीत. PerplexityBot ला ब्लॉक केल्याने ट्रेनिंग opt-out होत नाही, फक्त Perplexity च्या सर्च निकालांमधील तुमची दृश्यमानता कमी होते.

स्रोत

आणखी लेख