AI ट्रेनिङ कसरी ब्लक गर्ने तर AI सर्चका उत्तरमा रहिरहने
धेरैजसो AI कम्पनीले मोडेल ट्रेनिङ र सर्चका लागि छुट्टाछुट्टै robots.txt टोकन प्रयोग गर्छन्। GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent र CCBot जस्ता ट्रेनिङ टोकन निषेध गर्नुहोस्, र OAI-SearchBot, Claude-SearchBot र PerplexityBot जस्ता सर्च र प्रयोगकर्ता टोकनलाई अनुमति दिनुहोस्। उही प्राथमिकता शब्दमा भन्न Content-Signal लाइन थप्नुहोस्।
धेरै साइट मालिक एकैपटक दुई कुरा चाहन्छन्: आफ्नो सामग्री AI मोडेल ट्रेन गर्न प्रयोग नहोस्, तर AI सहायकले आफ्ना पेज भेट्टाऊन्, उद्धृत गरून् र लिंक गरून्। ठूला कम्पनीले अब यी काम फरक-फरक क्रलर वा टोकनमा बाँडेकाले robots.txt ले दुवै छनोट व्यक्त गर्न सक्छ। समस्या यो हो कि नाम कम्पनीअनुसार फरक छन्, केही कम्पनी यो ढाँचामा मिल्दैनन्, र एउटा गलत लाइनले तपाईंलाई ट्रेनिङ डेटाबाट होइन, AI उत्तरबाट हटाउन सक्छ।
यस पेजमा
ट्रेनिङ क्रलर र सर्च क्रलरमा के फरक छ?
ट्रेनिङ क्रलरले AI मोडेल बनाउन वा सुधार्न प्रयोग हुन सक्ने पेज सङ्कलन गर्छ। ट्रेनिङ आफैँले उद्धरण वा लिंक दिँदैन। सर्च क्रलरले इन्डेक्स बनाउँछ, जसलाई AI सहायकले उत्तरका लागि स्रोत खोज्न प्रयोग गर्छ, र तिनै स्रोत उसले उद्धृत गर्न सक्छ। प्रयोगकर्ताले चलाउने फेचरले कसैले कुनै पेजबारे सोधेकाले त्यो पेज तुरुन्तै खोल्छ।
कम्पनीहरूले यी भूमिकाको कागजात छुट्टाछुट्टै दिन्छन् र सेटिङ एकअर्कासँग स्वतन्त्र हुन्छन् भन्छन्। उदाहरणका लागि OpenAI भन्छ, यसका क्रलरका लागि robots.txt का हरेक सेटिङ अरूसँग स्वतन्त्र छन्। त्यसैले सही ढङ्गले गरिएको ट्रेनिङ opt-out ले सर्चमा तपाईंको उपस्थितिलाई छुँदैन।
कुन टोकनले ट्रेनिङ र कुनले सर्च नियन्त्रण गर्छ?
कम्पनीहरूले कागजातमा दिएका टोकन, तिनले के नियन्त्रण गर्छन् अनुसार समूहमा:
- OpenAI:
GPTBotले यसका फाउन्डेसन मोडेल ट्रेन गर्न प्रयोग हुन सक्ने सामग्री क्रल गर्छ।OAI-SearchBotChatGPT सर्चका लागि हो, रChatGPT-Userले प्रयोगकर्ताका कार्य सम्हाल्छ; OpenAI भन्छ यसमा robots.txt लागू नहुन सक्छ। - Anthropic:
ClaudeBotले ट्रेनिङमा योगदान दिन सक्ने सामग्री सङ्कलन गर्छ।Claude-SearchBotले Claude का सर्च नतिजा सुधार्छ, रClaude-Userले प्रयोगकर्ताका लागि पेज ल्याउँछ। Anthropic भन्छ यसका बटले robots.txt पालना गर्छन्। - Google:
Google-Extendedआफ्नै क्रलर नभएको robots.txt टोकन हो। यसले भविष्यका Gemini मोडेलको ट्रेनिङ र Gemini Apps तथा Vertex AI मा grounding का लागि प्रयोग नियन्त्रण गर्छ। Google भन्छ यसले Google Search मा समावेश वा र्याङ्किङलाई असर गर्दैन, त्योGooglebotबाट नियन्त्रित हुन्छ। - Apple:
Applebot-Extendedक्रल गर्दैन;Applebotले क्रल गरेको सामग्री Apple का फाउन्डेसन मोडेल ट्रेन गर्न प्रयोग हुने कि नहुने भन्ने यसले नियन्त्रण गर्छ। Apple भन्छ यसलाई निषेध गर्ने पेज पनि यसका सर्च नतिजामा देखिन सक्छन्। - Meta:
meta-externalagentले फाउन्डेसन मोडेल ट्रेनिङ जस्ता प्रयोगका लागि क्रल गर्छ, जबकिmeta-webindexerले Meta AI का सर्च नतिजा सुधार्छ। - Common Crawl:
CCBotले Common Crawl को सार्वजनिक वेब अभिलेख बनाउँछ। Cloudflare को managed robots.txt ले यसलाई आफूले निषेध गर्ने AI ट्रेनिङ क्रलरमा राखेको छ। - Perplexity:
PerplexityBotरPerplexity-Userसर्च र प्रयोगकर्ताका अनुरोधका लागि हुन्। Perplexity भन्छ कुनै पनि ट्रेनिङ डेटा सङ्कलन गर्न प्रयोग हुँदैन, त्यसैले ब्लक गर्नुपर्ने Perplexity ट्रेनिङ टोकन छैन।
robots.txt कस्तो देखिन्छ?
RFC 9309 अनुसार लगातार आउने धेरै User-agent लाइनले एउटै समूह बनाउँछन्, त्यसैले नियम तीमध्ये प्रत्येकमा लागू हुन्छन्। यो फाइलले माथिका ट्रेनिङ टोकनबाट opt-out गर्छ, सर्च र प्रयोगकर्ता एजेन्टलाई अनुमति दिन्छ, र एउटा निजी path सबैका लागि बन्द राख्छ:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml दुई कुरा महत्त्वपूर्ण छन्। पहिलो, नाम तोकिएको समूहले * बाट केही पनि लिँदैन, त्यसैले निजी path सर्च समूहमा दोहोर्याउनुपर्छ। दोस्रो, Googlebot वा Applebot लाई ट्रेनिङ समूहमा नथप्नुहोस्: ती सर्च क्रलर हुन्, र तिनलाई ब्लक गर्दा तपाईं Google Search र Apple का सर्च सुविधाबाट हट्नुहुन्छ। परिवर्तन तुरुन्तै लागू हुँदैनन्: OpenAI सर्चका लागि करिब 24 घण्टा भन्छ, र Perplexity 24 घण्टासम्म।
कति साइटले यो पहिले नै गर्छन्?
तपाईंले सोचेभन्दा कम। हामीले 2026-11-12 मा Tranco सूचीका सबैभन्दा लोकप्रिय 1,000 डोमेनका robots.txt फाइल पढ्यौँ। robots.txt दिने 518 मध्ये 155 (29.9%) ले कम्तीमा एउटा AI ट्रेनिङ क्रलरका लागि गृहपृष्ठ निषेध गर्छन्। 57 (11.0%) ले मात्र छानेर गर्ने बाटो लिन्छन्: ट्रेनिङ क्रलर ब्लक गर्छन् र हामीले परीक्षण गरेका हरेक AI सर्च र प्रयोगकर्ता क्रलरलाई अनुमति दिन्छन्। जम्मा 101 साइट (19.5%) ले कम्तीमा एउटा AI सर्च वा प्रयोगकर्ता क्रलर ब्लक गर्छन्।
क्रलर-अनुसारका सङ्ख्याले पनि उही विभाजन देखाउँछन्। GPTBot 111 साइट (21.4%) मा ब्लक छ र OAI-SearchBot 58 (11.2%) मा। ClaudeBot 110 (21.2%) मा ब्लक छ र Claude-SearchBot 67 (12.9%) मा। Google-Extended 94 (18.1%) मा ब्लक छ, Googlebot 14 (2.7%) मा। 18 साइट (3.5%) ले मात्र Content-Signal प्रयोग गर्छन्।
अध्ययनले गृहपृष्ठका लागि robots.txt नियम मात्र हेर्छ। यसले फायरवाल ब्लक मापन गर्दैन, र हरेक साइटको उद्देश्य के थियो देखाउँदैन।
Content-Signal ले के थप्छ?
Content Signals भनेको Cloudflare ले contentsignals.org मा प्रकाशित गरेको robots.txt विस्तार हो। Content-Signal लाइनले सामग्री कसरी प्रयोग गर्न सकिन्छ भनेर तीन सङ्केतमार्फत बताउँछ: search (सर्च इन्डेक्स बनाउने र लिंक तथा छोटा अंश देखाउने), ai-input (generative उत्तरका लागि grounding वा retrieval जस्तै, सामग्री तत्काल AI मोडेलमा हाल्ने) र ai-train (मोडेल ट्रेन वा fine-tune गर्ने)।
ध्यान दिनुहोस्, search को परिभाषामा AI ले बनाएका सर्च सारांश पर्दैनन्। AI उत्तरमा देखिन चाहनुहुन्छ भने माथिको उदाहरणमा जस्तै ai-input=yes पनि राख्नुहोस्। Cloudflare को managed robots.txt ले पूर्वनिर्धारित रूपमा search=yes, ai-train=no थप्छ; तपाईंले छोडेको सङ्केतले त्यो प्रयोगलाई न अनुमति दिन्छ न रोक्छ।
यी घोषित प्राथमिकता हुन्। Content Signals साइट भन्छ यिनले प्राविधिक रूपमा क्रलिङ रोक्दैनन्, र Cloudflare भन्छ robots.txt पालना स्वैच्छिक हो। हामीले जाँचेका OpenAI, Anthropic, Google वा Perplexity का कुनै पनि क्रलर पेजले आफूले Content-Signal पढ्ने कि नपढ्ने बताउँदैन, त्यसैले यसलाई प्रति-क्रलर समूहको विकल्प होइन, थप कुरा मान्नुहोस्।
यो विभाजन कहाँ सफा ढङ्गले काम गर्दैन?
केही अवस्थामा ध्यान चाहिन्छ:
- Google AI Overviews र AI Mode ले
Googlebotले बनाउने Search इन्डेक्स प्रयोग गर्छन्, त्यसैलेGoogle-Extendedले तपाईंलाई तिनबाट हटाउँदैन। Google को Search Console सहायताले थप्छ किGoogle-Extendedले Search का generative AI सुविधापछाडिका मोडेलको ट्रेनिङ सीमित गर्छ, जुन दायरा यसको क्रलर कागजातमा उल्लेख छैन। Google ले अब साइटलाई AI Overviews र AI Mode बाट बाहिर राख्न छुट्टै Search Console सेटिङ दिन्छ। - OpenAI भन्छ, कुनै साइटले
GPTBotरOAI-SearchBotदुवैलाई अनुमति दिन्छ भने यसले एउटा क्रलको नतिजा दुवै उद्देश्यका लागि प्रयोग गर्न सक्छ। सामग्री ट्रेनिङमा प्रयोग नहोस् भन्ने सङ्केतGPTBotनिषेध गरेर दिइन्छ। - opt-out अगाडिका लागि मात्र लागू हुन्छन्। उदाहरणका लागि Anthropic ले
ClaudeBotनिषेध गर्नुलाई तपाईंको साइटको भविष्यको सामग्रीलाई ट्रेनिङ डेटासेटबाट बाहिर राख्ने भनेर वर्णन गर्छ। - प्रयोगकर्ताले चलाउने फेचर बीचमा पर्छन्। OpenAI र Perplexity भन्छन् robots.txt
ChatGPT-Userमा लागू नहुन सक्छ रPerplexity-Userमा सामान्यतया लागू हुँदैन। - फायरवालले robots.txt पढ्दैन। बटलाई व्यापक रूपमा ब्लक गर्ने नियमले तपाईंले अनुमति दिएका सर्च क्रलरलाई पनि रोक्न सक्छ। ट्रेनिङ ब्लक फायरवालमा लागू गर्नुहुन्छ भने ट्रेनिङ एजेन्टलाई नामले मिलाउनुहोस् र तिनका प्रकाशित IP दायराबाट प्रमाणित गर्नुहोस्।
विभाजनले काम गर्छ कि गर्दैन कसरी जाँच्ने?
आफ्नो robots.txt हरेक क्रलरले जस्तै पढ्नुहोस्: त्यसको नाम भएको समूह खोज्नुहोस्, त्यस्तो समूह नभए मात्र * मा फर्किनुहोस्, र सबैभन्दा लामो मिल्ने नियम लागू गर्नुहोस्। त्यसपछि हरेक सर्च क्रलरको user agent सहित पेज माग्नुहोस् र त्यसले 403 वा च्यालेन्ज पेज होइन, पूरा सामग्रीसहित 200 पाउँछ भनी पक्का गर्नुहोस्।
AISeeWhy ले ट्रेनिङ, सर्च र प्रयोगकर्ता एजेन्टमा समूहबद्ध 14 क्रलरका लागि दुवै गर्छ, र सबैभन्दा सामान्य गल्ती देखाउँछ: ट्रेनिङ ब्लक गर्न खोज्दा PerplexityBot वा Claude-SearchBot जस्तो सर्च टोकन ब्लक गर्नु।
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- AI क्रलर IP जाँच
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के GPTBot ब्लक गर्दा मेरो साइट ChatGPT का उत्तरबाट हट्छ?
हट्दैन। OpenAI भन्छ GPTBot ट्रेनिङका लागि हो र robots.txt का हरेक सेटिङ स्वतन्त्र छन्। ChatGPT सर्चले OAI-SearchBot प्रयोग गर्छ; त्यसलाई अनुमति छ र तपाईंको फायरवालले ब्लक गर्दैन भने तपाईंका पेज योग्य रहन्छन्।
के Google-Extended ब्लक गर्दा म AI Overviews बाट हट्छु?
Google को कागजातअनुसार हट्नुहुन्न। Google भन्छ Google-Extended ले Google Search मा समावेशलाई असर गर्दैन, र AI Overviews ले Search इन्डेक्स प्रयोग गर्छन्। साइटलाई AI Overviews र AI Mode बाट बाहिर राख्न Google ले छुट्टै Search Console नियन्त्रण दिन्छ।
के सबै AI ट्रेनिङ ब्लक गर्ने एउटै लाइन छ?
कुनै मानक लाइन छैन। Content-Signal: ai-train=no ले सबै क्रलरका लागि प्राथमिकता बताउँछ, तर क्रलरले यसलाई पालना गर्छ कि गर्दैन सञ्चालकमा भर पर्छ। हरेक ट्रेनिङ टोकनका लागि नाम तोकिएका समूह नै कागजातमा दिइएको तरिका हो।
AI ट्रेनिङ रोक्न के मैले Perplexity ब्लक गर्नुपर्छ?
Perplexity भन्छ यसका एजेन्ट ट्रेनिङ डेटा सङ्कलन गर्न प्रयोग हुँदैनन्। PerplexityBot ब्लक गर्दा ट्रेनिङ opt-out हुँदैन, Perplexity का सर्च नतिजामा तपाईं देखिने सम्भावना मात्र घट्छ।
स्रोतहरू
- OpenAI: OpenAI क्रलरहरूको परिचय
- Anthropic: के Anthropic ले वेबबाट डेटा क्रल गर्छ, र साइट मालिकले क्रलरलाई कसरी ब्लक गर्न सक्छन्?
- Google: Google-Extended सहित साझा क्रलरहरू
- Google Search Console सहायता: Search generative AI नियन्त्रण
- Apple: Applebot बारे
- Meta: Meta वेब क्रलरहरू
- Common Crawl: CCBot
- Perplexity: Perplexity क्रलरहरू
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt र Content Signals
- AISeeWhy: AI क्रलर पहुँच रिपोर्ट, 2026-11