AI क्रलरका लागि robots.txt: केलाई अनुमति दिने, के ब्लक गर्ने
तपाईंलाई महत्त्वपूर्ण लाग्ने हरेक AI क्रलरलाई आफ्नै User-agent समूह दिनुहोस्। उद्धृत हुन चाहनुहुन्छ भने OAI-SearchBot, Claude-SearchBot र PerplexityBot जस्ता सर्च क्रलरलाई अनुमति दिनुहोस्, र GPTBot, ClaudeBot, Google-Extended र Applebot-Extended जस्ता ट्रेनिङ टोकनबारे छुट्टै निर्णय गर्नुहोस्। नाम तोकिएको समूहले त्यो क्रलरका लागि * समूहलाई प्रतिस्थापन गर्छ।
robots.txt 1994 देखि चलिआएको सादा पाठ फाइल हो, जुन 2022 मा औपचारिक मानक RFC 9309 बन्यो। धेरैजसो AI कम्पनी आफ्ना क्रलरले यसलाई पालना गर्छन् भन्छन्, र धेरैले सर्च र ट्रेनिङका लागि छुट्टाछुट्टै टोकन प्रकाशित गर्छन्। यसले robots.txt लाई AI नीति बताउने सबैभन्दा सरल ठाउँ बनाउँछ, यदि नियमको अर्थ तपाईंले सोचेजस्तै छ भने।
यस पेजमा
AI क्रलरले कुन robots.txt टोकन प्रयोग गर्छन्?
कम्पनीहरूले कागजातमा दिएका टोकन यी हुन्। RFC 9309 अनुसार मिलान ठूला-साना अक्षरमा भर पर्दैन।
- OpenAI:
OAI-SearchBot(ChatGPT सर्च),GPTBot(ट्रेनिङ),ChatGPT-User(प्रयोगकर्ताले माग्ने भ्रमण; OpenAI भन्छ robots.txt लागू नहुन सक्छ)। - Anthropic:
Claude-SearchBot(सर्च),ClaudeBot(ट्रेनिङ),Claude-User(प्रयोगकर्ताले माग्ने भ्रमण)। - Perplexity:
PerplexityBot(सर्च),Perplexity-User(प्रयोगकर्ताले माग्ने भ्रमण; Perplexity भन्छ यसले सामान्यतया robots.txt बेवास्ता गर्छ)। - Google:
Googlebot(यसका AI सुविधासहित Search) रGoogle-Extended, आफ्नै क्रलर नभएको टोकन जसले Gemini ट्रेनिङ र grounding मा प्रयोग नियन्त्रण गर्छ। - Apple:
Applebot(Spotlight, Siri, Safari सर्च) रApplebot-Extended, जसले क्रल गर्दैन तर Apple का फाउन्डेसन मोडेल ट्रेनिङमा प्रयोग नियन्त्रण गर्छ। - Meta:
meta-externalagent(ट्रेनिङ र उत्पादन इन्डेक्सिङ) रmeta-webindexer(Meta AI सर्च)। - Common Crawl:
CCBot, जसले Common Crawl को निःशुल्क सार्वजनिक वेब डेटा अभिलेख बनाउँछ।
राम्रो AI robots.txt कस्तो देखिन्छ?
यो उदाहरणले AI सर्च र प्रयोगकर्ताका लागि ल्याउने अनुरोधलाई भित्र आउन दिन्छ, मुख्य ट्रेनिङ टोकनबाट opt-out गर्छ र एउटा निजी भाग सबैका लागि बन्द राख्छ:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml लगातार आउने धेरै User-agent लाइनले एउटै समूह बनाउँछन्, त्यसैले तिनमुनिका नियम ती हरेक क्रलरमा लागू हुन्छन्। तपाईं आफ्नो सामग्री ट्रेनिङमा प्रयोग होस् भन्ने चाहनुहुन्छ भने दोस्रो समूह नराख्नुहोस्। Google-Extended ब्लक गर्दा Google Search मा असर पर्दैन: Google भन्छ यसले Search मा समावेशलाई असर गर्दैन र र्याङ्किङ सङ्केत होइन। त्यसैगरी Apple भन्छ Applebot-Extended निषेध गर्ने पेज पनि यसका सर्च नतिजामा देखिन सक्छन्।
क्रलरले आफूमा कुन नियम लागू हुन्छ कसरी छान्छन्?
RFC 9309 ले यसलाई सटीक रूपमा परिभाषित गर्छ, र यसका विवरणले धेरैजसो अचम्मका कुरा बुझाउँछन्:
- क्रलरले आफ्नो product token सँग
User-agentमेल खाने समूह खोज्छ, ठूला-साना अक्षर नहेरी। धेरै समूह मेल खाए भने तिनका नियम एउटैमा जोडिन्छन्। - कुनै समूह मेल खाँदैन भने मात्र क्रलरले
User-agent: *समूह पालना गर्छ। नाम तोकिएको समूहले*बाट केही पनि लिँदैन। - समूहभित्र सबैभन्दा लामो मिल्ने path भएको नियम जित्छ।
/blog/postका लागिAllow: /blog/लेDisallow: /लाई जित्छ। AllowरDisallowनियम बराबर लम्बाइमा मेल खान्छन् भनेAllowप्रयोग गर्नुपर्छ।- path मा
*ले जुनसुकै अक्षरसँग मेल खान्छ र$ले अन्त्य जनाउँछ, त्यसैलेDisallow: /*.pdf$ले हरेक PDF समेट्छ।
robots.txt का सबैभन्दा सामान्य गल्ती के हुन्?
- नाम तोकिएको समूहले
*बाट नियम लिन्छ भन्ने अपेक्षा गर्नु।Allow: /मात्र भएकोOAI-SearchBotसमूहले*अन्तर्गत निषेध गरेकासहित हरेक path खोल्छ। - HTML पेज फर्काउने robots.txt ठेगाना, प्रायः स्थिति 200 सहित दिइएको 404 पेज। क्रलरले त्यसमा कुनै मान्य नियम भेट्टाउँदैनन्।
- सर्भर त्रुटि फर्काउने robots.txt। RFC 9309 भन्छ त्यसपछि क्रलरले पूरै साइट निषेधित मान्नुपर्छ। 404 फरक हो: यसको अर्थ कुनै प्रतिबन्ध छैन।
- ट्रेनिङ ब्लक गर्न खोज्दा सर्च टोकन ब्लक गर्नु, जस्तै मोडेल ट्रेनिङबाट बच्न
PerplexityBotवाClaude-SearchBotनिषेध गर्नु। - प्रयोगकर्ताले माग्ने अनुरोध रोक्न robots.txt मा भर पर्नु। OpenAI र Perplexity दुवै भन्छन् तिनका user agent ले यसलाई पालना नगर्न सक्छन्।
- सबडोमेन बिर्सनु। हरेक host को आफ्नै robots.txt हुन्छ; Anthropic को कागजातले साइट मालिकलाई हरेक सबडोमेनका लागि नियम थप्न सम्झाउँछ।
के म allow र disallow भन्दा बाहिर AI प्रयोग नीति बताउन सक्छु?
Cloudflare ले robots.txt का लागि तीन सङ्केत भएको Content-Signal लाइन प्रस्ताव गरेको छ: search (सर्च इन्डेक्स बनाउने र लिंक तथा छोटा अंश देखाउने), ai-input (AI उत्तरका लागि सामग्री तत्काल प्रयोग गर्ने) र ai-train (मोडेल ट्रेन वा fine-tune गर्ने)। Cloudflare को managed robots.txt ले यो तपाईंका लागि थपिदिन सक्छ।
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt का सबै कुरा जस्तै, यी प्राथमिकता हुन्, प्राविधिक नियन्त्रण होइनन्। Cloudflare आफैँ भन्छ robots.txt पालना स्वैच्छिक हो। यो लाइन ऐच्छिक हो र यसले हानि गर्दैन, तर माथिका प्रति-क्रलर समूहको ठाउँ लिँदैन।
परिवर्तन लागू हुन कति समय लाग्छ, र कसरी जाँच्ने?
RFC 9309 भन्छ क्रलरले cache गरिएको robots.txt 24 घण्टाभन्दा बढी प्रयोग गर्नु हुँदैन, र OpenAI र Perplexity दुवै परिवर्तन लागू हुन करिब एक दिन लाग्न सक्छ भन्छन्। यो पनि सम्झनुहोस् कि robots.txt पहुँच नियन्त्रण होइन: तपाईंका नियमले अनुमति दिएको क्रलरलाई पनि फायरवालले ब्लक गर्न सक्छ।
AISeeWhy ले परीक्षण गर्ने हरेक क्रलरका लागि तपाईंको robots.txt RFC 9309 अनुसार पार्स गर्छ, पुग्न नसकिने वा HTML का रूपमा दिइने फाइल देखाउँछ, तपाईंका नियम र सर्भर कहाँ बाझिन्छन् देखाउँछ र परिवर्तनका लागि तयार diff दिन्छ।
यो समस्याका समाधान
- robots.txt ले GPTBot लाई अनुमति दिन्छ, तर सर्भरले ब्लक गर्छ
- robots.txt ले OAI-SearchBot लाई निषेध गर्छ
- robots.txt एउटा HTML पेज हो
- robots.txt मा Content-Signal छैन
अर्को कदम
- AI क्रलरका लागि robots.txt टेस्टर र चेकर
- पूरा रिपोर्टको एउटा उदाहरण हेर्नुहोस्
- AI क्रलर निगरानी
- योजना र मूल्य
यस लेखमा भएका क्रलर
बारम्बार सोधिने प्रश्नहरू
के GPTBot वा ClaudeBot ब्लक गर्दा AI उत्तरमा मेरो उपस्थितिमा असर पर्छ?
प्रत्यक्ष रूपमा पर्दैन। दुवै कम्पनीले सर्चका लागि छुट्टै सर्च क्रलर, OAI-SearchBot र Claude-SearchBot, प्रयोग गर्छन्। ट्रेनिङ क्रलर ब्लक गर्नु नीतिगत छनोट हो।
के Google-Extended ले AI Overviews रोक्छ?
रोक्दैन। Google भन्छ Search का AI सुविधाले Googlebot र nosnippet तथा noindex जस्ता सामान्य Search नियन्त्रण प्रयोग गर्छन्। Google-Extended ले Gemini ट्रेनिङ र Google का अन्य उत्पादनमा grounding समेट्छ र Search मा असर गर्दैन।
के AI क्रलरले Crawl-delay समर्थन गर्छन्?
यो RFC 9309 को भाग होइन। Anthropic भन्छ यसले Crawl-delay लाई गैर-मानक विस्तारका रूपमा समर्थन गर्छ; अन्य कम्पनीका लागि तिनको कागजात हेर्नुहोस्।
robots.txt कहाँ राख्नुपर्छ?
हरेक host को root मा, जस्तै https://example.com/robots.txt। सबफोल्डरमा राखिएको फाइल बेवास्ता गरिन्छ, र हरेक सबडोमेनलाई आफ्नै फाइल चाहिन्छ।
स्रोतहरू
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI क्रलरहरूको परिचय
- Google: Google-Extended सहित साझा क्रलरहरू
- Apple: Applebot बारे
- Cloudflare: Managed robots.txt र Content Signals