AI क्रलरका लागि robots.txt: केलाई अनुमति दिने, के ब्लक गर्ने

प्रकाशित

छोटो उत्तर

तपाईंलाई महत्त्वपूर्ण लाग्ने हरेक AI क्रलरलाई आफ्नै User-agent समूह दिनुहोस्। उद्धृत हुन चाहनुहुन्छ भने OAI-SearchBot, Claude-SearchBot र PerplexityBot जस्ता सर्च क्रलरलाई अनुमति दिनुहोस्, र GPTBot, ClaudeBot, Google-Extended र Applebot-Extended जस्ता ट्रेनिङ टोकनबारे छुट्टै निर्णय गर्नुहोस्। नाम तोकिएको समूहले त्यो क्रलरका लागि * समूहलाई प्रतिस्थापन गर्छ।

robots.txt 1994 देखि चलिआएको सादा पाठ फाइल हो, जुन 2022 मा औपचारिक मानक RFC 9309 बन्यो। धेरैजसो AI कम्पनी आफ्ना क्रलरले यसलाई पालना गर्छन् भन्छन्, र धेरैले सर्च र ट्रेनिङका लागि छुट्टाछुट्टै टोकन प्रकाशित गर्छन्। यसले robots.txt लाई AI नीति बताउने सबैभन्दा सरल ठाउँ बनाउँछ, यदि नियमको अर्थ तपाईंले सोचेजस्तै छ भने।

यस पेजमा
  1. AI क्रलरले कुन robots.txt टोकन प्रयोग गर्छन्?
  2. राम्रो AI robots.txt कस्तो देखिन्छ?
  3. क्रलरले आफूमा कुन नियम लागू हुन्छ कसरी छान्छन्?
  4. robots.txt का सबैभन्दा सामान्य गल्ती के हुन्?
  5. के म allow र disallow भन्दा बाहिर AI प्रयोग नीति बताउन सक्छु?
  6. परिवर्तन लागू हुन कति समय लाग्छ, र कसरी जाँच्ने?

AI क्रलरले कुन robots.txt टोकन प्रयोग गर्छन्?

कम्पनीहरूले कागजातमा दिएका टोकन यी हुन्। RFC 9309 अनुसार मिलान ठूला-साना अक्षरमा भर पर्दैन।

राम्रो AI robots.txt कस्तो देखिन्छ?

यो उदाहरणले AI सर्च र प्रयोगकर्ताका लागि ल्याउने अनुरोधलाई भित्र आउन दिन्छ, मुख्य ट्रेनिङ टोकनबाट opt-out गर्छ र एउटा निजी भाग सबैका लागि बन्द राख्छ:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

लगातार आउने धेरै User-agent लाइनले एउटै समूह बनाउँछन्, त्यसैले तिनमुनिका नियम ती हरेक क्रलरमा लागू हुन्छन्। तपाईं आफ्नो सामग्री ट्रेनिङमा प्रयोग होस् भन्ने चाहनुहुन्छ भने दोस्रो समूह नराख्नुहोस्। Google-Extended ब्लक गर्दा Google Search मा असर पर्दैन: Google भन्छ यसले Search मा समावेशलाई असर गर्दैन र र्याङ्किङ सङ्केत होइन। त्यसैगरी Apple भन्छ Applebot-Extended निषेध गर्ने पेज पनि यसका सर्च नतिजामा देखिन सक्छन्।

क्रलरले आफूमा कुन नियम लागू हुन्छ कसरी छान्छन्?

RFC 9309 ले यसलाई सटीक रूपमा परिभाषित गर्छ, र यसका विवरणले धेरैजसो अचम्मका कुरा बुझाउँछन्:

robots.txt का सबैभन्दा सामान्य गल्ती के हुन्?

के म allow र disallow भन्दा बाहिर AI प्रयोग नीति बताउन सक्छु?

Cloudflare ले robots.txt का लागि तीन सङ्केत भएको Content-Signal लाइन प्रस्ताव गरेको छ: search (सर्च इन्डेक्स बनाउने र लिंक तथा छोटा अंश देखाउने), ai-input (AI उत्तरका लागि सामग्री तत्काल प्रयोग गर्ने) र ai-train (मोडेल ट्रेन वा fine-tune गर्ने)। Cloudflare को managed robots.txt ले यो तपाईंका लागि थपिदिन सक्छ।

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt का सबै कुरा जस्तै, यी प्राथमिकता हुन्, प्राविधिक नियन्त्रण होइनन्। Cloudflare आफैँ भन्छ robots.txt पालना स्वैच्छिक हो। यो लाइन ऐच्छिक हो र यसले हानि गर्दैन, तर माथिका प्रति-क्रलर समूहको ठाउँ लिँदैन।

परिवर्तन लागू हुन कति समय लाग्छ, र कसरी जाँच्ने?

RFC 9309 भन्छ क्रलरले cache गरिएको robots.txt 24 घण्टाभन्दा बढी प्रयोग गर्नु हुँदैन, र OpenAI र Perplexity दुवै परिवर्तन लागू हुन करिब एक दिन लाग्न सक्छ भन्छन्। यो पनि सम्झनुहोस् कि robots.txt पहुँच नियन्त्रण होइन: तपाईंका नियमले अनुमति दिएको क्रलरलाई पनि फायरवालले ब्लक गर्न सक्छ।

AISeeWhy ले परीक्षण गर्ने हरेक क्रलरका लागि तपाईंको robots.txt RFC 9309 अनुसार पार्स गर्छ, पुग्न नसकिने वा HTML का रूपमा दिइने फाइल देखाउँछ, तपाईंका नियम र सर्भर कहाँ बाझिन्छन् देखाउँछ र परिवर्तनका लागि तयार diff दिन्छ।

यो समस्याका समाधान

निःशुल्क टुल

अर्को कदम

यस लेखमा भएका क्रलर

बारम्बार सोधिने प्रश्नहरू

के GPTBot वा ClaudeBot ब्लक गर्दा AI उत्तरमा मेरो उपस्थितिमा असर पर्छ?

प्रत्यक्ष रूपमा पर्दैन। दुवै कम्पनीले सर्चका लागि छुट्टै सर्च क्रलर, OAI-SearchBot र Claude-SearchBot, प्रयोग गर्छन्। ट्रेनिङ क्रलर ब्लक गर्नु नीतिगत छनोट हो।

के Google-Extended ले AI Overviews रोक्छ?

रोक्दैन। Google भन्छ Search का AI सुविधाले Googlebot र nosnippet तथा noindex जस्ता सामान्य Search नियन्त्रण प्रयोग गर्छन्। Google-Extended ले Gemini ट्रेनिङ र Google का अन्य उत्पादनमा grounding समेट्छ र Search मा असर गर्दैन।

के AI क्रलरले Crawl-delay समर्थन गर्छन्?

यो RFC 9309 को भाग होइन। Anthropic भन्छ यसले Crawl-delay लाई गैर-मानक विस्तारका रूपमा समर्थन गर्छ; अन्य कम्पनीका लागि तिनको कागजात हेर्नुहोस्।

robots.txt कहाँ राख्नुपर्छ?

हरेक host को root मा, जस्तै https://example.com/robots.txt। सबफोल्डरमा राखिएको फाइल बेवास्ता गरिन्छ, र हरेक सबडोमेनलाई आफ्नै फाइल चाहिन्छ।

स्रोतहरू

थप लेखहरू