AI क्रलरका लागि robots.txt जेनेरेटर

कुन AI क्रलरले तपाईंको साइट पढ्न पाउँछन् छान्नुहोस् र बनाइएको robots.txt कपी गर्नुहोस्। सामान्य छनोट भनेको GPTBot र ClaudeBot जस्ता AI ट्रेनिङ क्रलर ब्लक गर्नु तर OAI-SearchBot र PerplexityBot जस्ता AI सर्च क्रलरलाई अनुमति दिनु हो, ताकि तपाईंका पेज AI उत्तरमा देखिन र उद्धृत हुन सकून्।

यहाँबाट सुरु गर्नुहोस्
AI ट्रेनिङ
AI सर्च
प्रयोगकर्ताले मागेको फेच
Content-Signal (ऐच्छिक): तपाईंले अनुमति दिने कुरामा चिन्ह लगाउनुहोस्

प्रयोगकर्ताले मागेको फेच ब्लक गर्दा सीमित असर हुन्छ: केही कम्पनी भन्छन् कि यी एजेन्टले robots.txt नमान्न सक्छन्, किनकि पेज मानिसले मागेको हुन्छ। प्रकाशित गर्नुअघि नतिजालाई robots.txt चेकरले परीक्षण गर्नुहोस्। AI क्रलरका लागि robots.txt टेस्टर र चेकर →

कसरी प्रयोग गर्ने

फाइललाई आफ्नो डोमेनको root मा राख्नुहोस् (https://example.com/robots.txt)। अन्य क्रलरका नियम पहिल्यै छन् भने तिनलाई राख्नुहोस् र AI समूह मात्र थप्नुहोस्। परिवर्तन हरेक क्रलरले अर्को पटक फाइल पढ्दा लागू हुन्छ, प्रायः एक दिनभित्र।

पूरा जाँच चलाउनुहोस् →

गाइड

robots.txt जेनेरेटर कसरी प्रयोग गर्ने

यो पाठ अङ्ग्रेजीबाट मेसिनले अनुवाद गरेको हो।

जेनेरेटरले के लेख्छ

तपाईंको साइट पढ्न पाउने क्रलरमा टिक लगाउनुहोस् र ब्लक गर्न चाहेकाबाट टिक हटाउनुहोस्। जेनेरेटरले हरेक ब्लक गरिएको क्रलरका लागि एउटा समूह, User-agent: <token> र त्यसपछि Disallow: /, अनि बाँकी सबैलाई अनुमति दिने अन्तिम User-agent: * समूहसहित robots.txt लेख्छ। sitemap ठेगाना थप्नुभयो भने यसले Sitemap लाइन थप्छ। Content-Signal विकल्पमा टिक लगाउनुभयो भने यसले तपाईंको सामग्री कसरी प्रयोग गर्न सकिन्छ भन्ने Content-Signal लाइन थप्छ।

केही पनि तपाईंको ब्राउजरबाट बाहिर जाँदैन: तपाईंले क्लिक गर्दै जाँदा फाइल पेजमै बन्छ, र तपाईं यसलाई output बक्सबाट कपी गर्नुहुन्छ।

कुन preset बाट सुरु गर्ने

एउटा उदाहरण: ट्रेनिङ ब्लक, AI सर्चलाई अनुमति

हरेक ब्लक गरिएको क्रलरको आफ्नै समूह छ, त्यसैले यसको Disallow: / त्यसमा मात्र लागू हुन्छ। OAI-SearchBot र Googlebot सहित अरू सबै क्रलर User-agent: * मा पुग्छन् र सबै पढ्न पाउँछन्। Content-Signal लाइनले यसलाई पढ्ने क्रलरका लागि उही उद्देश्य दोहोर्‍याउँछ: सर्च र वास्तविक समयका उत्तर हो, ट्रेनिङ होइन।

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

प्रकाशित गर्नुअघि

सामान्य गल्ती

बारम्बार सोधिने प्रश्नहरू

के GPTBot ब्लक गर्दा मेरो साइट ChatGPT बाट हट्छ?

हट्दैन। GPTBot ले ट्रेनिङ डेटा सङ्कलन गर्छ। ChatGPT सर्चले OAI-SearchBot प्रयोग गर्छ, र ChatGPT-User ले मानिसले मागेका पेज खोल्छ। उद्धृत हुन चाहनुहुन्छ भने तिनलाई अनुमति दिइराख्नुहोस्।

Content-Signal के हो?

robots.txt को एउटा लाइन, जसले तपाईंको सामग्री कसरी प्रयोग गर्न सकिन्छ भन्छ: search, ai-input (वास्तविक समयका उत्तर) र ai-train (ट्रेनिङ), हरेक हो वा होइन। समर्थन कम्पनीअनुसार फरक हुन्छ; क्रलरले पछ्याउने नियम अझै क्रलर-विशेष समूह नै हुन्।

के Google-Extended ले Google Search मा असर गर्छ?

गर्दैन। यो robots.txt मा मात्र प्रयोग हुने टोकन हो, जसले Google ले तपाईंका पेज आफ्ना AI मोडेलका लागि प्रयोग गर्न पाउँछ कि पाउँदैन नियन्त्रण गर्छ; यसले Google Search मा क्रलिङ वा रैंकिङ बदल्दैन।

के मेरो छनोट कतै पठाइन्छ?

पठाइँदैन। जेनेरेटर तपाईंको ब्राउजरमा चल्छ र तपाईंले फाइल परीक्षण गर्ने नछानेसम्म हाम्रो सर्भरमा केही पठाइँदैन।

सम्बन्धित टुल र गाइड