कुन AI क्रलरले तपाईंको साइट पढ्न पाउँछन् छान्नुहोस् र बनाइएको robots.txt कपी गर्नुहोस्। सामान्य छनोट भनेको GPTBot र ClaudeBot जस्ता AI ट्रेनिङ क्रलर ब्लक गर्नु तर OAI-SearchBot र PerplexityBot जस्ता AI सर्च क्रलरलाई अनुमति दिनु हो, ताकि तपाईंका पेज AI उत्तरमा देखिन र उद्धृत हुन सकून्।
प्रयोगकर्ताले मागेको फेच ब्लक गर्दा सीमित असर हुन्छ: केही कम्पनी भन्छन् कि यी एजेन्टले robots.txt नमान्न सक्छन्, किनकि पेज मानिसले मागेको हुन्छ। प्रकाशित गर्नुअघि नतिजालाई robots.txt चेकरले परीक्षण गर्नुहोस्। AI क्रलरका लागि robots.txt टेस्टर र चेकर →
कसरी प्रयोग गर्ने
फाइललाई आफ्नो डोमेनको root मा राख्नुहोस् (https://example.com/robots.txt)। अन्य क्रलरका नियम पहिल्यै छन् भने तिनलाई राख्नुहोस् र AI समूह मात्र थप्नुहोस्। परिवर्तन हरेक क्रलरले अर्को पटक फाइल पढ्दा लागू हुन्छ, प्रायः एक दिनभित्र।
तपाईंको साइट पढ्न पाउने क्रलरमा टिक लगाउनुहोस् र ब्लक गर्न चाहेकाबाट टिक हटाउनुहोस्। जेनेरेटरले हरेक ब्लक गरिएको क्रलरका लागि एउटा समूह, User-agent: <token> र त्यसपछि Disallow: /, अनि बाँकी सबैलाई अनुमति दिने अन्तिम User-agent: * समूहसहित robots.txt लेख्छ। sitemap ठेगाना थप्नुभयो भने यसले Sitemap लाइन थप्छ। Content-Signal विकल्पमा टिक लगाउनुभयो भने यसले तपाईंको सामग्री कसरी प्रयोग गर्न सकिन्छ भन्ने Content-Signal लाइन थप्छ।
केही पनि तपाईंको ब्राउजरबाट बाहिर जाँदैन: तपाईंले क्लिक गर्दै जाँदा फाइल पेजमै बन्छ, र तपाईं यसलाई output बक्सबाट कपी गर्नुहुन्छ।
कुन preset बाट सुरु गर्ने
सबैलाई अनुमति: हरेक क्रलरले हरेक पेज पढ्न पाउँछ। भेटिन र उद्धृत हुन चाहने धेरैजसो साइटका लागि ठीक।
ट्रेनिङ ब्लक, AI सर्चलाई अनुमति: GPTBot, ClaudeBot, CCBot र Google-Extended जस्ता ट्रेनिङ क्रलर ब्लक हुन्छन्; OAI-SearchBot, Claude-SearchBot, PerplexityBot र ChatGPT-User जस्ता सर्च र प्रयोगकर्ता क्रलरलाई अनुमति रहन्छ। तपाईंका पेज अझै AI उत्तरमा देखिन र उद्धृत हुन सक्छन्।
सबै AI क्रलर ब्लक: सूचीका हरेक AI क्रलर ब्लक हुन्छन्। ती क्रलरले AI उत्तरका लागि तपाईंका पेज ल्याउने छैनन्, जसको अर्थ प्रायः सहायकबाट कम उद्धरण र कम ट्राफिक हुन्छ।
एउटा उदाहरण: ट्रेनिङ ब्लक, AI सर्चलाई अनुमति
हरेक ब्लक गरिएको क्रलरको आफ्नै समूह छ, त्यसैले यसको Disallow: / त्यसमा मात्र लागू हुन्छ। OAI-SearchBot र Googlebot सहित अरू सबै क्रलर User-agent: * मा पुग्छन् र सबै पढ्न पाउँछन्। Content-Signal लाइनले यसलाई पढ्ने क्रलरका लागि उही उद्देश्य दोहोर्याउँछ: सर्च र वास्तविक समयका उत्तर हो, ट्रेनिङ होइन।
मिलाउनुहोस्, बदल्नुहोस् होइन। तपाईंको हालको robots.txt मा admin क्षेत्र, cart वा सर्च पेजका नियम छन् भने तिनलाई नयाँ फाइलको User-agent: * समूहमा कपी गर्नुहोस्, नत्र ती क्षेत्र सबै क्रलरका लागि खुल्नेछन्।
फाइल हरेक host को root मा राख्नुहोस्: https://example.com/robots.txt। subdomain लाई आफ्नै फाइल चाहिन्छ।
यसलाई status 200 सहित सामान्य पाठका रूपमा serve गर्नुहोस्। त्यो ठेगानामा HTML पेज वा त्रुटिले robots.txt को काम गर्दैन।
नतिजा robots.txt टेस्टरमा टाँस्नुहोस् र तपाईंलाई चासो भएका क्रलरका लागि केही वास्तविक path जाँच्नुहोस्।
याद राख्नुहोस् robots.txt अनुरोध हो। तपाईंले अनुमति दिएको क्रलरलाई फायरवालले ब्लक गर्छ भने फाइलले त्यो सुधार्न सक्दैन; पूरा जाँचले त्यो देखाउँछ।
सामान्य गल्ती
ट्रेनिङ रोक्न OAI-SearchBot वा PerplexityBot ब्लक गर्नु। ती सर्च क्रलर हुन्; तिनलाई ब्लक गर्दा तपाईं उत्तरबाट हट्नुहुन्छ।
एउटा मात्र ब्लक गर्न खोज्दा एउटै Disallow: / माथि धेरै User-agent लाइन लेख्नु: लगातारका लाइनले एउटै समूह बनाउँछन्।
ChatGPT-User जस्ता प्रयोगकर्ताले माग्दा पेज ल्याउने एजेन्टले ब्लक मान्छन् भन्ने अपेक्षा। केही कम्पनी भन्छन् व्यक्तिले पेज मागेको बेला यी एजेन्टले robots.txt नपछ्याउन सक्छन्।
Crawl-delay वा Noindex लाइन थप्नु। यी RFC 9309 को भाग होइनन् र Google ले दुवै बेवास्ता गर्छ।
बारम्बार सोधिने प्रश्नहरू
के GPTBot ब्लक गर्दा मेरो साइट ChatGPT बाट हट्छ?
हट्दैन। GPTBot ले ट्रेनिङ डेटा सङ्कलन गर्छ। ChatGPT सर्चले OAI-SearchBot प्रयोग गर्छ, र ChatGPT-User ले मानिसले मागेका पेज खोल्छ। उद्धृत हुन चाहनुहुन्छ भने तिनलाई अनुमति दिइराख्नुहोस्।
Content-Signal के हो?
robots.txt को एउटा लाइन, जसले तपाईंको सामग्री कसरी प्रयोग गर्न सकिन्छ भन्छ: search, ai-input (वास्तविक समयका उत्तर) र ai-train (ट्रेनिङ), हरेक हो वा होइन। समर्थन कम्पनीअनुसार फरक हुन्छ; क्रलरले पछ्याउने नियम अझै क्रलर-विशेष समूह नै हुन्।
के Google-Extended ले Google Search मा असर गर्छ?
गर्दैन। यो robots.txt मा मात्र प्रयोग हुने टोकन हो, जसले Google ले तपाईंका पेज आफ्ना AI मोडेलका लागि प्रयोग गर्न पाउँछ कि पाउँदैन नियन्त्रण गर्छ; यसले Google Search मा क्रलिङ वा रैंकिङ बदल्दैन।
के मेरो छनोट कतै पठाइन्छ?
पठाइँदैन। जेनेरेटर तपाईंको ब्राउजरमा चल्छ र तपाईंले फाइल परीक्षण गर्ने नछानेसम्म हाम्रो सर्भरमा केही पठाइँदैन।