पेजको ठेगाना लेख्नुहोस्: हामी साइटको robots.txt पढ्छौँ र हरेक AI र सर्च क्रलरले त्यो पेज ल्याउन पाउँछ कि पाउँदैन देखाउँछौँ। वा प्रकाशित गर्नुअघि परीक्षण गर्न robots.txt टाँस्नुहोस्।
robots.txt एउटा अनुरोध मात्र हो। robots.txt ले अनुमति दिएको क्रलरलाई पनि फायरवाल वा बट सुरक्षाले ब्लक गर्न सक्छ; पूरा जाँचले त्यो परीक्षण गर्छ। पूरा जाँच चलाउनुहोस् →
हरेक क्रलरले आफ्नो टोकन (जस्तै GPTBot वा PerplexityBot) उल्लेख गरिएको समूह पछ्याउँछ; कुनै समूहले उल्लेख नगरेमा मात्र User-agent: * पछ्याउँछ। समूहभित्र सबैभन्दा लामो मिल्ने नियम लागू हुन्छ, र बराबरी भए Allow जित्छ। GPTBot, ClaudeBot वा Google-Extended जस्ता ट्रेनिङ क्रलर ब्लक गर्दा तपाईंको सामग्री मोडेल ट्रेनिङबाट बाहिर रहन्छ; OAI-SearchBot, ChatGPT-User वा PerplexityBot जस्ता सर्च र प्रयोगकर्ता क्रलर ब्लक गर्दा तपाईंका पेज AI उत्तरबाट बाहिर रहन्छन्।
गाइड
robots.txt टेस्टर कसरी प्रयोग गर्ने
यो पाठ अङ्ग्रेजीबाट मेसिनले अनुवाद गरेको हो।
यो robots.txt टेस्टरले के जाँच्छ
पेजको ठेगाना लेख्नुहोस्। टेस्टरले त्यो ठेगानाको scheme र host लिन्छ, त्यो host को root बाट /robots.txt पढ्छ र तपाईंको पेजको path का लागि यसका नियम मूल्याङ्कन गर्छ। यसले 16 क्रलरमध्ये हरेकका लागि एउटै प्रश्नको उत्तर दिन्छ: के यो क्रलरले यो पेज ल्याउन पाउँछ?
क्रलरलाई तिनको कामअनुसार समूहमा राखिएको छ। ट्रेनिङ क्रलरले AI मोडेलका लागि पेज सङ्कलन गर्छन्: GPTBot, ClaudeBot, CCBot, Bytespider र Meta-ExternalAgent, साथै robots.txt मा मात्र प्रयोग हुने टोकन Google-Extended र Applebot-Extended, जुन आफैँ कहिल्यै आउँदैनन् तर Google र Apple ले पहिले नै ल्याएका पेज प्रयोग गर्न पाउँछन् कि पाउँदैनन् भन्छन्। सर्च क्रलरले AI उत्तर र सर्च नतिजाले उद्धृत गर्ने इन्डेक्स बनाउँछन्: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot र Applebot। प्रयोगकर्ता एजेन्टले कसैले सहायकलाई पेज खोल्न भन्दा पेज ल्याउँछन्: ChatGPT-User, Claude-User र Perplexity-User।
ठेगानाको सट्टा robots.txt टाँस्न पनि सक्नुहुन्छ। त्यसबेला केही पनि ल्याइँदैन: टेस्टरले तपाईंले टाँसेको पाठ मूल्याङ्कन गर्छ, त्यसैले प्रकाशित गर्नुअघि परिवर्तन परीक्षण गर्न सक्नुहुन्छ। टाँसिएको पाठ उत्तर दिन मात्र प्रयोग हुन्छ र सेभ गरिँदैन।
नतिजा कसरी पढ्ने
तालिकामा हरेक क्रलरको एउटा पङ्क्ति हुन्छ। तपाईंको path को स्तम्भमा अनुमति छ वा ब्लक गरिएको लेखिन्छ। अन्तिम स्तम्भले फाइलको कुन भागले निर्णय गर्यो भन्छ:
आफ्नै समूह: फाइलमा यो क्रलरको टोकनसहितको User-agent लाइन छ, र यसका लागि त्यो समूहका नियम मात्र लागू हुन्छन्।
User-agent: *: कुनै समूहले क्रलरको नाम लिँदैन, त्यसैले यसले सबैका लागि हुने समूह पछ्याउँछ।
कुनै नियम छैन: कुनै पनि समूह लागू हुँदैन, त्यसैले पेजलाई अनुमति छ।
तालिकामुनि फाइलले सूचीबद्ध गरेका Sitemap लाइन र यसको Content-Signal लाइन, भए, देखिन्छन्। ठेगानाले पाठ फाइलको सट्टा वेब पेज फर्कायो वा कुनै फाइल नै फर्काएन भने टेस्टरले त्यो भन्छ: क्रलरले /robots.txt मा भएको HTML पेजलाई नभएको फाइल मान्छन्।
अनुमति छ लेखिएको पङ्क्तिको अर्थ robots.txt ले त्यो क्रलरलाई रोक्दैन भन्ने मात्र हो। यसको अर्थ क्रलर आउँछ भन्ने होइन, र यसले तपाईंको फायरवालबारे केही भन्दैन।
क्रलरले आफ्ना नियम कसरी छान्छ
robots.txt को मानक RFC 9309 ले तीन नियम तोक्छ, जसले लगभग हरेक अचम्मको नतिजा बुझाउँछन्। क्रलरले पहिले ठूलो-सानो अक्षर बेवास्ता गर्दै आफ्नो टोकनसँग User-agent मिल्ने समूह खोज्छ। भेटियो भने यसले ती समूह मात्र पछ्याउँछ र User-agent: * लाई पूरै बेवास्ता गर्छ। छानिएको समूहभित्र सबैभन्दा लामो मिल्ने path भएको नियम जित्छ, र Allow र Disallow उही लम्बाइमा मिले Allow जित्छ।
यो फाइलमा GPTBot हरेक पेजबाट ब्लक हुन्छ, किनभने यसको आफ्नै समूह छ। अरू हरेक क्रलरले /private/press/kit.pdf ल्याउन पाउँछ, किनभने Allow: /private/press/ चाहिँ Disallow: /private/ भन्दा लामो छ, र /private/notes/ बाट ब्लक हुन्छ। टेस्टरमा दुवै path परीक्षण गर्नुहोस्, र निर्णय एउटा समूहबाट अर्कोमा बदलिएको देख्नुहुनेछ।
सामान्य गल्ती, उदाहरणसहित
लगातार लेखिएका User-agent लाइनले एउटै समूह बाँड्छन्। User-agent: GPTBot, त्यसपछि User-agent: OAI-SearchBot, त्यसपछि Disallow: / भएको फाइलले दुवै क्रलर ब्लक गर्छ, त्यसैले ट्रेनिङ मात्र रोक्न खोजेको साइट ChatGPT सर्चबाट पनि हराउँछ।
गलत OpenAI टोकन ब्लक गर्नु। GPTBot ले ट्रेनिङ डेटा सङ्कलन गर्छ; OAI-SearchBot ले ChatGPT सर्चले तपाईंलाई देखाउन र उद्धृत गर्न सक्छ कि सक्दैन निर्णय गर्छ। ट्रेनिङ रोक्न OAI-SearchBot वा ChatGPT-User ब्लक गर्दा उल्टै तपाईं उत्तरबाट हट्नुहुन्छ।
एउटा अक्षरले नियम उल्टाउँछ। पछाडि केही नभएको Disallow: ले सबैलाई अनुमति दिन्छ; Disallow: / ले सबै ब्लक गर्छ।
path मा ठूलो-सानो अक्षर फरक पर्छ। Disallow: /Blog/ ले /blog/ ब्लक गर्दैन।
wildcard सावधानीपूर्वक प्रयोग गर्नुपर्छ। Disallow: /*.pdf ले /file.pdf?download=1 पनि ब्लक गर्छ; Disallow: /*.pdf$ ले .pdf मा अन्त्य हुने ठेगाना मात्र ब्लक गर्छ।
फाइल गलत host मा छ। robots.txt त्यो serve गरिने scheme र host का लागि मात्र लागू हुन्छ, त्यसैले www.example.com, example.com र shop.example.com लाई छुट्टाछुट्टै फाइल चाहिन्छ।
सर्भरले त्रुटि फर्काउँछ। 4xx उत्तरको अर्थ क्रलरले सबै ल्याउन पाउँछन्। 5xx उत्तर वा timeout भए फाइल फेरि पढ्न नसकिँदासम्म तिनले सबै निषेधित मान्नुपर्छ, त्यसैले बिग्रिएको /robots.txt ले सबै क्रलिङ रोक्न सक्छ।
क्रलरले नपछ्याउने नियम। Noindex: र Crawl-delay: RFC 9309 को भाग होइनन्, र Google ले दुवै बेवास्ता गर्छ।
robots.txt ले पेजलाई सर्चबाट हटाउँछ भन्ने अपेक्षा। यसले क्रलिङ रोक्छ, इन्डेक्सिङ होइन: ब्लक गरिएको ठेगाना पाठ बिना पनि सूचीमा आउन सक्छ। पेजलाई इन्डेक्सबाट बाहिर राख्न क्रलिङलाई अनुमति दिनुहोस् र noindex meta tag वा header प्रयोग गर्नुहोस्।
ट्रेनिङ, सर्च र प्रयोगकर्ता क्रलर: हरेकलाई ब्लक गर्दा के हुन्छ
ट्रेनिङ क्रलर ब्लक गर्नु नीतिगत छनोट हो। यसले तपाईंका पेजलाई भविष्यको मोडेल ट्रेनिङबाट बाहिर राख्छ र आज AI सर्चले तपाईंलाई उद्धृत गर्न सक्छ कि सक्दैन भन्नेमा असर गर्दैन। OAI-SearchBot, Claude-SearchBot वा PerplexityBot जस्ता सर्च क्रलर ब्लक गर्दा तपाईंका पेज त्यो सहायकका उत्तरबाट बाहिर रहन्छन्। Googlebot वा Bingbot ब्लक गर्दा तपाईं ती सर्च इन्जिन र तिनमा बनेका AI सुविधाबाट हट्नुहुन्छ।
ChatGPT-User जस्ता प्रयोगकर्ता एजेन्टले तपाईंको पेज माग्ने व्यक्तिका लागि काम गर्छन्। केही कम्पनी भन्छन् यस्ता अनुरोधमा यी एजेन्टले robots.txt नपछ्याउन सक्छन्, त्यसैले तिनका लागि लेखिएको नियम अनुरोध हो, ग्यारेन्टी होइन। ट्रेनिङ बन्द र AI सर्च खुला चाहनुहुन्छ भने ट्रेनिङ टोकन ब्लक गर्नुहोस् र सर्च तथा प्रयोगकर्ता टोकनलाई नछुनुहोस्।
प्रकाशित गर्नुअघि परीक्षण गर्नुहोस्, त्यसपछि फेरि परीक्षण गर्नुहोस्
आफ्नो ड्राफ्ट टेस्टरमा टाँस्नुहोस्, उत्पादन वा मूल्य पेजजस्तो महत्त्वपूर्ण पेजको path राख्नुहोस्, र तपाईंलाई चासो भएका हरेक क्रलरको पङ्क्ति पढ्नुहोस्। ब्लक गर्न खोजेको path सँग दोहोर्याउनुहोस्। नतिजा तपाईंको उद्देश्यसँग मिलेपछि फाइल प्रकाशित गर्नुहोस् र लाइभ ठेगानासँग टेस्टर फेरि चलाउनुहोस्, जसले सर्भरले तपाईंले सम्पादन गरेकै फाइल फर्काउँछ भन्ने प्रमाणित गर्छ।
क्रलरले robots.txt cache गर्छन्; उदाहरणका लागि Google ले सामान्यतया 24 घण्टाभित्र आफ्नो प्रति ताजा गर्छ। परिवर्तन तिनको व्यवहारमा देखिन एक दिन लाग्न सक्छ, र Google Search Console को robots.txt रिपोर्टले Google ले अन्तिम पटक ल्याएको प्रति देखाउँछ।
robots.txt ले क्रलरलाई अनुमति दिँदा पनि ऊ ब्लक हुँदा
robots.txt एउटा अनुरोध मात्र हो। मानिसले पेज पाउँदा पनि फायरवाल, बट सुरक्षा सेवा वा CDN नियमले क्रलरलाई 403 वा च्यालेन्ज पेज दिन सक्छ। टेस्टरले त्यो देख्न सक्दैन, किनभने यसले एउटा फाइल मात्र पढ्छ। पूरा जाँचले तपाईंको पेजलाई सामान्य ब्राउजरसँगै हरेक क्रलरको user agent सहित ल्याउँछ र कुन क्रलरले फरक उत्तर पाउँछ, HTTP status र फायरवालको पहिचानसहित देखाउँछ।
बारम्बार सोधिने प्रश्नहरू
के यो Google को robots.txt Tester जस्तै हो?
होइन। Google ले आफ्नो छुट्टै robots.txt Tester 2023 मा बन्द गर्यो; अब Search Console को robots.txt रिपोर्टले Google ले ल्याएको फाइल र parsing त्रुटि Google का क्रलरका लागि मात्र देखाउँछ। यो टेस्टरले उही RFC 9309 नियम एकैपटक 16 AI र सर्च क्रलरमा लागू गर्छ।
के अनुमति छ को अर्थ क्रलरले मेरो पेज पढ्छ वा उद्धृत गर्छ भन्ने हो?
होइन। यसको अर्थ robots.txt ले यसलाई निषेध गर्दैन भन्ने हो। क्रलरले पेज पाउँछ कि पाउँदैन तपाईंको सर्भर र फायरवालमा भर पर्छ, र सहायकले उद्धृत गर्छ कि गर्दैन तपाईंको सामग्री र सोधिएको प्रश्नमा भर पर्छ।
क्रलरमा "कुनै नियम छैन" किन देखिन्छ?
तपाईंको फाइलमा यसको टोकनका लागि कुनै समूह छैन र User-agent: * समूह पनि छैन, त्यसैले यसमा केही लागू हुँदैन र हरेक path लाई अनुमति छ।
के अहिलेसम्म प्रकाशित नभएको robots.txt परीक्षण गर्न सकिन्छ?
सकिन्छ। पाठ दोस्रो फिल्डमा टाँस्नुहोस् र परीक्षण गर्ने path लेख्नुहोस्। तपाईंको साइटबाट केही ल्याइँदैन, र टाँसिएको पाठ सेभ गरिँदैन।
के टेस्टरले GPTBot वा अन्य क्रलरका रूपमा अनुरोध पठाउँछ?
पठाउँदैन। यसले तपाईंको robots.txt पढेर नियम लागू मात्र गर्छ। हरेक क्रलरले तपाईंको सर्भरबाट वास्तवमा के पाउँछ हेर्न पूरा जाँच चलाउनुहोस्।
यो कति पटक प्रयोग गर्न सकिन्छ?
यो निःशुल्क छ र खाता चाहिँदैन। सबैका लागि उपलब्ध राख्न हरेक नेटवर्कबाट प्रति घण्टा सीमित सङ्ख्यामा परीक्षण चलाउन सकिन्छ।