robots.txt ले OAI-SearchBot लाई निषेध गर्छ
तपाईंको robots.txt मा यो क्रलरको टोकनका लागि यो पेजसँग मेल खाने Disallow नियम छ। अडिटले RFC 9309 लागू गर्छ: क्रलरको आफ्नै समूह भए त्यही, नभए * समूह, र सबैभन्दा लामो मेल खाने नियम लागू हुन्छ। क्रलरलाई भित्र आउन दिन चाहनुहुन्छ भने उसका लागि Allow थप्नुहोस् वा नियम हटाउनुहोस्।
यसको अर्थ
तपाईंको robots.txt का नियमले OAI-SearchBot लाई / ल्याउनबाट रोक्छन्।
AI सर्चका लागि यो किन महत्त्वपूर्ण छ
नियम मान्ने AI क्रलरले robots.txt पालना गर्छन्। OAI-SearchBot, Claude-SearchBot वा PerplexityBot निषेधित छन् भने पेज तिनका सर्च इन्डेक्सका लागि ल्याइँदैन, त्यसैले तिनका उत्तरमा उद्धृत हुन सक्दैन। GPTBot, ClaudeBot, Google-Extended वा Applebot-Extended जस्ता ट्रेनिङ टोकन निषेध गर्दा मोडल ट्रेनिङमा प्रयोग मात्र रोकिन्छ।
धेरै साइटले गल्तीले AI क्रलर ब्लक गर्छन्: Googlebot बाहेक सबैलाई निषेध गर्ने टेम्प्लेट, वा staging बाट बाँकी रहेको Disallow: / सहितको User-agent: * समूह। ध्यान दिनुहोस्, Applebot को आफ्नै समूह नभए यसले Googlebot को समूह प्रयोग गर्छ।
यसलाई कसरी सच्याउने
- निष्कर्षमा नियम पत्ता लगाउनुहोस्: यसले क्रलरको टोकन र पाथ बताउँछ। AISeeWhy रिपोर्टले प्रमाण र टाँस्न तयार समाधान देखाउँछ; त्यसपछि नतिजा पक्का गर्न "फेरि जाँच्नुहोस्" चलाउनुहोस्।
- पेज निषेध गर्ने जुनसुकै समूहबाट क्रलरको टोकन हटाउनुहोस्, त्यसपछि
Allow: /सहित यसको आफ्नै समूह थप्नुहोस्। विशिष्ट समूहले त्यो क्रलरका लागि*समूहलाई प्रतिस्थापन गर्छ, त्यसैले*अन्तर्गतका नियम अब त्यसमा लागू हुँदैनन्। - WordPress मा robots.txt वेब रुटमा वास्तविक फाइल हो कि Yoast वा Rank Math जस्ता SEO प्लगइनले बनाएको हो जाँच्नुहोस्, र त्यहीँ सम्पादन गर्नुहोस्। Shopify मा
robots.txt.liquidथिम टेम्प्लेट सम्पादन गर्नुहोस्। - Cloudflare मा managed robots.txt सेटिङले तपाईंको आफ्नै फाइलमाथि AI क्रलरका नियम थप्छ कि थप्दैन जाँच्नुहोस्।
- तपाईंको नीति त्यही हो भने ट्रेनिङ टोकन निषेधित नै राख्नुहोस्; यसले छुट्टै टोकन प्रयोग गर्ने सर्च क्रलरलाई असर गर्दैन।
उदाहरण
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / समाधान कसरी पुष्टि गर्ने
परिवर्तनपछि रिपोर्टमा "फेरि जाँच्नुहोस्" थिच्नुहोस्: यसले के सुधारियो र स्कोर कसरी बदलियो सूचीबद्ध गर्छ।