robots.txt ले OAI-SearchBot लाई निषेध गर्छ

छोटो उत्तर

तपाईंको robots.txt मा यो क्रलरको टोकनका लागि यो पेजसँग मेल खाने Disallow नियम छ। अडिटले RFC 9309 लागू गर्छ: क्रलरको आफ्नै समूह भए त्यही, नभए * समूह, र सबैभन्दा लामो मेल खाने नियम लागू हुन्छ। क्रलरलाई भित्र आउन दिन चाहनुहुन्छ भने उसका लागि Allow थप्नुहोस् वा नियम हटाउनुहोस्।

robots.disallowed · प्राथमिकता: P1–P3, क्रलरको प्रकारअनुसार

यसको अर्थ

तपाईंको robots.txt का नियमले OAI-SearchBot लाई / ल्याउनबाट रोक्छन्।

AI सर्चका लागि यो किन महत्त्वपूर्ण छ

नियम मान्ने AI क्रलरले robots.txt पालना गर्छन्। OAI-SearchBot, Claude-SearchBot वा PerplexityBot निषेधित छन् भने पेज तिनका सर्च इन्डेक्सका लागि ल्याइँदैन, त्यसैले तिनका उत्तरमा उद्धृत हुन सक्दैन। GPTBot, ClaudeBot, Google-Extended वा Applebot-Extended जस्ता ट्रेनिङ टोकन निषेध गर्दा मोडल ट्रेनिङमा प्रयोग मात्र रोकिन्छ।

धेरै साइटले गल्तीले AI क्रलर ब्लक गर्छन्: Googlebot बाहेक सबैलाई निषेध गर्ने टेम्प्लेट, वा staging बाट बाँकी रहेको Disallow: / सहितको User-agent: * समूह। ध्यान दिनुहोस्, Applebot को आफ्नै समूह नभए यसले Googlebot को समूह प्रयोग गर्छ।

यसलाई कसरी सच्याउने

  1. निष्कर्षमा नियम पत्ता लगाउनुहोस्: यसले क्रलरको टोकन र पाथ बताउँछ। AISeeWhy रिपोर्टले प्रमाण र टाँस्न तयार समाधान देखाउँछ; त्यसपछि नतिजा पक्का गर्न "फेरि जाँच्नुहोस्" चलाउनुहोस्।
  2. पेज निषेध गर्ने जुनसुकै समूहबाट क्रलरको टोकन हटाउनुहोस्, त्यसपछि Allow: / सहित यसको आफ्नै समूह थप्नुहोस्। विशिष्ट समूहले त्यो क्रलरका लागि * समूहलाई प्रतिस्थापन गर्छ, त्यसैले * अन्तर्गतका नियम अब त्यसमा लागू हुँदैनन्।
  3. WordPress मा robots.txt वेब रुटमा वास्तविक फाइल हो कि Yoast वा Rank Math जस्ता SEO प्लगइनले बनाएको हो जाँच्नुहोस्, र त्यहीँ सम्पादन गर्नुहोस्। Shopify मा robots.txt.liquid थिम टेम्प्लेट सम्पादन गर्नुहोस्।
  4. Cloudflare मा managed robots.txt सेटिङले तपाईंको आफ्नै फाइलमाथि AI क्रलरका नियम थप्छ कि थप्दैन जाँच्नुहोस्।
  5. तपाईंको नीति त्यही हो भने ट्रेनिङ टोकन निषेधित नै राख्नुहोस्; यसले छुट्टै टोकन प्रयोग गर्ने सर्च क्रलरलाई असर गर्दैन।

उदाहरण

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

समाधान कसरी पुष्टि गर्ने

परिवर्तनपछि रिपोर्टमा "फेरि जाँच्नुहोस्" थिच्नुहोस्: यसले के सुधारियो र स्कोर कसरी बदलियो सूचीबद्ध गर्छ।

मेरो पेज जाँच्नुहोस् →

सम्बन्धित गाइड

सबै निष्कर्ष र स्कोर कसरी काम गर्छ