robots.txt ले GPTBot लाई अनुमति दिन्छ, तर सर्भरले ब्लक गर्छ

छोटो उत्तर

तपाईंको robots.txt ले यो क्रलरलाई पेज ल्याउन अनुमति दिन्छ, तर यसको user agent सहितको अनुरोध सर्भर, CDN वा फायरवालले ब्लक गर्यो। घोषित नीति र वास्तविक व्यवहार मेल खाँदैनन्। फायरवाल नियमलाई robots.txt अनुसार मिलाउनुहोस्, वा क्रलर ब्लक गर्ने नै उद्देश्य हो भने robots.txt मा यसलाई निषेध गर्नुहोस्।

robots.access_conflict · प्राथमिकता: P1–P3, क्रलरको प्रकारअनुसार

यसको अर्थ

तपाईंका नियमले GPTBot लाई भित्र आउन दिन्छन्, तर यसको user agent भएको अनुरोध ब्लक भयो। फायरवाल वा CDN ले तपाईंको घोषित नीतिलाई उल्ट्याउँछ।

AI सर्चका लागि यो किन महत्त्वपूर्ण छ

क्रलरले robots.txt लाई तपाईंको नीति मान्छन्। यसले हुन्छ भन्छ तर सर्भरले 403 दिन्छ भने क्रलरका अनुरोध खेर जान्छन्, यसले पछि फेरि प्रयास गर्न सक्छ, र पेज अझै उत्तर इन्जिनको इन्डेक्समा पुग्दैन। robots.txt ले भनेकाले टिमहरू आफूले AI सर्चलाई अनुमति दिएको ठान्छन्, जबकि कुनै बट नियमले चुपचाप त्यसलाई ब्लक गरिरहेको हुन्छ।

परीक्षण अनुरोध प्रमाणित नगरिएको IP ठेगानाबाट चल्छ। त्यसैले क्रलरलाई उसको प्रकाशित IP दायराबाट मात्र भित्र आउन दिने नियम, जुन उचित व्यवस्था हो, वास्तविक क्रलर भित्र पुग्दा पनि यहाँ देखिन सक्छ। केही बदल्नुअघि कुन नियम सक्रिय भयो जाँच्नुहोस्।

यसलाई कसरी सच्याउने

  1. निष्कर्षमा robots.txt समूह र ब्लक भएको अनुरोधको स्थिति तुलना गर्नुहोस्। AISeeWhy रिपोर्टले प्रमाण र टाँस्न तयार समाधान देखाउँछ; त्यसपछि नतिजा पक्का गर्न "फेरि जाँच्नुहोस्" चलाउनुहोस्।
  2. अनुरोध ब्लक गर्ने नियम पत्ता लगाउनुहोस्: Cloudflare मा Security → Events र AI Crawl Control तथा Bot Fight Mode सेटिङ जाँच्नुहोस्; अन्य CDN मा bot management को लग जाँच्नुहोस्।
  3. क्रलरलाई भित्र आउन दिन चाहनुहुन्छ भने यसका लागि अपवाद थप्नुहोस्; बाहिर राख्न चाहनुहुन्छ भने यसको टोकनका लागि Disallow समूह थप्नुहोस्, ताकि तपाईंको नीति एकै ठाउँमा लेखिएको होस्।

समाधान कसरी पुष्टि गर्ने

परिवर्तनपछि रिपोर्टमा "फेरि जाँच्नुहोस्" थिच्नुहोस्: यसले के सुधारियो र स्कोर कसरी बदलियो सूचीबद्ध गर्छ।

मेरो पेज जाँच्नुहोस् →

सम्बन्धित गाइड

सबै निष्कर्ष र स्कोर कसरी काम गर्छ