GPTBot ले खाली पेज पाउँछ
क्रलरले स्थिति 200 पायो, तर वास्तविक पेज पाएन। यसको देखिने पाठ ब्राउजरले पाएको भन्दा 15% भन्दा कम छ, वा यसमा "access denied" वा "are you a robot" जस्तो ब्लकको वाक्यांश छ जुन ब्राउजरको पेजमा छैन। यो खाली पेज दिने बट नियम पत्ता लगाउनुहोस् र क्रलरलाई पूरा पेज हेर्न दिनुहोस्।
यसको अर्थ
GPTBot user agent भएको अनुरोधले स्थिति 200 पायो, तर पेजको पाठ ब्लक सूचना हो वा ब्राउजरले पाउनेभन्दा धेरै छोटो छ।
AI सर्चका लागि यो किन महत्त्वपूर्ण छ
soft block 403 भन्दा पत्ता लगाउन गाह्रो हुन्छ, किनभने लग र uptime मोनिटरले 200 देखाउँछन्। क्रलरले जुन पाठ पायो त्यही राख्छ, त्यसैले उत्तर इन्जिनले तपाईंको सामग्रीको सट्टा "JavaScript र कुकी सक्षम गर्नुहोस्" भन्ने पेज इन्डेक्स गर्न सक्छ, वा पेजलाई कमजोर मानेर छोड्न सक्छ।
यो जाँच ब्राउजरको संस्करणमा कम्तीमा 200 अक्षरको पाठ हुँदा मात्र चल्छ। दुवै प्रतिक्रिया एउटै सर्भरबाट केही क्षणको फरकमा ल्याइन्छन्, त्यसैले पाठमा ठूलो फरक नेटवर्क वा सामग्री बदलिएकोले होइन, तपाईंको प्रणालीले क्रलरको user agent लाई कसरी व्यवहार गर्छ त्यसबाट आउँछ।
यसलाई कसरी सच्याउने
- रिपोर्टको प्रमाणमा रहेको पाठको लम्बाइ र मेल खाएको वाक्यांशलाई ब्राउजर संस्करणसँग तुलना गर्नुहोस्। AISeeWhy रिपोर्टले प्रमाण र टाँस्न तयार समाधान देखाउँछ; त्यसपछि नतिजा पक्का गर्न "फेरि जाँच्नुहोस्" चलाउनुहोस्।
- त्रुटिको सट्टा बीचको पेज (interstitial) दिने bot management सुविधा खोज्नुहोस्: Cloudflare को challenge वा JavaScript detection पेज, Imperva र Akamai का बट पेज, वा "verify you are human" प्लगइन।
- बटलाई फरक टेम्प्लेट दिने dynamic rendering वा cache नियम, र अपरिचित आगन्तुकका लागि पेज बदल्ने A/B परीक्षण वा geo उपकरण जाँच्नुहोस्।
- खाली पेज दिने नियममा क्रलरका लागि अपवाद थप्नुहोस्, तपाईंको प्लेटफर्मले समर्थन गर्छ भने IP दायरा वा reverse DNS बाट प्रमाणित गरेर।
समाधान कसरी पुष्टि गर्ने
परिवर्तनपछि रिपोर्टमा "फेरि जाँच्नुहोस्" थिच्नुहोस्: यसले के सुधारियो र स्कोर कसरी बदलियो सूचीबद्ध गर्छ।