GPTBot ला रिकामे पेज मिळते
क्रॉलरला स्टेटस 200 मिळाले, पण खरे पेज मिळाले नाही. त्याचा दिसणारा मजकूर ब्राउझरला मिळालेल्या मजकुराच्या 15% पेक्षा कमी आहे, किंवा त्यात "access denied" किंवा "are you a robot" सारखा ब्लॉकचा वाक्यांश आहे जो ब्राउझरच्या पेजवर नाही. हे रिकामे पेज देणारा बॉट नियम शोधा आणि क्रॉलरला पूर्ण पेज पाहू द्या.
याचा अर्थ काय
GPTBot युजर एजंटसह केलेल्या विनंतीला स्टेटस 200 मिळाले, पण पेजचा मजकूर म्हणजे ब्लॉकची सूचना आहे किंवा ब्राउझरला मिळणाऱ्या मजकुरापेक्षा खूपच छोटा आहे.
AI सर्चसाठी हे का महत्त्वाचे आहे
Soft block हे 403 पेक्षा ओळखणे अवघड असते, कारण लॉग आणि uptime मॉनिटर 200 दाखवतात. क्रॉलरला जो मजकूर मिळाला तोच तो साठवतो, त्यामुळे answer engine तुमच्या मजकुराऐवजी "enable JavaScript and cookies" असे सांगणारे पेज इंडेक्स करू शकते, किंवा पेज खूप कमी मजकुराचे म्हणून वगळू शकते.
ब्राउझर आवृत्तीत किमान 200 अक्षरांचा मजकूर असेल तेव्हाच ही तपासणी चालते. दोन्ही प्रतिसाद एकाच सर्व्हरवरून काही क्षणांच्या अंतराने मिळवले जातात, त्यामुळे मजकुरातील मोठा फरक नेटवर्क किंवा मजकूर बदलल्यामुळे नव्हे, तर तुमची सिस्टम क्रॉलरच्या युजर एजंटशी कशी वागते त्यामुळे येतो.
हे कसे दुरुस्त करावे
- अहवालाच्या पुराव्यातील मजकुराची लांबी आणि जुळलेला वाक्यांश ब्राउझर आवृत्तीशी तुलना करा. AISeeWhy अहवाल पुरावा आणि पेस्ट करण्यासाठी तयार उपाय दाखवतो; त्यानंतर निकालाची खात्री करण्यासाठी "पुन्हा तपासा" चालवा.
- त्रुटीऐवजी मधले पेज (interstitial) दाखवणारी bot-management वैशिष्ट्ये शोधा: Cloudflare challenge किंवा JavaScript detection पेजेस, Imperva आणि Akamai बॉट पेजेस, किंवा "verify you are human" प्लगइन.
- बॉटना वेगळा टेम्पलेट देणारे dynamic rendering किंवा कॅशे नियम तपासा, आणि अनोळखी अभ्यागतांसाठी पेज बदलणारी A/B testing किंवा geo टूल्स तपासा.
- हे रिकामे पेज देणाऱ्या नियमात क्रॉलरसाठी अपवाद जोडा, तुमचा प्लॅटफॉर्म सपोर्ट करत असल्यास IP रेंज किंवा reverse DNS ने पडताळलेला.
उपाय काम करतो याची खात्री कशी करायची
बदल केल्यानंतर अहवालावर "पुन्हा तपासा" दाबा: काय दुरुस्त झाले आणि स्कोअर कसा बदलला ते तो दाखवतो.