robots.txt GPTBot को अनुमति देती है, पर सर्वर उसे ब्लॉक करता है
आपकी robots.txt इस क्रॉलर को पेज फ़ेच करने देती है, लेकिन उसके user agent वाले अनुरोध को सर्वर, CDN या फ़ायरवॉल ने ब्लॉक कर दिया। घोषित नीति और असली बर्ताव में मेल नहीं है। फ़ायरवॉल नियम को robots.txt के अनुरूप बदलें, या अगर आप ब्लॉक करना चाहते थे तो robots.txt में क्रॉलर को Disallow करें।
इसका मतलब
आपके नियम GPTBot को आने देते हैं, फिर भी उसके user agent वाला अनुरोध ब्लॉक हुआ। फ़ायरवॉल या CDN आपकी घोषित नीति को ओवरराइड कर रहा है।
AI सर्च के लिए यह क्यों मायने रखता है
क्रॉलर robots.txt को आपकी नीति मानते हैं। जब वह हाँ कहती है और सर्वर 403 कहता है, तो क्रॉलर अनुरोध बर्बाद करता है, बाद में फिर कोशिश कर सकता है, और पेज फिर भी उत्तर इंजन के इंडेक्स में नहीं पहुँचता। टीमें अक्सर मानती हैं कि वे AI सर्च को अनुमति देती हैं क्योंकि robots.txt यही कहती है, जबकि कोई बॉट नियम चुपचाप उसे ब्लॉक कर रहा होता है।
जाँच एक असत्यापित IP पते से चलती है। जो नियम क्रॉलर को केवल उसकी प्रकाशित IP रेंज से आने देता है, जो एक उचित सेटअप है, वह यहाँ दिख सकता है, भले असली क्रॉलर अंदर आ जाता हो। कुछ भी बदलने से पहले जाँचें कि कौन-सा नियम चला।
इसे कैसे ठीक करें
- निष्कर्ष में robots.txt समूह और ब्लॉक हुए अनुरोध के स्टेटस की तुलना करें। AISeeWhy रिपोर्ट सबूत और चिपकाने लायक सुधार दिखाती है; सुधार के बाद नतीजा पक्का करने के लिए "दोबारा जाँचें" चलाएँ।
- वह नियम खोजें जिसने अनुरोध ब्लॉक किया: Cloudflare पर Security → Events और AI Crawl Control तथा Bot Fight Mode की सेटिंग देखें; दूसरे CDN पर बॉट मैनेजमेंट लॉग देखें।
- अगर आप क्रॉलर को अंदर चाहते हैं, तो उसके लिए अपवाद जोड़ें; अगर बाहर रखना चाहते हैं, तो उसके टोकन के लिए Disallow समूह जोड़ें ताकि आपकी नीति एक ही जगह लिखी हो।
सुधार की पुष्टि कैसे करें
बदलाव के बाद रिपोर्ट पर "दोबारा जाँचें" दबाएँ: यह बताती है कि क्या ठीक हुआ और स्कोर कैसे बदला।