robots.txt GPTBot ला परवानगी देते, पण सर्व्हर त्याला ब्लॉक करतो
तुमची robots.txt या क्रॉलरला पेज मिळवण्याची परवानगी देते, पण त्याच्या युजर एजंटसह केलेली विनंती सर्व्हर, CDN किंवा फायरवॉलने ब्लॉक केली. जाहीर धोरण आणि प्रत्यक्ष वर्तन जुळत नाहीत. फायरवॉल नियम robots.txt शी जुळेल असा बदला, किंवा क्रॉलर ब्लॉक करायचा हेतू असल्यास robots.txt मध्ये त्याला नकार द्या.
याचा अर्थ काय
तुमचे नियम GPTBot ला आत येऊ देतात, तरीही त्याच्या युजर एजंटसह केलेली विनंती ब्लॉक झाली. फायरवॉल किंवा CDN तुमचे जाहीर धोरण डावलते.
AI सर्चसाठी हे का महत्त्वाचे आहे
क्रॉलर robots.txt ला तुमचे धोरण मानतात. ती हो म्हणते आणि सर्व्हर 403 देतो तेव्हा क्रॉलर विनंत्या वाया घालवतो, नंतर पुन्हा प्रयत्न करू शकतो, आणि तरीही पेज answer engine च्या इंडेक्समध्ये पोहोचत नाही. robots.txt तसे सांगते म्हणून टीमना अनेकदा वाटते की ते AI सर्चला परवानगी देत आहेत, तर एखादा बॉट नियम शांतपणे त्याला ब्लॉक करत असतो.
चाचणी पडताळणी न झालेल्या IP पत्त्यावरून चालते. त्यामुळे क्रॉलरला फक्त त्याच्या प्रकाशित IP रेंजमधून आत येऊ देणारा नियम, जी योग्य व्यवस्था आहे, खरा क्रॉलर आत येत असला तरी इथे दिसू शकतो. काहीही बदलण्यापूर्वी कोणता नियम लागू झाला ते तपासा.
हे कसे दुरुस्त करावे
- निष्कर्षातील robots.txt गट आणि ब्लॉक झालेल्या विनंतीचे स्टेटस यांची तुलना करा. AISeeWhy अहवाल पुरावा आणि पेस्ट करण्यासाठी तयार उपाय दाखवतो; त्यानंतर निकालाची खात्री करण्यासाठी "पुन्हा तपासा" चालवा.
- विनंती ब्लॉक करणारा नियम शोधा: Cloudflare वर Security → Events आणि AI Crawl Control व Bot Fight Mode सेटिंग्ज तपासा; इतर CDN वर bot management लॉग तपासा.
- क्रॉलरला आत येऊ द्यायचे असल्यास त्याच्यासाठी अपवाद जोडा; बाहेर ठेवायचे असल्यास त्याच्या टोकनसाठी Disallow गट जोडा, जेणेकरून तुमचे धोरण एकाच ठिकाणी जाहीर असेल.
उपाय काम करतो याची खात्री कशी करायची
बदल केल्यानंतर अहवालावर "पुन्हा तपासा" दाबा: काय दुरुस्त झाले आणि स्कोअर कसा बदलला ते तो दाखवतो.