2 पेजनी क्रॉल नाकारले

छोटे उत्तर

ऑडिटने ही पेजेस ब्राउझर म्हणून मिळवली तेव्हा त्यांनी 401, 403, 429 किंवा 503 दिले, किंवा ती टाइम आउट झाली. हे अनेकदा तुटलेल्या पेजऐवजी फायरवॉल, बॉट संरक्षण किंवा rate limit असते. सर्च आणि AI क्रॉलरना हेच उत्तर मिळते का ते तपासा.

crawl.unreachable · प्राधान्य: P1–P3, क्रॉलरच्या प्रकारानुसार

याचा अर्थ काय

या पेजनी 401, 403, 429 किंवा 503 दिले, किंवा वेळ संपली. फायरवॉल किंवा rate limit क्रॉलरनाही रोखत असू शकते; सर्च आणि AI क्रॉलरना तेच उत्तर मिळते का ते तपासा.

AI सर्चसाठी हे का महत्त्वाचे आहे

ऑडिट एकाच सर्व्हरवरून कमी वेळात अनेक पेजेस मिळवते, त्यामुळे लोकांना पेज मिळत असतानाही rate limit 429 किंवा 503 देऊ शकतो. हाच नियम सर्च आणि AI क्रॉलरना लागू होत असल्यास ही पेजेस त्यांच्या इंडेक्ससाठी मिळवली जात नाहीत आणि AI उत्तरांमध्ये त्यांचा संदर्भ दिला जाऊ शकत नाही.

401 म्हणजे पेजसाठी लॉगिन आवश्यक आहे, जे खात्याच्या भागांसाठी अपेक्षित आहे पण सार्वजनिक मजकुरासाठी नाही. प्रत्येक पेजवर 503 म्हणजे maintenance mode सुरूच राहिला असू शकतो. ही पेजेस तुटलेल्या लिंकपासून वेगळी ठेवली जातात, कारण दुरुस्ती कोणाला नकार दिला जातो यावर अवलंबून असते.

हे कसे दुरुस्त करावे

  1. दिलेल्यांपैकी काही URL private ब्राउझर window मध्ये उघडा. ते लोड होत असल्यास ब्लॉक स्वयंचलित विनंत्यांसाठी आहे.
  2. नाकारलेल्या विनंत्या तुमच्या फायरवॉल, CDN किंवा होस्टिंग लॉगमध्ये शोधा. Googlebot आणि Bingbot सारखे पडताळलेले सर्च क्रॉलर, आणि तुम्हाला हवे असलेले AI सर्च क्रॉलर यांना परवानगी आहे याची खात्री करा; Cloudflare सह अनेक CDN मध्ये verified bots साठी सेटिंग असते.
  3. हे rate limit मुळे झाले असल्यास, सामान्य पेज विनंत्यांसाठी मर्यादा वाढवा किंवा HTML पेजेस त्यातून वगळा.
  4. पेजेस 401 देत असल्यास, सार्वजनिक पेजवरून लॉगिन काढा, किंवा सार्वजनिक पेजवरून खाजगी पेजेसना लिंक करणे थांबवा.
  5. निकालाची खात्री करण्यासाठी तुमच्या खात्यातून साइट ऑडिट पुन्हा चालवा.

उपाय काम करतो याची खात्री कशी करायची

बदल केल्यानंतर अहवालावर "पुन्हा तपासा" दाबा: काय दुरुस्त झाले आणि स्कोअर कसा बदलला ते तो दाखवतो.

माझे पेज तपासा →

सर्व निष्कर्ष आणि स्कोअर कसा ठरतो