2 ಪುಟಗಳು ಕ್ರಾಲ್ ಅನ್ನು ನಿರಾಕರಿಸಿದವು
ಆಡಿಟ್ ಇವನ್ನು ಬ್ರೌಸರ್ನಂತೆ ಪಡೆದಾಗ ಈ ಪುಟಗಳು 401, 403, 429 ಅಥವಾ 503 ನೊಂದಿಗೆ ಉತ್ತರಿಸಿದವು, ಅಥವಾ timeout ಆದವು. ಅದು ಹೆಚ್ಚಾಗಿ ಮುರಿದ ಪುಟಕ್ಕಿಂತ ಫೈರ್ವಾಲ್, ಬಾಟ್ ರಕ್ಷಣೆ ಅಥವಾ rate limit. ಹುಡುಕಾಟ ಮತ್ತು AI ಕ್ರಾಲರ್ಗಳಿಗೂ ಅದೇ ಉತ್ತರ ಸಿಗುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
ಇದರ ಅರ್ಥ
ಈ ಪುಟಗಳು 401, 403, 429 ಅಥವಾ 503 ಉತ್ತರ ನೀಡಿದವು, ಅಥವಾ ಸಮಯ ಮೀರಿದವು. ಫೈರ್ವಾಲ್ ಅಥವಾ rate limit ಕ್ರಾಲರ್ಗಳನ್ನೂ ತಡೆಯುತ್ತಿರಬಹುದು; ಹುಡುಕಾಟ ಮತ್ತು AI ಕ್ರಾಲರ್ಗಳಿಗೂ ಅದೇ ಉತ್ತರ ಸಿಗುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
AI ಹುಡುಕಾಟಕ್ಕೆ ಇದು ಏಕೆ ಮುಖ್ಯ
ಆಡಿಟ್ ಒಂದೇ ಸರ್ವರ್ನಿಂದ ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ಅನೇಕ ಪುಟಗಳನ್ನು ಪಡೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ ಜನರಿಗೆ ಪುಟ ಸಿಕ್ಕರೂ rate limit 429 ಅಥವಾ 503 ನೊಂದಿಗೆ ಉತ್ತರಿಸಬಹುದು. ಅದೇ ನಿಯಮ ಹುಡುಕಾಟ ಮತ್ತು AI ಕ್ರಾಲರ್ಗಳಿಗೂ ಅನ್ವಯಿಸಿದರೆ, ಈ ಪುಟಗಳನ್ನು ಅವುಗಳ ಇಂಡೆಕ್ಸ್ಗಳಿಗಾಗಿ ಪಡೆಯಲಾಗುವುದಿಲ್ಲ ಮತ್ತು AI ಉತ್ತರಗಳಲ್ಲಿ ಉಲ್ಲೇಖಿಸಲಾಗುವುದಿಲ್ಲ.
401 ಎಂದರೆ ಪುಟಕ್ಕೆ ಲಾಗಿನ್ ಬೇಕು, ಇದು ಖಾತೆ ವಿಭಾಗಗಳಿಗೆ ನಿರೀಕ್ಷಿತ ಆದರೆ ಸಾರ್ವಜನಿಕ ವಿಷಯಕ್ಕಲ್ಲ. ಪ್ರತಿ ಪುಟದಲ್ಲೂ 503 ಎಂದರೆ maintenance mode ಆನ್ ಆಗಿಯೇ ಉಳಿದಿದೆ ಎಂದಿರಬಹುದು. ಯಾರನ್ನು ನಿರಾಕರಿಸಲಾಗುತ್ತಿದೆ ಎಂಬುದರ ಮೇಲೆ ಪರಿಹಾರ ಅವಲಂಬಿತವಾಗಿರುವುದರಿಂದ ಈ ಪುಟಗಳನ್ನು ಮುರಿದ ಲಿಂಕ್ಗಳಿಂದ ಪ್ರತ್ಯೇಕವಾಗಿ ಇಡಲಾಗಿದೆ.
ಇದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು
- ಪಟ್ಟಿಯಾದ ಕೆಲವು URL ಗಳನ್ನು private ಬ್ರೌಸರ್ ವಿಂಡೋದಲ್ಲಿ ತೆರೆಯಿರಿ. ಅವು ಲೋಡ್ ಆದರೆ, ತಡೆ ಸ್ವಯಂಚಾಲಿತ ವಿನಂತಿಗಳನ್ನು ಗುರಿಯಾಗಿಸಿದೆ.
- ನಿಮ್ಮ ಫೈರ್ವಾಲ್, CDN ಅಥವಾ ಹೋಸ್ಟಿಂಗ್ ಲಾಗ್ಗಳಲ್ಲಿ ನಿರಾಕರಿಸಿದ ವಿನಂತಿಗಳನ್ನು ಹುಡುಕಿ. Googlebot ಮತ್ತು Bingbot ನಂತಹ ಪರಿಶೀಲಿತ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳು ಮತ್ತು ನೀವು ಬಯಸುವ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಅನುಮತಿಸಲಾಗಿದೆಯೇ ಎಂದು ಖಚಿತಪಡಿಸಿ; Cloudflare ಸೇರಿದಂತೆ ಅನೇಕ CDN ಗಳಲ್ಲಿ verified bots ಗೆ ಸೆಟ್ಟಿಂಗ್ ಇದೆ.
- rate limit ಕಾರಣವಾಗಿದ್ದರೆ, ಸಾಮಾನ್ಯ ಪುಟ ವಿನಂತಿಗಳಿಗೆ ಮಿತಿಯನ್ನು ಹೆಚ್ಚಿಸಿ ಅಥವಾ HTML ಪುಟಗಳನ್ನು ಅದರಿಂದ ಹೊರಗಿಡಿ.
- ಪುಟಗಳು 401 ನೊಂದಿಗೆ ಉತ್ತರಿಸಿದರೆ, ಸಾರ್ವಜನಿಕ ಪುಟಗಳಿಂದ ಲಾಗಿನ್ ತೆಗೆದುಹಾಕಿ, ಅಥವಾ ಸಾರ್ವಜನಿಕ ಪುಟಗಳಿಂದ ಖಾಸಗಿ ಪುಟಗಳಿಗೆ ಲಿಂಕ್ ನೀಡುವುದನ್ನು ನಿಲ್ಲಿಸಿ.
- ಫಲಿತಾಂಶವನ್ನು ಖಚಿತಪಡಿಸಲು ನಿಮ್ಮ ಖಾತೆಯಿಂದ ಸೈಟ್ ಆಡಿಟ್ ಅನ್ನು ಮತ್ತೆ ಚಲಾಯಿಸಿ.
ಪರಿಹಾರವನ್ನು ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು
ಬದಲಾವಣೆಯ ನಂತರ, ವರದಿಯಲ್ಲಿ "ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ" ಒತ್ತಿ: ಏನು ಸರಿಯಾಯಿತು ಮತ್ತು ಸ್ಕೋರ್ ಹೇಗೆ ಬದಲಾಯಿತು ಎಂದು ಅದು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.