robots.txt ಅನ್ನು ಪಡೆಯಲು ಸಾಧ್ಯವಿಲ್ಲ
/robots.txt ಅನ್ನು ಪಡೆಯುವುದು ವಿಫಲವಾಯಿತು: ಸರ್ವರ್ 5xx ಸ್ಥಿತಿ ಅಥವಾ 429 ನೊಂದಿಗೆ ಉತ್ತರಿಸಿತು, ಅಥವಾ ಉತ್ತರಿಸಲೇ ಇಲ್ಲ. RFC 9309 ಪ್ರಕಾರ ಆಗ ಕ್ರಾಲರ್ಗಳು ಇಡೀ ಸೈಟ್ ಅನ್ನು ನಿಷೇಧಿತವೆಂದು ಪರಿಗಣಿಸುತ್ತವೆ. /robots.txt ಸರಳ ಪಠ್ಯದೊಂದಿಗೆ 200 ಸ್ಥಿತಿ ಹಿಂತಿರುಗಿಸುವಂತೆ ಮಾಡಿ, ಅಥವಾ ನಿಮಗೆ ನಿಯಮಗಳಿಲ್ಲದಿದ್ದರೆ 404.
ಇದರ ಅರ್ಥ
robots.txt 403 ಸ್ಥಿತಿಯೊಂದಿಗೆ ಉತ್ತರಿಸಿತು ಅಥವಾ ಉತ್ತರಿಸಲಿಲ್ಲ. RFC 9309 ಪ್ರಕಾರ ಆಗ ಕ್ರಾಲರ್ಗಳು ಇಡೀ ಸೈಟ್ ಅನ್ನು ನಿಷೇಧಿತ ಎಂದು ಪರಿಗಣಿಸುತ್ತವೆ.
AI ಹುಡುಕಾಟಕ್ಕೆ ಇದು ಏಕೆ ಮುಖ್ಯ
ಸರ್ವರ್ ದೋಷದಿಂದಾಗಿ robots.txt ತಲುಪಲಾಗದ ಕ್ರಾಲರ್ ಪೂರ್ಣ ನಿಷೇಧವನ್ನು ಊಹಿಸಬೇಕು ಎಂದು RFC 9309 ಹೇಳುತ್ತದೆ. ಮಾನದಂಡವನ್ನು ಪಾಲಿಸುವ Googlebot, Bingbot ಮತ್ತು AI ಕ್ರಾಲರ್ಗಳು robots.txt ಮತ್ತೆ ಉತ್ತರಿಸುವವರೆಗೆ ಪುಟಗಳನ್ನು ಪಡೆಯುವುದನ್ನು ನಿಲ್ಲಿಸುತ್ತವೆ, ಆದ್ದರಿಂದ ಒಂದು ಮುರಿದ ಫೈಲ್ ಇಡೀ ಸೈಟ್ ಅನ್ನು ಮರೆಮಾಡಬಹುದು.
ಫೈಲ್ ಇಲ್ಲದಿರುವುದು ಬೇರೆ ವಿಷಯ: 404 ಅಥವಾ ಬೇರೆ 4xx ಸ್ಥಿತಿ ಎಂದರೆ ನಿಯಮಗಳಿಲ್ಲ, ಆದ್ದರಿಂದ ಎಲ್ಲವೂ ಅನುಮತಿತ ಮತ್ತು AISeeWhy ಏನನ್ನೂ ವರದಿ ಮಾಡುವುದಿಲ್ಲ. ಸಮಸ್ಯೆ ಕೇವಲ ಸರ್ವರ್ ದೋಷಗಳು, rate limit ಗಳು (429) ಮತ್ತು ಯಾವುದೇ ಸ್ಥಿತಿ ಬರುವ ಮೊದಲೇ ಸಮಯ ಮೀರುವ ಅಥವಾ ನಿರಾಕರಿಸಲ್ಪಡುವ ವಿನಂತಿಗಳು.
ಇದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು
- ನಿಮ್ಮ ನೆಟ್ವರ್ಕ್ನ ಹೊರಗಿನಿಂದ
https://your-domain/robots.txtತೆರೆಯಿರಿ ಮತ್ತು ಸ್ಥಿತಿಯನ್ನು ಗಮನಿಸಿ. ಆಡಿಟ್ ಅದನ್ನು ಬ್ರೌಸರ್ user agent ನೊಂದಿಗೆ ಪಡೆಯುತ್ತದೆ. - 5xx ಆಗಿದ್ದರೆ, origin ಮಾರ್ಗವನ್ನು ಪರಿಶೀಲಿಸಿ: Next.js ನಂತಹ ಫ್ರೇಮ್ವರ್ಕ್ಗಳು ಅದನ್ನು
public/robots.txtಅಥವಾapp/robots.tsನಿಂದ ನೀಡುತ್ತವೆ, WordPress ಅದನ್ನು ಡೈನಾಮಿಕ್ ಆಗಿ ರಚಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ PHP ದೋಷ ಅದನ್ನು ಮುರಿಯುತ್ತದೆ. - 429 ಅಥವಾ timeout ಆಗಿದ್ದರೆ, ನಿಮ್ಮ CDN ಅಥವಾ WAF ನಲ್ಲಿ
/robots.txtಗೆ rate limiting ಮತ್ತು ಬಾಟ್ ಚಾಲೆಂಜ್ಗಳಿಂದ ವಿನಾಯಿತಿ ನೀಡಿ. - origin ನಿಧಾನವಾಗಿದ್ದಾಗಲೂ ಉತ್ತರಿಸುವಂತೆ robots.txt ಅನ್ನು CDN ನಲ್ಲಿ ಕ್ಯಾಶ್ ಮಾಡಿ. AISeeWhy ವರದಿಯು ಪುರಾವೆ ಮತ್ತು ಅಂಟಿಸಲು ಸಿದ್ಧ ಪರಿಹಾರವನ್ನು ತೋರಿಸುತ್ತದೆ; ಬಳಿಕ ಫಲಿತಾಂಶವನ್ನು ಖಚಿತಪಡಿಸಲು “ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ” ಒತ್ತಿ.
ಪರಿಹಾರವನ್ನು ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು
ಬದಲಾವಣೆಯ ನಂತರ, ವರದಿಯಲ್ಲಿ "ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ" ಒತ್ತಿ: ಏನು ಸರಿಯಾಯಿತು ಮತ್ತು ಸ್ಕೋರ್ ಹೇಗೆ ಬದಲಾಯಿತು ಎಂದು ಅದು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.