robots.txt GPTBot ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆ, ಆದರೆ ಸರ್ವರ್ ಅದನ್ನು ತಡೆಯುತ್ತದೆ
ನಿಮ್ಮ robots.txt ಈ ಕ್ರಾಲರ್ಗೆ ಪುಟವನ್ನು ಪಡೆಯಲು ಅನುಮತಿಸುತ್ತದೆ, ಆದರೆ ಅದರ user agent ಹೊಂದಿದ ವಿನಂತಿಯನ್ನು ಸರ್ವರ್, CDN ಅಥವಾ ಫೈರ್ವಾಲ್ ತಡೆಯಿತು. ಘೋಷಿತ ನೀತಿ ಮತ್ತು ನಿಜವಾದ ನಡವಳಿಕೆ ಹೊಂದುತ್ತಿಲ್ಲ. robots.txt ಗೆ ಹೊಂದುವಂತೆ ಫೈರ್ವಾಲ್ ನಿಯಮವನ್ನು ಬದಲಿಸಿ, ಅಥವಾ ನೀವು ತಡೆಯಲು ಬಯಸಿದ್ದರೆ robots.txt ನಲ್ಲಿ ಕ್ರಾಲರ್ ಅನ್ನು ನಿಷೇಧಿಸಿ.
ಇದರ ಅರ್ಥ
ನಿಮ್ಮ ನಿಯಮಗಳು GPTBot ಅನ್ನು ಒಳಗೆ ಬಿಡುತ್ತವೆ, ಆದರೂ ಅದರ user agent ಹೊಂದಿದ ವಿನಂತಿಯನ್ನು ತಡೆಯಲಾಯಿತು. ಫೈರ್ವಾಲ್ ಅಥವಾ CDN ನೀವು ಘೋಷಿಸಿದ ನೀತಿಯನ್ನು ಮೀರುತ್ತದೆ.
AI ಹುಡುಕಾಟಕ್ಕೆ ಇದು ಏಕೆ ಮುಖ್ಯ
ಕ್ರಾಲರ್ಗಳು robots.txt ಅನ್ನು ನಿಮ್ಮ ನೀತಿ ಎಂದು ಪರಿಗಣಿಸುತ್ತವೆ. ಅದು ಹೌದು ಎಂದು ಹೇಳಿ ಸರ್ವರ್ 403 ಎಂದಾಗ, ಕ್ರಾಲರ್ ವಿನಂತಿಗಳನ್ನು ವ್ಯರ್ಥ ಮಾಡುತ್ತದೆ, ನಂತರ ಮತ್ತೆ ಪ್ರಯತ್ನಿಸಬಹುದು, ಮತ್ತು ಪುಟ ಇನ್ನೂ ಉತ್ತರ ಎಂಜಿನ್ನ ಇಂಡೆಕ್ಸ್ ತಲುಪುವುದಿಲ್ಲ. robots.txt ಹಾಗೆ ಹೇಳುವುದರಿಂದ ತಾವು AI ಹುಡುಕಾಟವನ್ನು ಅನುಮತಿಸುತ್ತೇವೆ ಎಂದು ತಂಡಗಳು ಹೆಚ್ಚಾಗಿ ನಂಬುತ್ತವೆ, ಆದರೆ ಬಾಟ್ ನಿಯಮವೊಂದು ಅದನ್ನು ಮೌನವಾಗಿ ತಡೆಯುತ್ತಿರುತ್ತದೆ.
ಪರೀಕ್ಷೆ ಪರಿಶೀಲಿಸದ IP ವಿಳಾಸದಿಂದ ನಡೆಯುತ್ತದೆ. ಕ್ರಾಲರ್ ಅನ್ನು ಅದರ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳಿಂದ ಮಾತ್ರ ಒಳಗೆ ಬಿಡುವ ನಿಯಮ, ಅದು ಸಮಂಜಸವಾದ ವ್ಯವಸ್ಥೆಯಾದರೂ, ನಿಜವಾದ ಕ್ರಾಲರ್ ಒಳಗೆ ಹೋಗುತ್ತಿದ್ದರೂ ಇಲ್ಲಿ ಕಾಣಿಸಿಕೊಳ್ಳಬಹುದು. ಏನನ್ನಾದರೂ ಬದಲಿಸುವ ಮೊದಲು ಯಾವ ನಿಯಮ ಕಾರ್ಯನಿರ್ವಹಿಸಿತು ಎಂದು ಪರಿಶೀಲಿಸಿ.
ಇದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು
- ಪತ್ತೆಯಲ್ಲಿನ robots.txt ಗುಂಪು ಮತ್ತು ತಡೆಯಲಾದ ವಿನಂತಿಯ ಸ್ಥಿತಿಯನ್ನು ಹೋಲಿಸಿ. AISeeWhy ವರದಿಯು ಪುರಾವೆ ಮತ್ತು ಅಂಟಿಸಲು ಸಿದ್ಧ ಪರಿಹಾರವನ್ನು ತೋರಿಸುತ್ತದೆ; ಬಳಿಕ ಫಲಿತಾಂಶವನ್ನು ಖಚಿತಪಡಿಸಲು “ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ” ಒತ್ತಿ.
- ವಿನಂತಿಯನ್ನು ತಡೆದ ನಿಯಮವನ್ನು ಹುಡುಕಿ: Cloudflare ನಲ್ಲಿ Security → Events ಮತ್ತು AI Crawl Control ಹಾಗೂ Bot Fight Mode ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ; ಇತರ CDN ಗಳಲ್ಲಿ bot management ಲಾಗ್ ಪರಿಶೀಲಿಸಿ.
- ಕ್ರಾಲರ್ ಒಳಗೆ ಬರಬೇಕೆಂದಿದ್ದರೆ ಅದಕ್ಕೆ ವಿನಾಯಿತಿ ಸೇರಿಸಿ; ಹೊರಗಿರಬೇಕೆಂದಿದ್ದರೆ ಅದರ ಟೋಕನ್ಗೆ Disallow ಗುಂಪನ್ನು ಸೇರಿಸಿ, ಇದರಿಂದ ನಿಮ್ಮ ನೀತಿ ಒಂದೇ ಸ್ಥಳದಲ್ಲಿ ಘೋಷಿತವಾಗಿರುತ್ತದೆ.
ಪರಿಹಾರವನ್ನು ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು
ಬದಲಾವಣೆಯ ನಂತರ, ವರದಿಯಲ್ಲಿ "ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ" ಒತ್ತಿ: ಏನು ಸರಿಯಾಯಿತು ಮತ್ತು ಸ್ಕೋರ್ ಹೇಗೆ ಬದಲಾಯಿತು ಎಂದು ಅದು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.