robots.txt OAI-SearchBot ಅನ್ನು ನಿಷೇಧಿಸುತ್ತದೆ
ನಿಮ್ಮ robots.txt ನಲ್ಲಿ ಈ ಕ್ರಾಲರ್ನ ಟೋಕನ್ಗೆ ಈ ಪುಟಕ್ಕೆ ಹೊಂದುವ Disallow ನಿಯಮವಿದೆ. ಆಡಿಟ್ RFC 9309 ಅನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ: ಕ್ರಾಲರ್ಗೆ ತನ್ನದೇ ಗುಂಪು ಇದ್ದರೆ ಅದು, ಇಲ್ಲದಿದ್ದರೆ * ಗುಂಪು, ಮತ್ತು ಹೊಂದುವ ಅತಿ ಉದ್ದದ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ. ಕ್ರಾಲರ್ ಒಳಗೆ ಬರಬೇಕೆಂದಿದ್ದರೆ ಅದಕ್ಕೆ Allow ಸೇರಿಸಿ ಅಥವಾ ನಿಯಮವನ್ನು ತೆಗೆದುಹಾಕಿ.
ಇದರ ಅರ್ಥ
ನಿಮ್ಮ robots.txt ನಿಯಮಗಳು OAI-SearchBot / ಅನ್ನು ಪಡೆಯದಂತೆ ತಡೆಯುತ್ತವೆ.
AI ಹುಡುಕಾಟಕ್ಕೆ ಇದು ಏಕೆ ಮುಖ್ಯ
ಶಿಸ್ತಿನ AI ಕ್ರಾಲರ್ಗಳು robots.txt ಅನ್ನು ಪಾಲಿಸುತ್ತವೆ. OAI-SearchBot, Claude-SearchBot ಅಥವಾ PerplexityBot ಅನ್ನು ನಿಷೇಧಿಸಿದರೆ, ಪುಟವನ್ನು ಅವುಗಳ ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್ಗಳಿಗಾಗಿ ಪಡೆಯಲಾಗುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಅವುಗಳ ಉತ್ತರಗಳಲ್ಲಿ ಅದನ್ನು ಉಲ್ಲೇಖಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. GPTBot, ClaudeBot, Google-Extended ಅಥವಾ Applebot-Extended ನಂತಹ ತರಬೇತಿ ಟೋಕನ್ಗಳನ್ನು ನಿಷೇಧಿಸುವುದು ಮಾದರಿ ತರಬೇತಿಗೆ ಬಳಕೆಯನ್ನು ಮಾತ್ರ ನಿಲ್ಲಿಸುತ್ತದೆ.
ಅನೇಕ ಸೈಟ್ಗಳು AI ಕ್ರಾಲರ್ಗಳನ್ನು ಆಕಸ್ಮಿಕವಾಗಿ ತಡೆಯುತ್ತವೆ: Googlebot ಹೊರತುಪಡಿಸಿ ಎಲ್ಲವನ್ನೂ ನಿಷೇಧಿಸುವ ಟೆಂಪ್ಲೇಟ್, ಅಥವಾ staging ನಿಂದ ಉಳಿದುಹೋದ Disallow: / ಇರುವ User-agent: * ಗುಂಪು. Applebot ಗೆ ತನ್ನದೇ ಗುಂಪು ಇಲ್ಲದಿದ್ದಾಗ ಅದು Googlebot ಗುಂಪನ್ನು ಬಳಸುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ.
ಇದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು
- ಪತ್ತೆಯಲ್ಲಿ ನಿಯಮವನ್ನು ಹುಡುಕಿ: ಅದು ಕ್ರಾಲರ್ ಟೋಕನ್ ಮತ್ತು ಪಾತ್ ಅನ್ನು ಹೆಸರಿಸುತ್ತದೆ. AISeeWhy ವರದಿಯು ಪುರಾವೆ ಮತ್ತು ಅಂಟಿಸಲು ಸಿದ್ಧ ಪರಿಹಾರವನ್ನು ತೋರಿಸುತ್ತದೆ; ಬಳಿಕ ಫಲಿತಾಂಶವನ್ನು ಖಚಿತಪಡಿಸಲು “ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ” ಒತ್ತಿ.
- ಪುಟವನ್ನು ನಿಷೇಧಿಸುವ ಯಾವುದೇ ಗುಂಪಿನಿಂದ ಕ್ರಾಲರ್ನ ಟೋಕನ್ ಅನ್ನು ತೆಗೆದುಹಾಕಿ, ನಂತರ
Allow: /ಇರುವ ಅದರದೇ ಗುಂಪನ್ನು ಸೇರಿಸಿ. ನಿರ್ದಿಷ್ಟ ಗುಂಪು ಆ ಕ್ರಾಲರ್ಗೆ*ಗುಂಪನ್ನು ಬದಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ*ಅಡಿಯ ನಿಯಮಗಳು ಇನ್ನು ಅದಕ್ಕೆ ಅನ್ವಯಿಸುವುದಿಲ್ಲ. - WordPress ನಲ್ಲಿ, robots.txt ವೆಬ್ ರೂಟ್ನಲ್ಲಿರುವ ನಿಜವಾದ ಫೈಲ್ ಆಗಿದೆಯೇ ಅಥವಾ Yoast ಅಥವಾ Rank Math ನಂತಹ SEO ಪ್ಲಗಿನ್ ರಚಿಸುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ, ಮತ್ತು ಅಲ್ಲೇ ಸಂಪಾದಿಸಿ. Shopify ನಲ್ಲಿ
robots.txt.liquidಥೀಮ್ ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಸಂಪಾದಿಸಿ. - Cloudflare ನಲ್ಲಿ, managed robots.txt ಸೆಟ್ಟಿಂಗ್ ನಿಮ್ಮ ಫೈಲ್ನ ಮೇಲೆ AI ಕ್ರಾಲರ್ ನಿಯಮಗಳನ್ನು ಸೇರಿಸುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
- ನಿಮ್ಮ ನೀತಿ ಹಾಗಿದ್ದರೆ ತರಬೇತಿ ಟೋಕನ್ಗಳನ್ನು ನಿಷೇಧಿತವಾಗಿಯೇ ಇಡಿ; ಪ್ರತ್ಯೇಕ ಟೋಕನ್ಗಳನ್ನು ಬಳಸುವ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳ ಮೇಲೆ ಅದು ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ.
ಉದಾಹರಣೆ
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / ಪರಿಹಾರವನ್ನು ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು
ಬದಲಾವಣೆಯ ನಂತರ, ವರದಿಯಲ್ಲಿ "ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ" ಒತ್ತಿ: ಏನು ಸರಿಯಾಯಿತು ಮತ್ತು ಸ್ಕೋರ್ ಹೇಗೆ ಬದಲಾಯಿತು ಎಂದು ಅದು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.