robots.txt OAI-SearchBot ಅನ್ನು ನಿಷೇಧಿಸುತ್ತದೆ

ಚಿಕ್ಕ ಉತ್ತರ

ನಿಮ್ಮ robots.txt ನಲ್ಲಿ ಈ ಕ್ರಾಲರ್‌ನ ಟೋಕನ್‌ಗೆ ಈ ಪುಟಕ್ಕೆ ಹೊಂದುವ Disallow ನಿಯಮವಿದೆ. ಆಡಿಟ್ RFC 9309 ಅನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ: ಕ್ರಾಲರ್‌ಗೆ ತನ್ನದೇ ಗುಂಪು ಇದ್ದರೆ ಅದು, ಇಲ್ಲದಿದ್ದರೆ * ಗುಂಪು, ಮತ್ತು ಹೊಂದುವ ಅತಿ ಉದ್ದದ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ. ಕ್ರಾಲರ್ ಒಳಗೆ ಬರಬೇಕೆಂದಿದ್ದರೆ ಅದಕ್ಕೆ Allow ಸೇರಿಸಿ ಅಥವಾ ನಿಯಮವನ್ನು ತೆಗೆದುಹಾಕಿ.

robots.disallowed · ಆದ್ಯತೆ: P1–P3, ಕ್ರಾಲರ್ ಪ್ರಕಾರವನ್ನು ಅವಲಂಬಿಸಿ

ಇದರ ಅರ್ಥ

ನಿಮ್ಮ robots.txt ನಿಯಮಗಳು OAI-SearchBot / ಅನ್ನು ಪಡೆಯದಂತೆ ತಡೆಯುತ್ತವೆ.

AI ಹುಡುಕಾಟಕ್ಕೆ ಇದು ಏಕೆ ಮುಖ್ಯ

ಶಿಸ್ತಿನ AI ಕ್ರಾಲರ್‌ಗಳು robots.txt ಅನ್ನು ಪಾಲಿಸುತ್ತವೆ. OAI-SearchBot, Claude-SearchBot ಅಥವಾ PerplexityBot ಅನ್ನು ನಿಷೇಧಿಸಿದರೆ, ಪುಟವನ್ನು ಅವುಗಳ ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್‌ಗಳಿಗಾಗಿ ಪಡೆಯಲಾಗುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಅವುಗಳ ಉತ್ತರಗಳಲ್ಲಿ ಅದನ್ನು ಉಲ್ಲೇಖಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. GPTBot, ClaudeBot, Google-Extended ಅಥವಾ Applebot-Extended ನಂತಹ ತರಬೇತಿ ಟೋಕನ್‌ಗಳನ್ನು ನಿಷೇಧಿಸುವುದು ಮಾದರಿ ತರಬೇತಿಗೆ ಬಳಕೆಯನ್ನು ಮಾತ್ರ ನಿಲ್ಲಿಸುತ್ತದೆ.

ಅನೇಕ ಸೈಟ್‌ಗಳು AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಆಕಸ್ಮಿಕವಾಗಿ ತಡೆಯುತ್ತವೆ: Googlebot ಹೊರತುಪಡಿಸಿ ಎಲ್ಲವನ್ನೂ ನಿಷೇಧಿಸುವ ಟೆಂಪ್ಲೇಟ್, ಅಥವಾ staging ನಿಂದ ಉಳಿದುಹೋದ Disallow: / ಇರುವ User-agent: * ಗುಂಪು. Applebot ಗೆ ತನ್ನದೇ ಗುಂಪು ಇಲ್ಲದಿದ್ದಾಗ ಅದು Googlebot ಗುಂಪನ್ನು ಬಳಸುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ.

ಇದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು

  1. ಪತ್ತೆಯಲ್ಲಿ ನಿಯಮವನ್ನು ಹುಡುಕಿ: ಅದು ಕ್ರಾಲರ್ ಟೋಕನ್ ಮತ್ತು ಪಾತ್ ಅನ್ನು ಹೆಸರಿಸುತ್ತದೆ. AISeeWhy ವರದಿಯು ಪುರಾವೆ ಮತ್ತು ಅಂಟಿಸಲು ಸಿದ್ಧ ಪರಿಹಾರವನ್ನು ತೋರಿಸುತ್ತದೆ; ಬಳಿಕ ಫಲಿತಾಂಶವನ್ನು ಖಚಿತಪಡಿಸಲು “ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ” ಒತ್ತಿ.
  2. ಪುಟವನ್ನು ನಿಷೇಧಿಸುವ ಯಾವುದೇ ಗುಂಪಿನಿಂದ ಕ್ರಾಲರ್‌ನ ಟೋಕನ್ ಅನ್ನು ತೆಗೆದುಹಾಕಿ, ನಂತರ Allow: / ಇರುವ ಅದರದೇ ಗುಂಪನ್ನು ಸೇರಿಸಿ. ನಿರ್ದಿಷ್ಟ ಗುಂಪು ಆ ಕ್ರಾಲರ್‌ಗೆ * ಗುಂಪನ್ನು ಬದಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ * ಅಡಿಯ ನಿಯಮಗಳು ಇನ್ನು ಅದಕ್ಕೆ ಅನ್ವಯಿಸುವುದಿಲ್ಲ.
  3. WordPress ನಲ್ಲಿ, robots.txt ವೆಬ್ ರೂಟ್‌ನಲ್ಲಿರುವ ನಿಜವಾದ ಫೈಲ್ ಆಗಿದೆಯೇ ಅಥವಾ Yoast ಅಥವಾ Rank Math ನಂತಹ SEO ಪ್ಲಗಿನ್ ರಚಿಸುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ, ಮತ್ತು ಅಲ್ಲೇ ಸಂಪಾದಿಸಿ. Shopify ನಲ್ಲಿ robots.txt.liquid ಥೀಮ್ ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಸಂಪಾದಿಸಿ.
  4. Cloudflare ನಲ್ಲಿ, managed robots.txt ಸೆಟ್ಟಿಂಗ್ ನಿಮ್ಮ ಫೈಲ್‌ನ ಮೇಲೆ AI ಕ್ರಾಲರ್ ನಿಯಮಗಳನ್ನು ಸೇರಿಸುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ.
  5. ನಿಮ್ಮ ನೀತಿ ಹಾಗಿದ್ದರೆ ತರಬೇತಿ ಟೋಕನ್‌ಗಳನ್ನು ನಿಷೇಧಿತವಾಗಿಯೇ ಇಡಿ; ಪ್ರತ್ಯೇಕ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುವ ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳ ಮೇಲೆ ಅದು ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ.

ಉದಾಹರಣೆ

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

ಪರಿಹಾರವನ್ನು ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು

ಬದಲಾವಣೆಯ ನಂತರ, ವರದಿಯಲ್ಲಿ "ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ" ಒತ್ತಿ: ಏನು ಸರಿಯಾಯಿತು ಮತ್ತು ಸ್ಕೋರ್ ಹೇಗೆ ಬದಲಾಯಿತು ಎಂದು ಅದು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.

ನನ್ನ ಪುಟ ಪರಿಶೀಲಿಸಿ →

ಸಂಬಂಧಿತ ಮಾರ್ಗದರ್ಶಿಗಳು

ಎಲ್ಲಾ ಪತ್ತೆಗಳು ಮತ್ತು ಸ್ಕೋರ್ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ