ವೆಬ್ಸೈಟ್ AI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುತ್ತದೆಯೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು
ಯಾವುದೇ ವಿಳಾಸವನ್ನು ಅಂಟಿಸಿ, ಅದು GPTBot, ClaudeBot, PerplexityBot ಮತ್ತು ಇತರ AI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುತ್ತದೆಯೇ ಎಂದು ನೋಡಿ: robots.txt ನಲ್ಲಿ, ಫೈರ್ವಾಲ್ನಲ್ಲಿ, ಅಥವಾ ಎರಡರಲ್ಲೂ.
ಉಚಿತ · ಸೈನ್-ಅಪ್ ಬೇಕಿಲ್ಲ · 30 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಫಲಿತಾಂಶ
ಯಾವ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯಲಾಗಿದೆ
ತರಬೇತಿ, ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳನ್ನು ಬೇರೆಬೇರೆಯಾಗಿ ತೋರಿಸಲಾಗುತ್ತದೆ, ಏಕೆಂದರೆ GPTBot ಅನ್ನು ತಡೆದರೆ OAI-SearchBot ತಡೆಯಾಗುವುದಿಲ್ಲ, ಮತ್ತು ClaudeBot ಅನ್ನು ತಡೆದರೆ Claude-SearchBot ತಡೆಯಾಗುವುದಿಲ್ಲ.
ನಿರ್ಧರಿಸುವ ಸಾಲು
ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ robots.txt ಅನ್ನು RFC 9309 ನಿಯಮಗಳಂತೆ ಓದಲಾಗುತ್ತದೆ: ಅದರ ಹೆಸರಿರುವ ಗುಂಪು, ಅಥವಾ ಇಲ್ಲದಿದ್ದರೆ User-agent: *, ಮತ್ತು ಗೆಲ್ಲುವ ನಿಯಮ.
ಫೈರ್ವಾಲ್ ನಿರಾಕರಣೆಗಳು
ಪುಟವನ್ನು 14 ಕ್ರಾಲರ್ಗಳಾಗಿ ಮತ್ತು ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ ಆಗಿ ವಿನಂತಿಸಲಾಗುತ್ತದೆ. ತಡೆಗಳು ಮತ್ತು ಚಾಲೆಂಜ್ ಪುಟಗಳನ್ನು ಗುರುತಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ಉತ್ತರಿಸಿದ ಫೈರ್ವಾಲ್ನ ಹೆಸರನ್ನು ತಿಳಿಸಲಾಗುತ್ತದೆ.
ಪ್ರತಿ ಕಂಡುಹಿಡಿತಕ್ಕೂ ಪರಿಹಾರ
ಪ್ರತಿ ಕಂಡುಹಿಡಿತದ ಜೊತೆಗೆ ಮಾಡಬೇಕಾದ ಬದಲಾವಣೆ ಇರುತ್ತದೆ. ಉಚಿತ ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಸ್ಕೋರ್ ಮತ್ತು ಮೊದಲ ಕಂಡುಹಿಡಿತವನ್ನು ತೋರಿಸುತ್ತದೆ; ಪೂರ್ಣ ವರದಿ $29, ಒಮ್ಮೆ ಮಾತ್ರ.
ಸೈಟ್ AI ಕ್ರಾಲರ್ಗಳನ್ನು ಎರಡು ಕಡೆ ತಡೆಯಬಹುದು: ಕ್ರಾಲರ್ಗಳಿಗೆ ದೂರ ಇರಲು ಕೇಳುವ robots.txt ನಲ್ಲಿ, ಮತ್ತು ಅವನ್ನು ನಿಜವಾಗಿ ನಿರಾಕರಿಸುವ ಸರ್ವರ್ ಅಥವಾ ಫೈರ್ವಾಲ್ನಲ್ಲಿ. robots.txt ನಲ್ಲಿ ಪ್ರತಿ ಕ್ರಾಲರ್ನ ಟೋಕನ್ ಹುಡುಕಿ, ಇಲ್ಲದಿದ್ದರೆ User-agent: * ನೋಡಿ, ನಂತರ ಪುಟವನ್ನು ಕ್ರಾಲರ್ ಆಗಿ ಪಡೆದು ಬ್ರೌಸರ್ಗೆ ಸಿಕ್ಕ ಪುಟದೊಂದಿಗೆ ಹೋಲಿಸಿ. ಒಂದು ಬ್ರೌಸರ್ ವಿಸ್ತರಣೆ 16 AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಭಾಗವನ್ನು ಒಂದೇ ಕ್ಲಿಕ್ನಲ್ಲಿ ಮಾಡುತ್ತದೆ.
3 ಹಂತಗಳಲ್ಲಿ ಕೈಯಾರೆ ಪರಿಶೀಲಿಸಿ
- ಕ್ರಾಲರ್ ಆಯ್ಕೆಮಾಡಿ
ಪ್ರತಿ AI ಕಂಪನಿ ಬೇರೆಬೇರೆ ಕ್ರಾಲರ್ಗಳನ್ನು ನಡೆಸುತ್ತದೆ. ತರಬೇತಿ:
GPTBot,ClaudeBot. ಹುಡುಕಾಟ:OAI-SearchBot,Claude-SearchBot,PerplexityBot. ವ್ಯಕ್ತಿಯ ಕೋರಿಕೆಯ ಮೇರೆಗೆ:ChatGPT-User,Claude-User,Perplexity-User. - ಅದಕ್ಕಾಗಿ robots.txt ಓದಿ
https://example.com/robots.txtತೆರೆದು ಕ್ರಾಲರ್ನ ಹೆಸರಿರುವ ಗುಂಪನ್ನು ಹುಡುಕಿ. ಯಾವುದೇ ಗುಂಪು ಇಲ್ಲದಿದ್ದರೆUser-agent: *ಗುಂಪು ಅನ್ವಯಿಸುತ್ತದೆ; ಎರಡೂ ಇಲ್ಲದಿದ್ದರೆ ಎಲ್ಲವೂ ಅನುಮತಿಸಲ್ಪಡುತ್ತದೆ. - ಕ್ರಾಲರ್ ಆಗಿ ಪುಟವನ್ನು ಪಡೆಯಿರಿ
ಕ್ರಾಲರ್ನ user agent ನೊಂದಿಗೆ ಪುಟವನ್ನು ವಿನಂತಿಸಿ, ಸ್ಥಿತಿ ಮತ್ತು ಗಾತ್ರವನ್ನು ಬ್ರೌಸರ್ನದ್ದರೊಂದಿಗೆ ಹೋಲಿಸಿ. 403, ಚಾಲೆಂಜ್ ಪುಟ, ಅಥವಾ ತುಂಬಾ ಚಿಕ್ಕ 200 ಎಂದರೆ ಫೈರ್ವಾಲ್ ಅದನ್ನು ನಿರಾಕರಿಸುತ್ತಿದೆ.
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
robots.txt ಇಲ್ಲದ ಸೈಟ್ AI ಕ್ರಾಲರ್ಗಳಿಗೆ ತೆರೆದಿದೆಯೇ?
ಹೌದು, robots.txt ಮಟ್ಟಿಗೆ. robots.txt ಗೆ 404 ಎಂದರೆ ನಿಯಮಗಳಿಲ್ಲ, ಆದ್ದರಿಂದ ಪ್ರತಿ ಕ್ರಾಲರ್ ಪ್ರತಿ ಪುಟವನ್ನೂ ಪಡೆಯಬಹುದು. ಆದರೂ ಫೈರ್ವಾಲ್ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯಬಹುದು.
ವಿಸ್ತರಣೆ ಫೈರ್ವಾಲ್ ತಡೆಗಳನ್ನು ತೋರಿಸುತ್ತದೆಯೇ?
ಇಲ್ಲ. ಅದು ನಿಮ್ಮ ಬ್ರೌಸರ್ನಿಂದ robots.txt ಓದುತ್ತದೆ, ಸೈಟ್ ಕ್ರಾಲರ್ಗಳಿಗೆ ಏನು ಮಾಡಲು ಕೇಳುತ್ತದೆ ಎಂದು ಅದು ತೋರಿಸುತ್ತದೆ. ಫೈರ್ವಾಲ್ ಮತ್ತು ಬಾಟ್ ರಕ್ಷಣೆಯ ತಡೆಗಳನ್ನು ನೋಡಲು ಕ್ರಾಲರ್ ಆಗಿ ಕಳುಹಿಸಿದ ವಿನಂತಿ ಬೇಕು, ಅದನ್ನು aiseewhy.com ನಲ್ಲಿರುವ ಪೂರ್ಣ ಪರಿಶೀಲನೆ ಮಾಡುತ್ತದೆ.
ನನ್ನದಲ್ಲದ ಸೈಟ್ ಅನ್ನು ಪರಿಶೀಲಿಸಬಹುದೇ?
ಹೌದು. robots.txt ಸಾರ್ವಜನಿಕ, ಮತ್ತು ವಿಸ್ತರಣೆ ಸೈಟ್ ಪ್ರಕಟಿಸುವ robots.txt ಮತ್ತು llms.txt ಫೈಲ್ಗಳನ್ನು ಮಾತ್ರ ಓದುತ್ತದೆ, ಪ್ರತಿ ಕ್ರಾಲರ್ ಓದುವ ಅದೇ ಫೈಲ್ಗಳು.
ಪೂರ್ಣ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಓದಿ
ಯಾವುದಾದರೂ ಬದಲಾವಣೆಯ ನಂತರ ನಿಮ್ಮ ಸ್ವಂತ ಸೈಟ್ ಪರಿಶೀಲಿಸುತ್ತಿರಲಿ, ಅಥವಾ ಬೇರೆಯವರ ಸೈಟ್ ಮೇಲೆ ಅವಲಂಬಿಸುವ ಮೊದಲು ಅದನ್ನು ನೋಡುತ್ತಿರಲಿ, “ಈ ಸೈಟ್ AI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುತ್ತದೆಯೇ?” ಎಂಬ ಪ್ರಶ್ನೆಗೆ ನಿಖರ ಉತ್ತರವಿದೆ. ಅದು ನೀವು ಯಾವ ಕ್ರಾಲರ್ ಬಗ್ಗೆ ಕೇಳುತ್ತಿದ್ದೀರಿ ಎಂಬುದನ್ನು ಅವಲಂಬಿಸಿದೆ, ಏಕೆಂದರೆ AI ಕಂಪನಿಗಳು ತರಬೇತಿ, ಹುಡುಕಾಟ ಮತ್ತು ನೇರ ಭೇಟಿಗಳಿಗೆ ಬೇರೆ ಬೇರೆ ಕ್ರಾಲರ್ಗಳನ್ನು ನಡೆಸುತ್ತವೆ, ಮತ್ತು ಸೈಟ್ ಪ್ರತಿಯೊಂದನ್ನೂ ಬೇರೆ ಬೇರೆ ರೀತಿ ನಡೆಸಿಕೊಳ್ಳಬಹುದು. ಈ ಮಾರ್ಗದರ್ಶಿ ಅತಿ ವೇಗದಿಂದ ಅತಿ ಸಂಪೂರ್ಣದವರೆಗೆ ಮೂರು ಪರಿಶೀಲನೆಗಳನ್ನು ತೋರಿಸುತ್ತದೆ.
ಸೈಟ್ AI ಕ್ರಾಲರ್ಗಳನ್ನು ಎಲ್ಲಿ ತಡೆಯಬಹುದು?
ಮೂರು ಪದರಗಳಿವೆ, ಮತ್ತು ಒಂದು ಪುಟವನ್ನು ಬಳಸಲು ಕ್ರಾಲರ್ ಮೂರನ್ನೂ ದಾಟಬೇಕು.
- robots.txt: ನಿಯಮ ಪಾಲಿಸುವ ಕ್ರಾಲರ್ಗಳು ಏನನ್ನಾದರೂ ಪಡೆಯುವ ಮೊದಲು ಓದುವ ಸಾರ್ವಜನಿಕ ನಿಯಮಗಳ ಫೈಲ್. ಇದು ಒಂದು ವಿನಂತಿ, ಬೀಗವಲ್ಲ.
- ಸರ್ವರ್, CDN ಅಥವಾ ಫೈರ್ವಾಲ್: ನಿಜವಾಗಿ ಏನನ್ನು ಹಿಂತಿರುಗಿಸಬೇಕು ಎಂದು ಇದೇ ನಿರ್ಧರಿಸುತ್ತದೆ. robots.txt ಅನುಮತಿಸಿದರೂ, ಬಾಟ್ ರಕ್ಷಣೆಯ ಒಂದು ನಿಯಮ ಕ್ರಾಲರ್ಗೆ 403, 429 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ನೀಡಬಹುದು.
- ಪುಟವೇ: ಮುಖ್ಯ ಪಠ್ಯ JavaScript ಚಾಲನೆಯಾದ ನಂತರವೇ ಕಾಣಿಸಿದರೆ, ಆರಂಭಿಕ HTML ಓದುವ ಕ್ರಾಲರ್ಗೆ ಬಹುತೇಕ ಖಾಲಿ ಪುಟ ಸಿಗುತ್ತದೆ, ಅದನ್ನು ಯಾವುದೂ ತಡೆಯದಿದ್ದರೂ.
ಹೆಚ್ಚಿನ ತ್ವರಿತ ಪರಿಶೀಲನೆಗಳು ಮೊದಲ ಪದರವನ್ನು ಮಾತ್ರ ನೋಡುತ್ತವೆ. ಆರಂಭಕ್ಕೆ ಅದು ಸರಿ, ಉಳಿದ ಎರಡು ಪದರಗಳನ್ನು ನೆನಪಿಡಿ.
ಒಂದು AI ಕ್ರಾಲರ್ಗಾಗಿ robots.txt ಅನ್ನು ಹೇಗೆ ಓದುವುದು?
ಬ್ರೌಸರ್ನಲ್ಲಿ https://example.com/robots.txt ತೆರೆಯಿರಿ ಮತ್ತು ಆ ಕ್ರಾಲರ್ಗೆ ಅನ್ವಯಿಸುವ ಗುಂಪನ್ನು ಹುಡುಕಿ. ಗುಂಪು ಒಂದು ಅಥವಾ ಹೆಚ್ಚು User-agent ಸಾಲುಗಳಿಂದ ಆರಂಭವಾಗುತ್ತದೆ. ಕ್ರಾಲರ್ ತನ್ನ ಟೋಕನ್ ಹೆಸರಿರುವ ಗುಂಪನ್ನು ಬಳಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ GPTBot; ಹೊಂದಿಸುವಾಗ ದೊಡ್ಡ ಮತ್ತು ಸಣ್ಣ ಅಕ್ಷರಗಳ ವ್ಯತ್ಯಾಸ ಲೆಕ್ಕಕ್ಕೆ ಬರುವುದಿಲ್ಲ. ಯಾವ ಗುಂಪಿನಲ್ಲೂ ಅದರ ಹೆಸರಿಲ್ಲದಿದ್ದರೆ, ಅದು User-agent: * ಗುಂಪನ್ನು ಬಳಸುತ್ತದೆ. ಎರಡೂ ಇಲ್ಲದಿದ್ದರೆ, ಎಲ್ಲವೂ ಅನುಮತಿಸಲ್ಪಟ್ಟಿದೆ.
ಗುಂಪಿನೊಳಗೆ, ಅತಿ ಉದ್ದದ ಹೊಂದುವ ಪಾತ್ ಇರುವ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ, ಮತ್ತು Allow ಮತ್ತು Disallow ಸಮಾನ ಉದ್ದವಿದ್ದರೆ Allow ಗೆಲ್ಲುತ್ತದೆ. ಆದ್ದರಿಂದ ಕೆಳಗಿನ ಫೈಲ್ GPTBot ಅನ್ನು ಇಡೀ ಸೈಟ್ನಿಂದ ತಡೆಯುತ್ತದೆ, ಆದರೆ ಉಳಿದ ಪ್ರತಿ ಕ್ರಾಲರ್ಗೂ ಒಳಗೆ ಬರಲು ಬಿಡುತ್ತದೆ:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / ಫೈಲ್ ಹೇಗೆ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆ ಎಂಬುದನ್ನೂ ನೋಡಿ. RFC 9309 ಪ್ರಕಾರ, 404 ಎಂದರೆ ನಿಯಮಗಳಿಲ್ಲ, ಆದ್ದರಿಂದ ಎಲ್ಲವೂ ಅನುಮತಿಸಲ್ಪಟ್ಟಿದೆ. ಸರ್ವರ್ ದೋಷ (5xx) ಅಥವಾ ಯಾವುದೇ ಪ್ರತಿಕ್ರಿಯೆ ಇಲ್ಲದಿದ್ದರೆ, ಕ್ರಾಲರ್ ಇಡೀ ಸೈಟ್ ಅನ್ನು ನಿಷೇಧಿತ ಎಂದು ಪರಿಗಣಿಸಬೇಕು. robots.txt ವಿಳಾಸವು HTML ಪುಟವನ್ನು ಹಿಂತಿರುಗಿಸುವುದು ಸಾಮಾನ್ಯ ತಪ್ಪು: ಕ್ರಾಲರ್ಗಳಿಗೆ ಅದರಲ್ಲಿ ಯಾವುದೇ ಮಾನ್ಯ ನಿಯಮಗಳು ಸಿಗುವುದಿಲ್ಲ.
ಎಲ್ಲ AI ಕ್ರಾಲರ್ಗಳನ್ನು ಒಮ್ಮೆಲೇ ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ಒಂದಕ್ಕಿಂತ ಹೆಚ್ಚು ಕ್ರಾಲರ್ಗಳು ಮುಖ್ಯವಾದಾಗ ಫೈಲ್ ಅನ್ನು ಕೈಯಿಂದ ಓದುವುದು ನಿಧಾನವಾಗುತ್ತದೆ. ಪ್ರತಿ AI ಕಂಪನಿಯೂ ಬೇರೆ ಬೇರೆ ಕೆಲಸಗಳಿಗೆ ಹಲವು ಕ್ರಾಲರ್ಗಳನ್ನು ನಡೆಸುತ್ತದೆ:
- ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳು ಮಾದರಿ ತರಬೇತಿಗಾಗಿ ವಿಷಯ ಸಂಗ್ರಹಿಸುತ್ತವೆ:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, ಜೊತೆಗೆ robots.txt ನಲ್ಲಿ ಮಾತ್ರ ಕಾಣಿಸುವGoogle-Extendedಮತ್ತುApplebot-Extendedಟೋಕನ್ಗಳು. - ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳು AI ಉತ್ತರಗಳು ಉಲ್ಲೇಖಿಸುವಂತೆ ಪುಟಗಳನ್ನು ಸೂಚೀಕರಿಸುತ್ತವೆ:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳು ಯಾರಾದರೂ ಸಹಾಯಕನನ್ನು ಕೇಳಿದಾಗ ಪುಟವನ್ನು ಪಡೆಯುತ್ತವೆ:
ChatGPT-User,Claude-User,Perplexity-User.
Chrome ಗಾಗಿ ಉಚಿತ AI ಕ್ರಾಲರ್ ಪರೀಕ್ಷಕ ವಿಸ್ತರಣೆ ಇದನ್ನು ಒಂದೇ ಕ್ಲಿಕ್ನಲ್ಲಿ ಮಾಡುತ್ತದೆ. ಯಾವುದೇ ಪುಟ ತೆರೆಯಿರಿ, ಐಕಾನ್ ಕ್ಲಿಕ್ ಮಾಡಿ; ಅದು ಆ ಸೈಟ್ನ robots.txt ಓದಿ, 16 ಕ್ರಾಲರ್ಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದಕ್ಕೂ ಪುಟಕ್ಕೆ ಅನುಮತಿ ಇದೆಯೇ ಮತ್ತು ಯಾವ ಸಾಲು ಅದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ. Content-Signal ಆದ್ಯತೆಗಳು, ಸೈಟ್ನಲ್ಲಿ llms.txt ಇದೆಯೇ, ಮತ್ತು robots.txt ನಲ್ಲಿ ಪಟ್ಟಿ ಮಾಡಿದ ಸೈಟ್ಮ್ಯಾಪ್ಗಳನ್ನೂ ತೋರಿಸುತ್ತದೆ. ಇದು ನಿಮ್ಮ ಬ್ರೌಸರ್ನಲ್ಲಿ ಚಲಿಸುತ್ತದೆ, ಖಾತೆ ಬೇಕಿಲ್ಲ, ಮತ್ತು ನೀವು ಕ್ಲಿಕ್ ಮಾಡಿದ ಸೈಟ್ ಅನ್ನು ಮಾತ್ರ ಓದುತ್ತದೆ.
Chrome ಇಲ್ಲದೆ, aiseewhy.com ನಲ್ಲಿರುವ ಉಚಿತ robots.txt ಪರೀಕ್ಷಕ ನೀವು ಅಂಟಿಸಿದ URL ಗೆ ಅದೇ ಉತ್ತರ ನೀಡುತ್ತದೆ.
ಫೈರ್ವಾಲ್ ಅವನ್ನು ಒಳಗೆ ಬಿಡುತ್ತದೆಯೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ಸೈಟ್ ಏನು ಕೇಳುತ್ತದೆ ಎಂದು robots.txt ತೋರಿಸುತ್ತದೆ. ಕ್ರಾಲರ್ಗೆ ನಿಜವಾಗಿ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ನೋಡಲು, ಪುಟವನ್ನು ಎರಡು ಬಾರಿ ಕೇಳಿ, ಒಮ್ಮೆ ಬ್ರೌಸರ್ ಆಗಿ ಮತ್ತು ಒಮ್ಮೆ ಕ್ರಾಲರ್ನ ಯೂಸರ್ ಏಜೆಂಟ್ನೊಂದಿಗೆ, ನಂತರ ಸ್ಟೇಟಸ್ ಕೋಡ್ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆಯ ಗಾತ್ರವನ್ನು ಹೋಲಿಸಿ:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page ಬ್ರೌಸರ್ಗೆ 200 ಸಿಕ್ಕಿ, ಕ್ರಾಲರ್ಗೆ 403, 429 ಅಥವಾ 503, ಅಥವಾ ತುಂಬಾ ಚಿಕ್ಕ ಪುಟ ಸಿಕ್ಕರೆ, ಫೈರ್ವಾಲ್ ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣೆ ಕ್ರಾಲರ್ ಅನ್ನು ಬೇರೆ ರೀತಿ ನಡೆಸಿಕೊಳ್ಳುತ್ತಿದೆ. ಹೊರಗಿನಿಂದ ಮಾಡುವ ಪ್ರತಿ ಪರೀಕ್ಷೆಗೂ ಒಂದು ಮಿತಿ ಇದೆ: ವಿನಂತಿ ನಿಮ್ಮ ನೆಟ್ವರ್ಕ್ನಿಂದ ಹೋಗುತ್ತದೆ, AI ಕಂಪನಿಯ ನೆಟ್ವರ್ಕ್ನಿಂದ ಅಲ್ಲ. ಕ್ರಾಲರ್ಗಳನ್ನು ಅವುಗಳ ಪ್ರಕಟಿತ IP ವಿಳಾಸಗಳ ಆಧಾರದಲ್ಲಿ ನಂಬುವ ಫೈರ್ವಾಲ್ ನಿಜವಾದ ಕ್ರಾಲರ್ ಅನ್ನು ಬೇರೆ ರೀತಿ ನಡೆಸಿಕೊಳ್ಳಬಹುದು, ಆದ್ದರಿಂದ ಅಂತಿಮ ಮಾತು ನಿಮ್ಮ ಸರ್ವರ್ ಲಾಗ್ಗಳದ್ದು.
aiseewhy.com ನಲ್ಲಿರುವ ಪೂರ್ಣ ಪರಿಶೀಲನೆ ನಿಜವಾದ ಬ್ರೌಸರ್ ಜೊತೆಗೆ ಎಲ್ಲ 16 ಕ್ರಾಲರ್ಗಳಾಗಿ ಪುಟವನ್ನು ಪಡೆಯುತ್ತದೆ, ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುವ ಫೈರ್ವಾಲ್ ಅಥವಾ ನಿಯಮದ ಹೆಸರು ಹೇಳುತ್ತದೆ, ಮತ್ತು ಪ್ರತಿಯೊಂದಕ್ಕೂ ಸಿಕ್ಕ ಪಠ್ಯವನ್ನು ಹೋಲಿಸುತ್ತದೆ.
ಯಾವ ಫಲಿತಾಂಶವನ್ನು ಗುರಿಯಾಗಿಸಬೇಕು?
ಅದು ನಿಮಗೆ ಏನು ಬೇಕು ಎಂಬುದನ್ನು ಅವಲಂಬಿಸಿದೆ. ChatGPT ಹುಡುಕಾಟ, Claude ಮತ್ತು Perplexity ನಲ್ಲಿ ಉಲ್ಲೇಖಿಸಲ್ಪಡಬೇಕಿದ್ದರೆ, ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ನಲ್ಲಿ ಅನುಮತಿ ಇರಬೇಕು ಮತ್ತು ಸರ್ವರ್ನಿಂದ ಅವಕ್ಕೆ ನಿಜವಾದ ಪುಟ ಸಿಗಬೇಕು. ನಿಮ್ಮ ವಿಷಯ ತರಬೇತಿಗೆ ಬಳಕೆಯಾಗಬಾರದು ಎಂದಿದ್ದರೆ, ತರಬೇತಿ ಟೋಕನ್ಗಳನ್ನು ಮಾತ್ರ ತಡೆಯಿರಿ. ಇವು ಪ್ರತ್ಯೇಕ ನಿರ್ಧಾರಗಳು: GPTBot ತಡೆದರೆ OAI-SearchBot ತಡೆಯಲ್ಪಡುವುದಿಲ್ಲ, ಮತ್ತು ClaudeBot ತಡೆದರೆ Claude-SearchBot ತಡೆಯಲ್ಪಡುವುದಿಲ್ಲ.
ಅನೇಕ ಸೈಟ್ಗಳು ಇವನ್ನು ಬೆರೆಸಿಬಿಡುತ್ತವೆ. ಅತ್ಯಂತ ಜನಪ್ರಿಯ 1,000 ಡೊಮೇನ್ಗಳ ಕುರಿತ ನಮ್ಮ ನವೆಂಬರ್ 2026 ರ ವರದಿಯಲ್ಲಿ, ತರಬೇತಿ ಕ್ರಾಲರ್ ತಡೆಯುವ ಸೈಟ್ಗಳಲ್ಲಿ 63% ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನೂ ತಡೆಯುತ್ತವೆ, ಇದರಿಂದ ಅವುಗಳ ಪುಟಗಳು ಆ AI ಉತ್ತರಗಳಿಂದ ಹೊರಗುಳಿಯುತ್ತವೆ.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- llms.txt ಪರಿಶೀಲಕ ಮತ್ತು ವ್ಯಾಲಿಡೇಟರ್
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಮೂಲಗಳು
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ಕ್ರಾಲರ್ಗಳ ಅವಲೋಕನ
- Anthropic: Anthropic ವೆಬ್ನಿಂದ ಡೇಟಾ ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆಯೇ, ಮತ್ತು ಸೈಟ್ ಮಾಲೀಕರು ಕ್ರಾಲರ್ ಅನ್ನು ಹೇಗೆ ತಡೆಯಬಹುದು?
- Perplexity: Perplexity ಕ್ರಾಲರ್ಗಳು
- Google: ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್ಗಳು, Google-Extended ಸೇರಿ
- AISeeWhy: AI ಕ್ರಾಲರ್ ಪ್ರವೇಶ ವರದಿ, 2026-11