ಹತ್ತರಲ್ಲಿ ನಾಲ್ಕು ವ್ಯಾಪಾರ ವೆಬ್ಸೈಟ್ಗಳು AI ಕ್ರಾಲರ್ಗಳನ್ನು ಹಿಂದಕ್ಕೆ ಕಳುಹಿಸುತ್ತವೆ
ಅಮೆರಿಕ, ಯುಕೆ ಮತ್ತು ಫ್ರಾನ್ಸ್ನ 165 ವ್ಯಾಪಾರ ವೆಬ್ಸೈಟ್ಗಳ ನಮ್ಮ ಆಡಿಟ್ಗಳಲ್ಲಿ, 38% ಸೈಟ್ಗಳು ಕನಿಷ್ಠ ಒಂದು AI ಕ್ರಾಲರ್ ಅನ್ನು ಸರ್ವರ್ ಮಟ್ಟದಲ್ಲಿ ತಡೆದವು; ಅದು ಬಹುತೇಕ ಯಾವಾಗಲೂ ತರಬೇತಿ ಅಥವಾ ಸ್ಕ್ರೇಪರ್ ಬಾಟ್ ಆಗಿತ್ತು. ಸುಮಾರು ಹತ್ತರಲ್ಲಿ ಒಂದು ಸೈಟ್ PerplexityBot ಅಥವಾ OAI-SearchBot ನಂತಹ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನೂ ತಡೆಯಿತು; ಉಲ್ಲೇಖಕ್ಕೆ ಕಾರಣವಾಗಬಲ್ಲವು ಈ ಕ್ರಾಲರ್ಗಳೇ. ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಒಂದು ವಿನಂತಿ ಕಳುಹಿಸಿ ನಿಮ್ಮ ಸೈಟ್ ಪರಿಶೀಲಿಸಿ.
ನಿಮ್ಮದೇ ಉತ್ಪನ್ನದ ಬಗ್ಗೆ ChatGPT ಅನ್ನು ಕೇಳುತ್ತೀರಿ, ಅದು ಪ್ರತಿಸ್ಪರ್ಧಿ, ವಿಮರ್ಶೆ ಸೈಟ್ ಮತ್ತು ಫೋರಂ ಥ್ರೆಡ್ ಅನ್ನು ಹೆಸರಿಸುತ್ತದೆ. ಕೆಲವೊಮ್ಮೆ ಇದು ಕಂಟೆಂಟ್ನ ಸಮಸ್ಯೆ. ಆದರೆ ಹಲವು ಬಾರಿ ಫೈರ್ವಾಲ್ AI ಕ್ರಾಲರ್ಗಳಿಗೆ "ಇಲ್ಲ" ಎಂದು ಉತ್ತರಿಸುತ್ತಿರುತ್ತದೆ; ಸೈಟ್ ಬ್ರೌಸರ್ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುವುದರಿಂದ ನಿಮ್ಮ ತಂಡದಲ್ಲಿ ಯಾರೂ ಅದನ್ನು ಗಮನಿಸಿರುವುದಿಲ್ಲ.
ಈ ಪುಟದಲ್ಲಿ
ನಾವು ಏನನ್ನು ಪರೀಕ್ಷಿಸಿದೆವು?
ಒಂದೇ ವಿಳಾಸದಿಂದ ಒಂದು ಪುಟಕ್ಕೆ ಹಲವು ಬಾರಿ ವಿನಂತಿ ಕಳುಹಿಸುತ್ತೇವೆ: ಒಮ್ಮೆ ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ ಆಗಿ, ಮತ್ತು 14 AI ಹಾಗೂ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದರಂತೆ ಒಮ್ಮೆ. ಇವುಗಳಲ್ಲಿ OpenAI ನ GPTBot, OAI-SearchBot ಮತ್ತು ChatGPT-User, Anthropic ನ ClaudeBot ಮತ್ತು Claude-SearchBot, Perplexity ನ PerplexityBot ಸೇರಿವೆ. ಬ್ರೌಸರ್ಗೆ ಪುಟ ಸಿಕ್ಕಿ, ಕ್ರಾಲರ್ಗೆ 401, 403, 406, 429, 451, 503 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ಸಿಕ್ಕರೆ, ಆ ಸೈಟ್ ಆ ಕ್ರಾಲರ್ ಅನ್ನು ಹಿಂದಕ್ಕೆ ಕಳುಹಿಸುತ್ತಿದೆ ಎಂದರ್ಥ.
ಮಾದರಿಯಲ್ಲಿ ಅಮೆರಿಕ, ಯುಕೆ ಮತ್ತು ಫ್ರಾನ್ಸ್ನ 218 ವ್ಯಾಪಾರ ವೆಬ್ಸೈಟ್ಗಳಿವೆ; ಅವುಗಳನ್ನು 2026ರ ನವೆಂಬರ್ 18 ರಿಂದ 21ರ ನಡುವೆ ಆಡಿಟ್ ಮಾಡಲಾಯಿತು. 165 ಸೈಟ್ಗಳಲ್ಲಿ ಪೂರ್ಣ ಪರೀಕ್ಷೆ ನಡೆಸಲು ಸಾಧ್ಯವಾಯಿತು. ಉಳಿದ 53 ಸೈಟ್ಗಳು ನಮ್ಮ ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ ವಿನಂತಿಯನ್ನೇ ನಿರಾಕರಿಸಿದವು ಅಥವಾ ಉತ್ತರಿಸಲಿಲ್ಲ; ಊಹಿಸುವ ಬದಲು ಅವುಗಳನ್ನು ಹೊರಗಿಟ್ಟಿದ್ದೇವೆ.
ನಾವು ಏನನ್ನು ಕಂಡುಕೊಂಡೆವು?
- ಪರೀಕ್ಷಿಸಬಹುದಾದ ಸೈಟ್ಗಳಲ್ಲಿ 38% (165ರಲ್ಲಿ 63) ಕನಿಷ್ಠ ಒಂದು AI ಕ್ರಾಲರ್ ಅನ್ನು ಹಿಂದಕ್ಕೆ ಕಳುಹಿಸಿದವು.
- ಆ ಎಲ್ಲಾ ಸೈಟ್ಗಳು ಕನಿಷ್ಠ ಒಂದು ತರಬೇತಿ ಅಥವಾ ಸ್ಕ್ರೇಪರ್ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆದವು. ಎಲ್ಲಾ ಸೈಟ್ಗಳಲ್ಲಿ
Bytespiderಅನ್ನು 35%,ClaudeBotಅನ್ನು 13% ಮತ್ತುGPTBotಅನ್ನು 11% ಸೈಟ್ಗಳು ತಡೆದವು. - 10% ಸೈಟ್ಗಳು (16) ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನೂ ತಡೆದವು, ಮತ್ತು 5% (8) ಸೈಟ್ಗಳು ಬಳಕೆದಾರರು ಅಸಿಸ್ಟೆಂಟ್ಗೆ ಕೇಳಿದಾಗ ಪುಟವನ್ನು ಆಗಲೇ ತೆರೆಯುವ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆದವು.
- ಅತಿ ಮುಖ್ಯವಾದ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳು
PerplexityBot(11 ಸೈಟ್ಗಳು) ಮತ್ತುOAI-SearchBot(5 ಸೈಟ್ಗಳು). - ನಾವು ಪರೀಕ್ಷಿಸಿದ ಯಾವುದೇ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆದ 66 ಸೈಟ್ಗಳಲ್ಲಿ 32ರ ಹಿಂದೆ Cloudflare ಇತ್ತು. ಇನ್ನೂ 30 ಸೈಟ್ಗಳಲ್ಲಿ ಯಾವ ಫೈರ್ವಾಲ್ ಉತ್ತರಿಸಿತು ಎಂದು ತಿಳಿಯಲಾಗಲಿಲ್ಲ.
ಇದು ಏಕೆ ಆಗುತ್ತದೆ, ಮತ್ತು ಯಾವಾಗ ಅದು ಆಯ್ಕೆ?
ಇದರಲ್ಲಿ ಬಹಳಷ್ಟು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿರುವ ಸಾಧ್ಯತೆ ಇದೆ. ಅನೇಕ ಮಾಲೀಕರು ತಮ್ಮ ಕಂಟೆಂಟ್ ಅನ್ನು ಮಾಡೆಲ್ಗಳ ತರಬೇತಿಗೆ ಬಳಸುವುದನ್ನು ಬಯಸುವುದಿಲ್ಲ, ಮತ್ತು ಸ್ಕ್ರೇಪರ್ಗಳನ್ನು ತಡೆಯುವ ಬಾಟ್-ರಕ್ಷಣೆ ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಆನ್ ಮಾಡುವುದು ಸುಲಭ. ಅದು ನ್ಯಾಯಸಮ್ಮತ ಆಯ್ಕೆ.
ಸಮಸ್ಯೆ ಏನೆಂದರೆ, AI ಕಂಪನಿಗಳು ತರಬೇತಿಗೆ ಮತ್ತು ಹುಡುಕಾಟಕ್ಕೆ ಬೇರೆ ಬೇರೆ ಕ್ರಾಲರ್ಗಳನ್ನು ನಡೆಸುತ್ತವೆ. ತರಬೇತಿ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯಲು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯಬೇಕಾಗಿಲ್ಲ, ಮತ್ತು ಉತ್ತರದಲ್ಲಿ ನಿಮ್ಮ ಪುಟವನ್ನು ಉಲ್ಲೇಖಿಸಲು ಕಾರಣವಾಗಬಲ್ಲದು ಹುಡುಕಾಟ ಕ್ರಾಲರ್.
ದೊಡ್ಡ ಸೈಟ್ಗಳು ಉತ್ತಮವೇ?
ಅಷ್ಟೇನೂ ಇಲ್ಲ. ಅತ್ಯಂತ ಜನಪ್ರಿಯ 1,000 ಡೊಮೇನ್ಗಳ ಕುರಿತ ನಮ್ಮ robots.txt ವರದಿಯಲ್ಲಿ, robots.txt ಇರುವ ಸೈಟ್ಗಳಲ್ಲಿ 29.9% ಕನಿಷ್ಠ ಒಂದು AI ತರಬೇತಿ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುತ್ತವೆ, ಮತ್ತು ಅವುಗಳಲ್ಲಿ 63.2% ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನೂ ತಡೆಯುತ್ತವೆ. ತರಬೇತಿಯನ್ನು ತಡೆದು ಎಲ್ಲಾ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳಿಗೆ ಅವಕಾಶ ನೀಡುವವು ಕೇವಲ 11.0%; ಹೆಚ್ಚಿನವರು ಬಹುಶಃ ಬಯಸಿದ್ದು ಈ ವ್ಯವಸ್ಥೆಯನ್ನೇ.
ನನ್ನ ಸೈಟ್ ಅನ್ನು ಹತ್ತು ನಿಮಿಷದಲ್ಲಿ ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
yoursite.com/robots.txtತೆರೆಯಿರಿ. ನಿಮಗೆ ಮುಖ್ಯವಾದ ಪ್ರತಿ AI ಕ್ರಾಲರ್ಗೂ, ಯಾವುದಾದರೂ ಗುಂಪು ಅದರ ಹೆಸರನ್ನು ಹೇಳಿದೆಯೇ ಮತ್ತು ಆ ಗುಂಪು ಏನು ಹೇಳುತ್ತದೆ ಎಂದು ನೋಡಿ. ಕ್ರಾಲರ್ನ ಹೆಸರಿರುವ ಗುಂಪು ಸಾಮಾನ್ಯ*ಗುಂಪನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಿಸುತ್ತದೆ.- ಫೈಲ್ ಏನು ಹೇಳುತ್ತದೆ ಎಂಬುದನ್ನಲ್ಲ, ಸರ್ವರ್ ಏನು ಮಾಡುತ್ತದೆ ಎಂಬುದನ್ನು ಪರೀಕ್ಷಿಸಿ. ನಿಮ್ಮ ಮುಖ್ಯ ಪುಟವನ್ನು ಬ್ರೌಸರ್ ಆಗಿ ಮತ್ತು ಕ್ರಾಲರ್ ಆಗಿ ವಿನಂತಿಸಿ. 403, 429,
Just a moment...ಎಂಬ ಶೀರ್ಷಿಕೆಯ ಪುಟ, ಅಥವಾ ಬ್ರೌಸರ್ನ ಪ್ರತಿಕ್ರಿಯೆಗಿಂತ ಬಹಳ ಚಿಕ್ಕ ಪ್ರತಿಕ್ರಿಯೆ ಫೈರ್ವಾಲ್ ತಡೆಯ ಗುರುತು. - ಅಸಿಸ್ಟೆಂಟ್ ಅನ್ನೇ ಕೇಳಿ. ಹುಡುಕಾಟ ಆನ್ ಮಾಡಿ, ನಿಮ್ಮ ಖರೀದಿದಾರರು ಕೇಳುವ ಪ್ರಶ್ನೆಗಳನ್ನು ChatGPT ಅಥವಾ Perplexity ಗೆ ಕೇಳಿ ಮತ್ತು ಅದು ಯಾವ ಸೈಟ್ಗಳನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತದೆ ಎಂದು ನೋಡಿ. ಪ್ರವೇಶ ಸರಿಯಾಗಿದ್ದರೂ ನೀವು ಕಾಣಿಸದಿದ್ದರೆ, ಸಮಸ್ಯೆ ಪ್ರವೇಶದ್ದಲ್ಲ, ಕಂಟೆಂಟ್ನದು.
ಈ ಸಂಖ್ಯೆಗಳು ಎಷ್ಟು ವಿಶ್ವಾಸಾರ್ಹ?
ಇವನ್ನು ಜನಗಣತಿಯಲ್ಲ, ಒಂದು ಮಾದರಿ ಎಂದು ಪರಿಗಣಿಸಿ. ಮಾದರಿ ಯಾದೃಚ್ಛಿಕವಲ್ಲ: ಇವು ಜಾಹೀರಾತು ಲೈಬ್ರರಿಗಳು, ಉದ್ಯೋಗ ಪೋರ್ಟಲ್ಗಳು ಮತ್ತು ನಕ್ಷೆ ಪಟ್ಟಿಗಳ ಮೂಲಕ ಸಿಕ್ಕ ಕಂಪನಿಗಳು. ನಾವು ಒಂದೇ ವಿಳಾಸದಿಂದ ಯೂಸರ್ ಏಜೆಂಟ್ ಆಧಾರದ ಮೇಲೆ ಪರೀಕ್ಷಿಸುತ್ತೇವೆ, ಆದರೆ ನಿಜವಾದ ಕ್ರಾಲರ್ಗಳು ತಮ್ಮ ಕಂಪನಿಗಳು ಪ್ರಕಟಿಸಿದ ವಿಳಾಸಗಳಿಂದ ಬರುತ್ತವೆ, ಆದ್ದರಿಂದ ಕೆಲವು ಫೈರ್ವಾಲ್ಗಳು ನಿಜವಾದವನ್ನು ಬೇರೆಯಾಗಿ ನಡೆಸಿಕೊಳ್ಳುತ್ತವೆ. ಮತ್ತು ಪ್ರತಿ ತಡೆಯೂ ತಪ್ಪಲ್ಲ.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
ಎಷ್ಟು ಪ್ರತಿಶತ ವೆಬ್ಸೈಟ್ಗಳು AI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುತ್ತವೆ?
ಪರೀಕ್ಷಿಸಬಹುದಾದ 165 ವ್ಯಾಪಾರ ವೆಬ್ಸೈಟ್ಗಳ ನಮ್ಮ ಆಡಿಟ್ನಲ್ಲಿ, 38% ಕನಿಷ್ಠ ಒಂದು AI ಕ್ರಾಲರ್ ಅನ್ನು ಸರ್ವರ್ ಮಟ್ಟದಲ್ಲಿ ತಡೆದವು; ಹೆಚ್ಚಾಗಿ ತರಬೇತಿ ಮತ್ತು ಸ್ಕ್ರೇಪರ್ ಬಾಟ್ಗಳನ್ನು. ಸುಮಾರು 10% ಸೈಟ್ಗಳು AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನೂ ತಡೆದವು.
GPTBot ಅನ್ನು ತಡೆದರೆ ನನ್ನ ಸೈಟ್ ChatGPT ಹುಡುಕಾಟದಿಂದ ಹೊರಗುಳಿಯುತ್ತದೆಯೇ?
ಇಲ್ಲ. OpenAI ಹೇಳುವಂತೆ ಅದರ ಕ್ರಾಲರ್ಗಳ ಪ್ರತಿ robots.txt ಸೆಟ್ಟಿಂಗ್ ಸ್ವತಂತ್ರವಾಗಿದೆ: GPTBot ತರಬೇತಿಗೆ ಸಂಬಂಧಿಸಿದ್ದು, OAI-SearchBot ChatGPT ಹುಡುಕಾಟಕ್ಕೆ. ಒಂದನ್ನು ತಡೆದರೆ ಇನ್ನೊಂದು ತಡೆಯಾಗುವುದಿಲ್ಲ.
robots.txt ಇಲ್ಲದೆ ಸೈಟ್ ಕ್ರಾಲರ್ ಅನ್ನು ಹೇಗೆ ತಡೆಯಬಹುದು?
ಫೈರ್ವಾಲ್, CDN ಅಥವಾ ಬಾಟ್-ರಕ್ಷಣೆ ನಿಯಮವು ಕ್ರಾಲರ್ಗೆ 403, 429 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟದಿಂದ ಉತ್ತರಿಸಬಹುದು. robots.txt ಇದನ್ನು ಎಂದಿಗೂ ತೋರಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಪುಟವನ್ನು ಕ್ರಾಲರ್ ಆಗಿ ವಿನಂತಿಸಿ ಪರೀಕ್ಷಿಸಬೇಕು.
ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುವುದು ಯಾವಾಗಲೂ ತಪ್ಪೇ?
ಇಲ್ಲ. ಅನೇಕ ಮಾಲೀಕರು ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳು ಮತ್ತು ಸ್ಕ್ರೇಪರ್ಗಳನ್ನು ದೂರವಿಡಲು ಬಯಸುತ್ತಾರೆ. ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಆಕಸ್ಮಿಕವಾಗಿ ತಡೆಯುವುದು ತಪ್ಪು, ಏಕೆಂದರೆ ನಿಮ್ಮ ಪುಟವನ್ನು ಉಲ್ಲೇಖಿಸಬಲ್ಲವು ಅವೇ.
ಮೂಲಗಳು
- AISeeWhy: AI Crawler Access Report, 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- Cloudflare: Manage AI crawlers (AI Crawl Control)