ಅತ್ಯಂತ ಜನಪ್ರಿಯ 10,000 ಸೈಟ್ಗಳ robots.txt ಓದಿದೆವು. AI ಕ್ರಾಲರ್ಗಳ ಬಗ್ಗೆ ಅವು ಏನು ಮಾಡುತ್ತಿವೆ ಎಂಬುದು ಇಲ್ಲಿದೆ
Tranco ಟಾಪ್ 10,000 ನಲ್ಲಿ robots.txt ನೀಡುವ 6,192 ಡೊಮೇನ್ಗಳಲ್ಲಿ, 23.2% ಕನಿಷ್ಠ ಒಂದು AI ತರಬೇತಿ ಕ್ರಾಲರ್ ಅನ್ನು ಮತ್ತು 12.3% ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುತ್ತವೆ. ತರಬೇತಿಯನ್ನು ತಡೆಯುವ ಸೈಟ್ಗಳಲ್ಲಿ 51.6% AI ಹುಡುಕಾಟವನ್ನೂ ತಡೆಯುತ್ತವೆ. ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿದು ಎಲ್ಲಾ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳಿಗೆ ಅವಕಾಶ ನೀಡುವವು ಕೇವಲ 11.2%.
ನವೆಂಬರ್ನಲ್ಲಿ ನಾವು ಅತ್ಯಂತ ಜನಪ್ರಿಯ 1,000 ಡೊಮೇನ್ಗಳ robots.txt ಓದಿದ್ದೆವು. ಈ ಬಾರಿ ಅದೇ ವಿಧಾನದಲ್ಲಿ 10,000 ಓದಿದ್ದೇವೆ, ಮತ್ತು ಸೈಟ್ಗಳು ಚಿಕ್ಕದಾಗುತ್ತಿದ್ದಂತೆ ಚಿತ್ರ ಹೇಗೆ ಬದಲಾಗುತ್ತದೆ ಎಂಬ ಪರಿಶೀಲನೆಯನ್ನೂ ಸೇರಿಸಿದ್ದೇವೆ. ಮುಖ್ಯ ಸಂಗತಿ ಹಾಗೆಯೇ ಉಳಿದಿದೆ: ತರಬೇತಿಯನ್ನು ತಡೆಯುವುದು ಮತ್ತು ಹುಡುಕಾಟವನ್ನು ತಡೆಯುವುದು ಎರಡು ಬೇರೆ ನಿರ್ಧಾರಗಳಾಗಿದ್ದರೂ ಅವನ್ನು ಒಂದೇ ನಿರ್ಧಾರವಾಗಿ ಪರಿಗಣಿಸಲಾಗುತ್ತಿದೆ.
ಈ ಪುಟದಲ್ಲಿ
ನಾವು ಇದನ್ನು ಹೇಗೆ ಅಳೆದೆವು?
ನಾವು Tranco ಪಟ್ಟಿಯ ಅಗ್ರ 10,000 ಡೊಮೇನ್ಗಳನ್ನು (ಪಟ್ಟಿ ID JZWZY) ತೆಗೆದುಕೊಂಡು, 2026ರ ನವೆಂಬರ್ 21 ರಂದು AISeeWhy ಯ ಸ್ವಂತ ಯೂಸರ್ ಏಜೆಂಟ್ ಆಗಿ ಪ್ರತಿ ಡೊಮೇನ್ನ ಮುಖಪುಟ, robots.txt ಮತ್ತು llms.txt ಅನ್ನು ಒಮ್ಮೆ ಪಡೆದೆವು. ಮುಖಪುಟ (/) ಮತ್ತು 16 AI ಹಾಗೂ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳಿಗೆ ಪ್ರತಿ robots.txt ಅನ್ನು RFC 9309 ಪ್ರಕಾರ ಪರಿಶೀಲಿಸಿದೆವು.
10,000 ಡೊಮೇನ್ಗಳಲ್ಲಿ 6,192 robots.txt ನೀಡಿದವು (ಯಶಸ್ವಿ ಉತ್ತರ, ಮತ್ತು ಅದು HTML ಪುಟವಲ್ಲ). 1,121 ಡೊಮೇನ್ಗಳು 4xx ನೊಂದಿಗೆ ಉತ್ತರಿಸಿದವು; ಅಂದರೆ ನಿಯಮಗಳಿಲ್ಲ ಮತ್ತು ಎಲ್ಲಾ ಕ್ರಾಲರ್ಗಳಿಗೆ ಅವಕಾಶ. 2,687 ಡೊಮೇನ್ಗಳು ನೀಡಲಿಲ್ಲ (HTTPS ಸೈಟ್ ಇಲ್ಲ, ದೋಷಗಳು, ಟೈಮ್ಔಟ್ಗಳು ಅಥವಾ ಬದಲಿಗೆ HTML ಪುಟ). ಕೆಳಗಿನ ಪ್ರತಿ ಶೇಕಡಾವಾರು 6,192 ರದ್ದು. ಪಟ್ಟಿಯಲ್ಲಿ ವೆಬ್ಸೈಟ್ ನೀಡದ CDN ಮತ್ತು API ಗಳೂ ಸೇರಿವೆ.
ನಾವು ಏನನ್ನು ಕಂಡುಕೊಂಡೆವು?
- 23.2% (1,437 ಡೊಮೇನ್ಗಳು) ಕನಿಷ್ಠ ಒಂದು AI ತರಬೇತಿ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುತ್ತವೆ.
- 12.3% (762) ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುತ್ತವೆ; ಅಂದರೆ ಅದನ್ನು ಅವಲಂಬಿಸಿದ ಉತ್ತರಗಳು ಆ ಪುಟಗಳನ್ನು ಬಳಸಬಾರದು ಅಥವಾ ಉಲ್ಲೇಖಿಸಬಾರದು.
- ತರಬೇತಿ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುವ ಡೊಮೇನ್ಗಳಲ್ಲಿ 51.6% (1,437 ರಲ್ಲಿ 742) ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನೂ ತಡೆಯುತ್ತವೆ.
- ಕೇವಲ 11.2% (695) ಆಯ್ದ ದಾರಿ ಹಿಡಿಯುತ್ತವೆ: ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆದು ಎಲ್ಲಾ AI ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳಿಗೆ ಅವಕಾಶ ನೀಡುತ್ತವೆ.
- 6.5% (401) ತಮ್ಮ AI ಆದ್ಯತೆಗಳನ್ನು
Content-Signalಮೂಲಕ ತಿಳಿಸುತ್ತವೆ. - ಎಲ್ಲಾ 10,000 ಡೊಮೇನ್ಗಳಲ್ಲಿ 12.4% (1,240)
llms.txtಪ್ರಕಟಿಸುತ್ತವೆ. - ಹೋಲಿಕೆಗಾಗಿ: 2.0% (124) ಮುಖಪುಟದಲ್ಲಿ
Googlebotಅನ್ನು ತಡೆಯುತ್ತವೆ.
ಯಾವ ಕ್ರಾಲರ್ಗಳು ಹೆಚ್ಚಾಗಿ ತಡೆಯಲ್ಪಡುತ್ತವೆ?
ಕ್ರಾಲರ್ಗೆ ಮುಖಪುಟವನ್ನು robots.txt ನಿರಾಕರಿಸುವ 6,192 ಡೊಮೇನ್ಗಳ ಪಾಲು:
- ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳು:
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%. - ಇನ್ನೂ:
Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%. PerplexityBot10.4% ಅತಿ ಹೆಚ್ಚು ತಡೆಯಲ್ಪಡುವ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್; ಅದರ ನಂತರOAI-SearchBot7.0% ಮತ್ತುClaude-SearchBot7.0%.- ವ್ಯಕ್ತಿಯೊಬ್ಬರು ಕೇಳಿದಾಗ ಪುಟ ತೆರೆಯುವ ಕ್ರಾಲರ್ಗಳು:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%.
ದೊಡ್ಡ ಸೈಟ್ಗಳು ಹೆಚ್ಚು ತಡೆಯುತ್ತವೆಯೇ?
ಹೌದು, ಮತ್ತು ಅವು ತರಬೇತಿ ಹಾಗೂ ಹುಡುಕಾಟವನ್ನು ಹೆಚ್ಚಾಗಿ ಒಂದರೊಂದಿಗೊಂದು ಬೆರೆಸುತ್ತವೆ. ಪಟ್ಟಿಯನ್ನು ರ್ಯಾಂಕ್ ಪ್ರಕಾರ ವಿಭಜಿಸಿದ್ದೇವೆ:
- ರ್ಯಾಂಕ್ 1 ರಿಂದ 1,000 (robots.txt ಇರುವ 560 ಡೊಮೇನ್ಗಳು): 28.6% ತರಬೇತಿಯನ್ನು ತಡೆಯುತ್ತವೆ, 18.6% AI ಹುಡುಕಾಟವನ್ನು ತಡೆಯುತ್ತವೆ, ಮತ್ತು ತರಬೇತಿ ತಡೆಯುವವರಲ್ಲಿ 63.1% AI ಹುಡುಕಾಟವನ್ನೂ ತಡೆಯುತ್ತವೆ.
- ರ್ಯಾಂಕ್ 1,001 ರಿಂದ 3,000 (1,256 ಡೊಮೇನ್ಗಳು): 23.5%, 13.5% ಮತ್ತು 55.6%.
- ರ್ಯಾಂಕ್ 3,001 ರಿಂದ 10,000 (4,376 ಡೊಮೇನ್ಗಳು): 22.4%, 11.2% ಮತ್ತು 48.6%.
ಆಯ್ದ ದಾರಿ ಎಲ್ಲಾ ಗಾತ್ರಗಳಲ್ಲೂ ಅಪರೂಪ: ಮೂರು ಗುಂಪುಗಳ ಡೊಮೇನ್ಗಳಲ್ಲಿ ಕ್ರಮವಾಗಿ 10.5%, 10.4% ಮತ್ತು 11.5%.
ನಮ್ಮ ನವೆಂಬರ್ 12ರ ವರದಿಯ ನಂತರ ಏನಾದರೂ ಬದಲಾಗಿದೆಯೇ?
ಅದೇ ಪಟ್ಟಿಯೊಂದಿಗೆ ಮೊದಲ 1,000 ಡೊಮೇನ್ಗಳನ್ನು ಮತ್ತೆ ಓಡಿಸಿದೆವು. ಫಲಿತಾಂಶ ಸುಮಾರು ಒಂದು ಪಾಯಿಂಟ್ನ ಒಳಗೆ ಸ್ಥಿರವಾಗಿದೆ: 28.6% ತರಬೇತಿಯನ್ನು ತಡೆಯುತ್ತವೆ (ನವೆಂಬರ್ 12 ರಂದು 29.9%), 18.6% AI ಹುಡುಕಾಟವನ್ನು ತಡೆಯುತ್ತವೆ (19.5%), ಮತ್ತು ತರಬೇತಿ ತಡೆಯುವವರಲ್ಲಿ 63.1% AI ಹುಡುಕಾಟವನ್ನೂ ತಡೆಯುತ್ತವೆ (63.2%). ಛೇದಗಳು ಸ್ವಲ್ಪ ಬೇರೆ (ಈಗ robots.txt ಇರುವ 560 ಡೊಮೇನ್ಗಳು, ಆಗ 518), ಏಕೆಂದರೆ ಈ ಬಾರಿ ಪಡೆಯುವ ಮೊದಲು ಡೊಮೇನ್ನ ರಿಡೈರೆಕ್ಟ್ ಅನುಸರಿಸಿ ಅದರ ಮುಖ್ಯ ಹೋಸ್ಟ್ಗೆ ಹೋಗುತ್ತೇವೆ.
ನಿಮ್ಮ robots.txt ಗೆ ಇದರ ಅರ್ಥವೇನು?
ಹೆಚ್ಚಿನ AI ಕಂಪನಿಗಳು ತರಬೇತಿಗೆ ಮತ್ತು ಹುಡುಕಾಟಕ್ಕೆ ಬೇರೆ ಬೇರೆ ಕ್ರಾಲರ್ಗಳನ್ನು ದಾಖಲಿಸಿವೆ ಮತ್ತು ಸೆಟ್ಟಿಂಗ್ಗಳು ಸ್ವತಂತ್ರ ಎಂದು ಹೇಳುತ್ತವೆ. GPTBot ಅನ್ನು ನಿರಾಕರಿಸಿದರೆ OAI-SearchBot ಮೇಲೆ ಪರಿಣಾಮವಿಲ್ಲ, ಮತ್ತು ClaudeBot ಅನ್ನು ನಿರಾಕರಿಸಿದರೆ Claude-SearchBot ಮೇಲೆ ಪರಿಣಾಮವಿಲ್ಲ. ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿದು ಇನ್ನೂ ಉಲ್ಲೇಖಿಸಲ್ಪಡಬೇಕಾದರೆ, ತರಬೇತಿ ಟೋಕನ್ಗಳನ್ನು ತಡೆದು ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಟೋಕನ್ಗಳಿಗೆ ಅವಕಾಶ ನೀಡಿ, ಮತ್ತು ಖಾಸಗಿ ಪಥಗಳನ್ನು ಪ್ರತಿ ಗುಂಪಿನಲ್ಲೂ ಪುನರಾವರ್ತಿಸಿ, ಏಕೆಂದರೆ ಹೆಸರಿಸಿದ ಗುಂಪು * ನಿಂದ ಏನನ್ನೂ ಪಡೆಯುವುದಿಲ್ಲ.
ಈ ಸಂಖ್ಯೆಗಳು ಎಷ್ಟು ವಿಶ್ವಾಸಾರ್ಹ?
ಇವು ಒಂದು ದಿನ ಒಂದು ಪಾರ್ಸರ್ ಓದಿದ, ಮುಖಪುಟಕ್ಕೆ ಸಂಬಂಧಿಸಿದ robots.txt ನಿಯಮಗಳು. robots.txt ಅನುಮತಿಸಿದರೂ ಕ್ರಾಲರ್ ಅನ್ನು ನಿರಾಕರಿಸಬಲ್ಲ ಫೈರ್ವಾಲ್ ತಡೆಗಳನ್ನು ಇವು ಅಳೆಯುವುದಿಲ್ಲ. ಪ್ರತಿ ಸೈಟ್ನ ಉದ್ದೇಶ ಏನಿತ್ತು ಎಂದು ಇವು ಹೇಳಲಾರವು, ಮತ್ತು Tranco ಪಟ್ಟಿಯಲ್ಲಿ ವೆಬ್ಸೈಟ್ ನೀಡದ ಡೊಮೇನ್ಗಳೂ ಇವೆ. ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುವ ನಿಯಮ ತಪ್ಪಿನ ಸಾಕ್ಷ್ಯವಲ್ಲ; ಅದು ಹೆಚ್ಚಾಗಿ ವ್ಯತ್ಯಾಸ ತಿಳಿಯದೆ ಮಾಡುವ ಆಯ್ಕೆಯ ಸಾಕ್ಷ್ಯ ಮಾತ್ರ. ಈ ಪುಟಕ್ಕೆ ಲಿಂಕ್ ಕೊಟ್ಟು ನೀವು ಈ ಅಂಕಿಅಂಶಗಳನ್ನು ಉಲ್ಲೇಖಿಸಬಹುದು.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- llms.txt ಪರಿಶೀಲಕ ಮತ್ತು ವ್ಯಾಲಿಡೇಟರ್
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
ಜನಪ್ರಿಯ ಸೈಟ್ಗಳಲ್ಲಿ ಎಷ್ಟು ಪ್ರತಿಶತ AI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುತ್ತವೆ?
robots.txt ನೀಡುವ Tranco ಟಾಪ್ 10,000 ರ 6,192 ಡೊಮೇನ್ಗಳಲ್ಲಿ, 23.2% ಕನಿಷ್ಠ ಒಂದು AI ತರಬೇತಿ ಕ್ರಾಲರ್ ಅನ್ನು ಮತ್ತು 12.3% ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುತ್ತವೆ.
AI ತರಬೇತಿಯನ್ನು ತಡೆಯುವ ಸೈಟ್ಗಳು AI ಹುಡುಕಾಟವನ್ನೂ ತಡೆಯುತ್ತವೆಯೇ?
ಹೆಚ್ಚಾಗಿ ಹೌದು. ತರಬೇತಿ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುವ ಸೈಟ್ಗಳಲ್ಲಿ 51.6% ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನೂ ತಡೆಯುತ್ತವೆ, ಆದರೂ ಕಂಪನಿಗಳು ಅವನ್ನು ಸ್ವತಂತ್ರ ಸೆಟ್ಟಿಂಗ್ಗಳಿರುವ ಬೇರೆ ಕ್ರಾಲರ್ಗಳೆಂದು ದಾಖಲಿಸಿವೆ.
ಯಾವ AI ಕ್ರಾಲರ್ ಅನ್ನು ಹೆಚ್ಚಾಗಿ ತಡೆಯಲಾಗುತ್ತದೆ?
ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳಲ್ಲಿ Bytespider (18.7%) ಮತ್ತು CCBot (18.5%), ನಂತರ GPTBot (17.4%). AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳಲ್ಲಿ PerplexityBot ಅನ್ನು ಹೆಚ್ಚಾಗಿ ತಡೆಯಲಾಗುತ್ತದೆ, 10.4% ಡೊಮೇನ್ಗಳಲ್ಲಿ.
ನಿಮ್ಮ 1,000 ಸೈಟ್ಗಳ ವರದಿಗಿಂತ ಸಂಖ್ಯೆಗಳು ಏಕೆ ಬೇರೆ?
ಮೊದಲ 1,000 ಡೊಮೇನ್ಗಳು ಬಹುತೇಕ ಅದೇ ಶೇಕಡಾವಾರು ನೀಡುತ್ತವೆ (29.9% ಮತ್ತು 19.5% ಕ್ಕೆ ಬದಲಾಗಿ 28.6% ಮತ್ತು 18.6%). 10,000 ಸೈಟ್ಗಳ ಅಂಕಿಅಂಶಗಳು ಕಡಿಮೆ, ಏಕೆಂದರೆ ಚಿಕ್ಕ ಸೈಟ್ಗಳು ಕಡಿಮೆ ತಡೆಯುತ್ತವೆ.
ಮೂಲಗಳು
- AISeeWhy: AI Crawler Access Report, 2026-11
- Tranco: a research-oriented top sites ranking
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers