CCBot

Common Crawl · AI ತರಬೇತಿ

CCBot ಎಂಬುದು ವೆಬ್ ಕ್ರಾಲ್ ಡೇಟಾದ ಉಚಿತ, ಮುಕ್ತ ಭಂಡಾರವನ್ನು ನಿರ್ವಹಿಸುವ ಲಾಭರಹಿತ ಸಂಸ್ಥೆ Common Crawl ನ ಕ್ರಾಲರ್. ಈ ಆರ್ಕೈವ್ ಅನ್ನು ಸಂಶೋಧಕರು ಮತ್ತು AI ಡೆವಲಪರ್‌ಗಳು ವ್ಯಾಪಕವಾಗಿ ಬಳಸುತ್ತಾರೆ, ಆದ್ದರಿಂದ CCBot ಅನ್ನು ತಡೆಯುವುದು ಮುಖ್ಯವಾಗಿ ತರಬೇತಿಯ ನಿರ್ಧಾರ. ಇದು ಯಾವುದೇ ಹುಡುಕಾಟ ಎಂಜಿನ್ ಅಥವಾ AI ಹುಡುಕಾಟ ಉತ್ಪನ್ನದ ಮೇಲೆ ನೇರವಾಗಿ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ.

ಇದನ್ನು ಹೇಗೆ ಅನುಮತಿಸುವುದು

User-agent: CCBot
Allow: /

ಇದನ್ನು ಹೇಗೆ ತಡೆಯುವುದು

User-agent: CCBot
Disallow: /

ಇದು ಏನು ಮಾಡುತ್ತದೆ

Common Crawl ಎಂಬುದು ಯಾರಿಗಾದರೂ ಉಚಿತವಾಗಿ ಲಭ್ಯವಿರುವ ವೆಬ್ ಕ್ರಾಲ್ ಡೇಟಾದ ಮುಕ್ತ ಭಂಡಾರವನ್ನು ತಯಾರಿಸಿ ನಿರ್ವಹಿಸುವ ಲಾಭರಹಿತ ಸಂಸ್ಥೆ. CCBot ಆ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ಪುಟವನ್ನು ಪಡೆಯುವ ಮೊದಲು ತಾನು robots.txt ಪರಿಶೀಲಿಸುತ್ತೇನೆ, Crawl-delay ಪಾಲಿಸುತ್ತೇನೆ ಮತ್ತು JavaScript ಚಲಾಯಿಸುವುದಿಲ್ಲ ಎಂದು Common Crawl ಹೇಳುತ್ತದೆ.

ಇದನ್ನು ತಡೆಯಲು, Common Crawl CCBot ಟೋಕನ್‌ಗೆ Disallow: / ಇರುವ robots.txt ಗುಂಪನ್ನು ದಾಖಲಿಸುತ್ತದೆ. ಬದಲಿಗೆ ಇದನ್ನು ನಿಧಾನಗೊಳಿಸಲು, ಅದೇ ಗುಂಪಿನಲ್ಲಿ Crawl-delay ಸಾಲನ್ನು ಸೂಚಿಸುತ್ತದೆ.

ನಮ್ಮ 2026-11 ಅಧ್ಯಯನದಲ್ಲಿ, robots.txt ಇರುವ ಜನಪ್ರಿಯ ಸೈಟ್‌ಗಳಲ್ಲಿ 24.1% ಇದನ್ನು ತಡೆದಿದ್ದವು. →

robots.txt ಟೋಕನ್

CCBot

User-agent ಸ್ಟ್ರಿಂಗ್

CCBot/2.0 (https://commoncrawl.org/faq/)

ನಿಜವಾದ ಭೇಟಿಗಳನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು

Common Crawl CCBot ಅನ್ನು reverse DNS ಇರುವ ಮೀಸಲಾದ IP ಶ್ರೇಣಿಗಳಲ್ಲಿ ಚಲಾಯಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಲಾಗ್‌ನಲ್ಲಿನ ವಿನಂತಿ ನಿಜವಾದ CCBot ನಿಂದ ಬಂದಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಬಹುದು. ಅದು IPv4 ಮತ್ತು IPv6 ಶ್ರೇಣಿಗಳನ್ನು JSON ಆಗಿ ಪ್ರಕಟಿಸುತ್ತದೆ ಮತ್ತು ಇತರ ಕ್ರಾಲರ್‌ಗಳು ತಮ್ಮನ್ನು ತಪ್ಪಾಗಿ CCBot ಎಂದು ಗುರುತಿಸಿಕೊಳ್ಳುತ್ತವೆ ಎಂದು ಎಚ್ಚರಿಸುತ್ತದೆ.

ನಿಮ್ಮ ಸೈಟ್ ಇದನ್ನು ಒಳಗೆ ಬಿಡುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ →

AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ robots.txt: ಏನನ್ನು ಅನುಮತಿಸಬೇಕು, ಏನನ್ನು ತಡೆಯಬೇಕು →