Cloudflare ನ AI Crawl Control ವರದಿ ಓದಿ ಯಾವ AI ಕ್ರಾಲರ್ಗಳು ಒಳಬರುತ್ತವೆ ಎಂದು ನೋಡುವುದು ಹೇಗೆ
ನಿಮ್ಮ Cloudflare ಡ್ಯಾಶ್ಬೋರ್ಡ್ನಲ್ಲಿ AI Crawl Control ತೆರೆಯಿರಿ: ಕ್ರಾಲರ್ ಪಟ್ಟಿ ನಿಮ್ಮ ಡೊಮೇನ್ನಲ್ಲಿ Cloudflare ಕಂಡ ಪ್ರತಿ AI ಕ್ರಾಲರ್, ಅದರ ವಿನಂತಿಗಳು, ಅದರ robots.txt ಉಲ್ಲಂಘನೆಗಳು ಮತ್ತು ಅದರ ಕ್ರಮ Allow ಅಥವಾ Block ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ತರಬೇತಿ ನಿರಾಕರಿಸಿ AI ಹುಡುಕಾಟ ಉಳಿಸಲು, ಅಲ್ಲಿ ಅಥವಾ AI Crawler and Agent access policies ಅಡಿಯಲ್ಲಿ ಹುಡುಕಾಟ ಮತ್ತು ಏಜೆಂಟ್ ಕ್ರಾಲರ್ಗಳನ್ನು ಅನುಮತಿಸಿ, ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯಿರಿ ಅಥವಾ ನಿಷೇಧಿಸಿ. ನಂತರ ಹೊರಗಿನಿಂದ curl ನಿಂದ ಖಚಿತಪಡಿಸಿ, ಏಕೆಂದರೆ Cloudflare ನ ಇತರ ವೈಶಿಷ್ಟ್ಯಗಳು ನೀವು ಅನುಮತಿಸಿದ ಕ್ರಾಲರ್ ಅನ್ನು ಇನ್ನೂ ತಡೆಯಬಹುದು.
AI ಕ್ರಾಲರ್ಗಳಿಗೆ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ನಿರ್ಧರಿಸುವ ಎರಡು ಸ್ಥಳಗಳು ಈಗ Cloudflare ನಲ್ಲಿವೆ: ಹಿಂದೆ AI Audit ಎಂದು ಕರೆಯಲ್ಪಡುತ್ತಿದ್ದ ಕ್ರಾಲರ್ವಾರು ವರದಿ ಮತ್ತು ನಿಯಂತ್ರಣ ಫಲಕ AI Crawl Control, ಮತ್ತು Security ಸೆಟ್ಟಿಂಗ್ಗಳ ಅಡಿಯಲ್ಲಿ ಇಡೀ zone ಗೆ ಅನ್ವಯಿಸುವ AI Crawler and Agent access policies. ಎರಡೂ Free ಪ್ಲಾನ್ನಲ್ಲಿ ಲಭ್ಯ, ಎರಡೂ 2026 ರಲ್ಲಿ ಬದಲಾದವು, ಮತ್ತು ಕ್ರಾಲರ್ಗೆ ಇನ್ನೂ 403 ನೀಡಬಲ್ಲ ಇತರ ಎಲ್ಲ ವೈಶಿಷ್ಟ್ಯಗಳ ಬಗ್ಗೆ ಯಾವುದೂ ಹೇಳುವುದಿಲ್ಲ. ಈ ಮಾರ್ಗದರ್ಶಿ ವರದಿಯನ್ನು ಕಾಲಮ್ ಕಾಲಮ್ ಆಗಿ ವಿವರಿಸುತ್ತದೆ, allow ಮತ್ತು block ಎಲ್ಲಿ ಹೊಂದಿಸುವುದು ಎಂದು ತೋರಿಸುತ್ತದೆ, ಮತ್ತು ನಿಮ್ಮ ಸ್ವಂತ ಯಂತ್ರದಿಂದ ಚಲಾಯಿಸಬಹುದಾದ ಪರೀಕ್ಷೆಯೊಂದಿಗೆ ಮುಗಿಯುತ್ತದೆ.
ಈ ಪುಟದಲ್ಲಿ
- Cloudflare ನಲ್ಲಿ AI ಕ್ರಾಲರ್ ವರದಿ ಎಲ್ಲಿದೆ?
- AI Crawl Control ವರದಿಯ ಪ್ರತಿ ಕಾಲಮ್ ಮತ್ತು ಮೆಟ್ರಿಕ್ನ ಅರ್ಥ ಏನು?
- Cloudflare ನಲ್ಲಿ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಅನುಮತಿಸಿ ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು ಹೇಗೆ ತಡೆಯುವುದು?
- Cloudflare ನ AI ಕ್ರಾಲರ್ ಡೀಫಾಲ್ಟ್ಗಳಲ್ಲಿ ಏನು ಬದಲಾಯಿತು?
- ನಾನು ಅನುಮತಿಸಿದ ನಂತರವೂ Cloudflare AI ಕ್ರಾಲರ್ಗಳನ್ನು ಏಕೆ ತಡೆಯುತ್ತಿದೆ?
- Cloudflare ಯಾವ AI ಕ್ರಾಲರ್ಗಳನ್ನು ಒಳಬಿಡುತ್ತದೆ ಎಂದು ಹೊರಗಿನಿಂದ ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು?
- Cloudflare AI ಕ್ರಾಲರ್ಗಳಿಗೆ ಏನು ಕಳುಹಿಸುತ್ತದೆ ಎಂದು AISeeWhy ಹೇಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ?
Cloudflare ನಲ್ಲಿ AI ಕ್ರಾಲರ್ ವರದಿ ಎಲ್ಲಿದೆ?
ಡ್ಯಾಶ್ಬೋರ್ಡ್ನಲ್ಲಿ ನಿಮ್ಮ ಖಾತೆ ಮತ್ತು ಡೊಮೇನ್ ಆಯ್ಕೆಮಾಡಿ, ನಂತರ AI Crawl Control ತೆರೆಯಿರಿ. ನಿಮ್ಮ ಡೊಮೇನ್ನ ಟ್ರಾಫಿಕ್ Cloudflare ಮೂಲಕ proxy ಆಗುತ್ತಿದ್ದರೆ, ಅದು ಯಾವುದೇ ಕಾನ್ಫಿಗರೇಶನ್ ಇಲ್ಲದೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಮತ್ತು ಎಲ್ಲ ಪ್ಲಾನ್ಗಳಲ್ಲಿ ಲಭ್ಯ ಎಂದು Cloudflare ಹೇಳುತ್ತದೆ. ಅದರಲ್ಲಿ ನಾಲ್ಕು ಭಾಗಗಳಿವೆ:
- Overview: ಒಟ್ಟು ವಿನಂತಿಗಳು, ಪ್ರಮಾಣದ ಬದಲಾವಣೆ, ಅತಿ ಸಾಮಾನ್ಯ ಸ್ಥಿತಿ ಕೋಡ್, ಅತಿ ಜನಪ್ರಿಯ ಪಾತ್ ಮತ್ತು ಹೆಚ್ಚು ವಿನಂತಿ ಕಳುಹಿಸುವ ಕ್ರಾಲರ್ಗಳಿರುವ ಸಾರಾಂಶ, ಜೊತೆಗೆ Cloudflare ನ managed robots.txt ಆನ್ ಆಗಿದೆಯೇ ಎಂಬುದು, ಮತ್ತು OpenAI, Microsoft, Google, ByteDance, Anthropic ಮತ್ತು Meta ನಂತಹ ನಿರ್ವಾಹಕರ ಪ್ರಕಾರ ಗುಂಪು ಮಾಡಿದ ಕ್ರಾಲರ್ಗಳು.
- ಕ್ರಾಲರ್ ಪಟ್ಟಿ: ಪ್ರತಿ AI ಕ್ರಾಲರ್ಗೆ ಒಂದು ಸಾಲು, Allow ಅಥವಾ Block ಆಯ್ಕೆಮಾಡುವ Action ಕಾಲಮ್ ಸಹಿತ. Cloudflare ನ ದಾಖಲೆ ಈ ಟ್ಯಾಬ್ ಅನ್ನು ಒಂದು ಪುಟದಲ್ಲಿ Crawlers ಎಂದೂ ಇನ್ನೊಂದರಲ್ಲಿ Security ಎಂದೂ ಕರೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ Action ಕಾಲಮ್ ಇರುವ ಕೋಷ್ಟಕವನ್ನು ಹುಡುಕಿ.
- Metrics: ಕಾಲಾನಂತರದ ವಿನಂತಿಗಳು, ಸ್ಥಿತಿ ಕೋಡ್ ಹಂಚಿಕೆ, ವಿಷಯದ ಸ್ವರೂಪ, ಅತಿ ಜನಪ್ರಿಯ ಪಾತ್ಗಳು ಮತ್ತು ಪಾವತಿಸಿದ ಪ್ಲಾನ್ಗಳಲ್ಲಿ ರೆಫರಲ್ಗಳು. ಫಿಲ್ಟರ್ಗಳು ದಿನಾಂಕ ವ್ಯಾಪ್ತಿ, ಕ್ರಾಲರ್, ನಿರ್ವಾಹಕ, ಹೋಸ್ಟ್ನೇಮ್ ಮತ್ತು ಪಾತ್ ಒಳಗೊಳ್ಳುತ್ತವೆ, ಮತ್ತು CSV ರಫ್ತು ಮಾಡಬಹುದು.
- Directives: ನಿಮ್ಮ robots.txt ಫೈಲ್ನ ಸ್ಥಿತಿ ಮತ್ತು robots.txt ಉಲ್ಲಂಘನೆಗಳ ಪಟ್ಟಿ.
ಸಂಖ್ಯೆಗಳನ್ನು ಓದುವಾಗ ಪ್ಲಾನ್ನ ಎರಡು ಮಿತಿಗಳು ಮುಖ್ಯ. Free ಪ್ಲಾನ್ನಲ್ಲಿ AI Crawl Control ಕ್ರಾಲರ್ಗಳನ್ನು user agent ಸ್ಟ್ರಿಂಗ್ನಿಂದ ಮಾತ್ರ ಗುರುತಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ತಮ್ಮನ್ನು ಘೋಷಿಸಿಕೊಳ್ಳುವ ಕ್ರಾಲರ್ಗಳನ್ನು ಮಾತ್ರ ನೋಡುತ್ತದೆ, ಮತ್ತು Metrics ಟ್ಯಾಬ್ ಕಳೆದ 24 ಗಂಟೆಗಳನ್ನು ಒಳಗೊಳ್ಳುತ್ತದೆ. ಪಾವತಿಸಿದ ಪ್ಲಾನ್ಗಳು Bot Management detection ID ಮೂಲಕ ಪತ್ತೆಯನ್ನು ಸೇರಿಸುತ್ತವೆ, ಮತ್ತು Bot Management ಇರುವ Enterprise ಗೆ ಹೊಂದಿಸಬಹುದಾದ ಕಾಲಾವಧಿಗಳು ಸಿಗುತ್ತವೆ.
AI Crawl Control ವರದಿಯ ಪ್ರತಿ ಕಾಲಮ್ ಮತ್ತು ಮೆಟ್ರಿಕ್ನ ಅರ್ಥ ಏನು?
Cloudflare ಕ್ಷೇತ್ರಗಳನ್ನು ಹೀಗೆ ದಾಖಲಿಸುತ್ತದೆ. ವ್ಯಾಖ್ಯಾನಗಳು ಮುಖ್ಯ, ಏಕೆಂದರೆ ಹಲವು ಸಂಖ್ಯೆಗಳು ನೀವು ನಿರೀಕ್ಷಿಸುವುದಕ್ಕಿಂತ ಹೆಚ್ಚನ್ನು ಎಣಿಸುತ್ತವೆ.
- Crawler ಮತ್ತು Category: ಕ್ರಾಲರ್ನ ಹೆಸರು, ಅದರ ನಿರ್ವಾಹಕ, ಮತ್ತು AI ಕ್ರಾಲರ್, AI ಸಹಾಯಕ ಅಥವಾ ಆರ್ಕೈವರ್ನಂತಹ ಅದರ ವರ್ಗ.
- Requests: ಅನುಮತಿಸಿದ ಮತ್ತು ವಿಫಲ ವಿನಂತಿಗಳ ಒಟ್ಟು, ಪ್ರವೃತ್ತಿ ಚಾರ್ಟ್ ಸಹಿತ. ವಿಫಲ ವಿನಂತಿಗಳು AI Crawl Control ತಡೆಯಿಂದ ಮಾತ್ರವಲ್ಲ, ಯಾವುದೇ ನಿಯಮ ಅಥವಾ ಪ್ರತಿಕ್ರಿಯೆ ದೋಷದಿಂದ ಬರಬಹುದು, ಆದ್ದರಿಂದ ನೀವು ಅನುಮತಿಸಿದ ಕ್ರಾಲರ್ಗೆ ಹೆಚ್ಚಿನ ಸಂಖ್ಯೆ ಇನ್ನೊಂದು ನಿಯಮವನ್ನು ಅಥವಾ ನಿಮ್ಮ origin ನ ದೋಷಗಳನ್ನು ಸೂಚಿಸುತ್ತದೆ.
- Allowed requests: 200 ರಿಂದ 299 ರ ನಡುವಿನ ಸ್ಥಿತಿ ಪಡೆದ ವಿನಂತಿಗಳು. ಅನುಮತಿಸಿದ ವಿನಂತಿಗಳಿಗೆ Cloudflare ಕಳುಹಿಸಿದ ಬೈಟ್ಗಳಿಂದ ಡೇಟಾ ವರ್ಗಾವಣೆಯನ್ನು ಅಳೆಯಲಾಗುತ್ತದೆ.
- Robots.txt violations: ನಿಮ್ಮ robots.txt ನಿಷೇಧಿಸಿದ ಪಾತ್ ಅನ್ನು ಕ್ರಾಲರ್ ಎಷ್ಟು ಬಾರಿ ವಿನಂತಿಸಿತು. Cloudflare ಹಿಂದಿನ ವಿನಂತಿಗಳನ್ನು ನಿಮ್ಮ ಪ್ರಸ್ತುತ ನಿಯಮಗಳೊಂದಿಗೆ ಹೋಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಇಂದು ಸೇರಿಸಿದ ನಿಯಮ ಮಾಡಿದ ಸಮಯದಲ್ಲಿ ಅನುಮತಿಸಲ್ಪಟ್ಟಿದ್ದ ವಿನಂತಿಗಳನ್ನು ಗುರುತಿಸಬಹುದು.
- Action: Allow, Block, ಅಥವಾ pay per crawl ಬೀಟಾದಲ್ಲಿರುವ ಖಾತೆಗಳಿಗೆ Charge.
- ಸ್ಥಿತಿ ಕೋಡ್ ಹಂಚಿಕೆ: 2xx, 3xx, 4xx ಮತ್ತು 5xx. 4xx ಗುಂಪಿನಲ್ಲಿ ತಡೆಗಳಿಂದ ಬರುವ 403 ಮತ್ತು pay per crawl ನಿಂದ ಬರುವ 402 ಸೇರಿವೆ.
- ರೆಫರಲ್ಗಳು ಮತ್ತು ಪ್ರಮುಖ referrer ಗಳು, ಪಾವತಿಸಿದ ಪ್ಲಾನ್ಗಳಲ್ಲಿ ಮಾತ್ರ: AI ಸೇವೆಗಳಿಂದ, ಉದಾಹರಣೆಗೆ chatgpt.com ನಿಂದ, ಬಂದ ಭೇಟಿಗಳು ಮತ್ತು ಅವು ತಲುಪಿದ ಪುಟಗಳು.
ನೀವು ಆರಿಸಿದ ಕ್ರಮದ ದೃಷ್ಟಿಯಿಂದ ವರದಿ ಓದಿ. Allow ಗೆ ಹೊಂದಿಸಿದ ಕ್ರಾಲರ್ ಹೆಚ್ಚಾಗಿ ಅನುಮತಿಸಿದ ವಿನಂತಿಗಳು ಮತ್ತು 2xx ಕೋಡ್ಗಳನ್ನು ತೋರಿಸಬೇಕು. ಅದು ಹೆಚ್ಚು ವಿಫಲ ವಿನಂತಿಗಳನ್ನು ತೋರಿಸಿದರೆ, ಆ ಕ್ರಾಲರ್ಗೆ ಫಿಲ್ಟರ್ ಮಾಡಿದ ಸ್ಥಿತಿ ಕೋಡ್ ಹಂಚಿಕೆ ತೆರೆಯಿರಿ, ಮತ್ತು ಉತ್ತರಿಸಿದ ನಿಯಮ ಹುಡುಕಲು Security Analytics ಪರಿಶೀಲಿಸಿ.
Cloudflare ನಲ್ಲಿ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಅನುಮತಿಸಿ ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು ಹೇಗೆ ತಡೆಯುವುದು?
ಇದನ್ನು ಕ್ರಾಲರ್ವಾರು ಅಥವಾ ವರ್ತನೆಯ ಪ್ರಕಾರ ಮಾಡಬಹುದು. ಕ್ರಾಲರ್ವಾರು ಮಾಡಲು, AI Crawl Control ತೆರೆದು ಪ್ರತಿ ಸಾಲಿಗೆ Action ಹೊಂದಿಸಿ. ಅಲ್ಲಿ ತಡೆದರೆ ನಿಮ್ಮ zone ನಲ್ಲಿ WAF custom rule ರಚನೆಯಾಗುತ್ತದೆ ಅಥವಾ ನವೀಕರಣವಾಗುತ್ತದೆ ಎಂದು Cloudflare ಹೇಳುತ್ತದೆ, ಅದನ್ನು ಪಾತ್ ವಿನಾಯಿತಿಗಳಿಗಾಗಿ WAF ನಲ್ಲಿ ವಿಸ್ತರಿಸಬಹುದು. ಪಾವತಿಸಿದ ಪ್ಲಾನ್ಗಳಲ್ಲಿ ತಡೆಯಲಾದ ಕ್ರಾಲರ್ಗಳಿಗೆ 403 ಅಥವಾ 402 ಸಿಗಬೇಕೇ ಎಂದು ಆರಿಸಿ ಸರಳ ಪಠ್ಯದ ದೇಹ ಹೊಂದಿಸಬಹುದು.
ವರ್ತನೆಯ ಪ್ರಕಾರ ಮಾಡಲು, Security, ನಂತರ Settings ಗೆ ಹೋಗಿ, Bot traffic ನಿಂದ ಫಿಲ್ಟರ್ ಮಾಡಿ AI Crawler and Agent access policies ತೆರೆಯಿರಿ. Cloudflare AI ಟ್ರಾಫಿಕ್ ಅನ್ನು ಮೂರು ವರ್ತನೆಗಳಾಗಿ ವಿಂಗಡಿಸುತ್ತದೆ, ಮತ್ತು ಪ್ರತಿ ನೀತಿ ಆ ವರ್ತನೆಯ ಪರಿಶೀಲಿತ ಬಾಟ್ಗಳಿಗೆ ಹಾಗೂ ಹೊಂದುವ ಪರಿಶೀಲಿತವಲ್ಲದ ಬಾಟ್ಗಳಿಗೆ ಅನ್ವಯಿಸುತ್ತದೆ:
- Search: ನಂತರ ಪ್ರಶ್ನೆಗಳಿಗೆ ಉತ್ತರಿಸಲು ವಿಷಯ ಸಂಗ್ರಹಿಸುವುದು ಅಥವಾ ಇಂಡೆಕ್ಸ್ ಮಾಡುವುದು.
- Agent: ಚಾಟ್ ಫೆಚ್ಗಳು ಮತ್ತು ಬ್ರೌಸರ್ ಏಜೆಂಟ್ಗಳಂತೆ, ವ್ಯಕ್ತಿಯ ಪರವಾಗಿ ತಕ್ಷಣ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದು.
- Training: ಮಾದರಿಗಳಿಗೆ ತರಬೇತಿ ಅಥವಾ fine-tune ಮಾಡಲು ವಿಷಯ ಸಂಗ್ರಹಿಸುವುದು, ತರಬೇತಿ ಮತ್ತು ಹುಡುಕಾಟ ಎರಡಕ್ಕೂ ಬಳಸುವ ಕ್ರಾಲರ್ಗಳು ಸೇರಿದಂತೆ.
ಪ್ರತಿ ವರ್ತನೆಯನ್ನು Block, Block on pages with ads, ಅಥವಾ Allow (do not block) ಗೆ ಹೊಂದಿಸಬಹುದು. Training ಗೆ Disallow ಕೂಡ ಇದೆ, ಅದು robots.txt ಮೂಲಕ ಕ್ರಾಲರ್ಗಳನ್ನು ಕೇವಲ ಕೇಳಿಕೊಳ್ಳುತ್ತದೆ. Bot Preference Sync ಆನ್ ಆಗಿದ್ದರೆ, Cloudflare ನಿಮ್ಮ robots.txt ನ ಆರಂಭಕ್ಕೆ Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ಮತ್ತು meta-externalagent ಅನ್ನು ನಿಷೇಧಿಸುವ managed ನಿಯಮಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ, Content Signals ಸಾಲನ್ನು ಸೇರಿಸುತ್ತದೆ, ಮತ್ತು ಹುಡುಕಾಟ ಹಾಗೂ ತರಬೇತಿ ಎರಡಕ್ಕೂ ಬಳಸುವ ಕ್ರಾಲರ್ಗಳನ್ನು ಹೊರತುಪಡಿಸಿ AI ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು edge ನಲ್ಲೂ ತಡೆಯುತ್ತದೆ.
AI ಉಲ್ಲೇಖಗಳನ್ನು ಬಯಸುವ ಹೆಚ್ಚಿನ ಸೈಟ್ಗಳಿಗೆ ಸುರಕ್ಷಿತ ಸಂಯೋಜನೆ: Search ಮತ್ತು Agent ಅನ್ನು Allow ಗೆ, Training ಅನ್ನು Disallow ಗೆ, ನಂತರ edge ನಲ್ಲೇ ನಿಲ್ಲಿಸಬೇಕಾದ ತರಬೇತಿ-ಮಾತ್ರದ ಕ್ರಾಲರ್ಗಳಿಗೆ AI Crawl Control ನಲ್ಲಿ ಪ್ರತ್ಯೇಕ Block ಕ್ರಮಗಳು.
Cloudflare ನ AI ಕ್ರಾಲರ್ ಡೀಫಾಲ್ಟ್ಗಳಲ್ಲಿ ಏನು ಬದಲಾಯಿತು?
1 ಜುಲೈ 2025 ರಂದು, ಸೃಷ್ಟಿಕರ್ತರಿಗೆ ಪಾವತಿಸದ ಹೊರತು AI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುವಂತೆ ಡೀಫಾಲ್ಟ್ ಬದಲಿಸುವುದಾಗಿ Cloudflare ಘೋಷಿಸಿತು. 1 ಜುಲೈ 2026 ರಂದು ಅದು ಒಂದೇ Block AI bots ಸ್ವಿಚ್ ಅನ್ನು ಮೇಲೆ ವಿವರಿಸಿದ ಪ್ರತ್ಯೇಕ Search, Agent ಮತ್ತು Training ನೀತಿಗಳಿಂದ ಬದಲಿಸಿತು, Free ಸೇರಿದಂತೆ ಎಲ್ಲ ಪ್ಲಾನ್ಗಳಿಗೆ. 15 ಸೆಪ್ಟೆಂಬರ್ 2026 ರಿಂದ ಸೇರುವ ಹೊಸ ಡೊಮೇನ್ಗಳಲ್ಲಿ ಜಾಹೀರಾತು ತೋರಿಸುವ ಪುಟಗಳಲ್ಲಿ Training ಮತ್ತು Agent ತಡೆಯಲ್ಪಡುತ್ತವೆ, Search ಅನುಮತಿಸಲ್ಪಡುತ್ತದೆ ಎಂದು ಅದೇ ಘೋಷಣೆ ಹೇಳಿತ್ತು.
2 ನವೆಂಬರ್ 2026 ರಂದು ಕೊನೆಯ ಬಾರಿ ನವೀಕರಿಸಿದ Cloudflare ನ ಪ್ರಸ್ತುತ ನೀತಿ ದಾಖಲೆ, ಹೊಸ ಡೊಮೇನ್ಗಳಿಗೆ ಮೂರೂ ವರ್ತನೆಗಳಿಗೆ ಡೀಫಾಲ್ಟ್ Allow (do not block) ಎಂದು ಹೇಳುತ್ತದೆ. Cloudflare ನ ಸ್ವಂತ ಪುಟಗಳೇ ಬೇರೆ ಬೇರೆ ಸಮಯದಲ್ಲಿ ಬೇರೆ ಡೀಫಾಲ್ಟ್ಗಳನ್ನು ವಿವರಿಸಿರುವುದರಿಂದ, ನಿಮ್ಮ zone ಗೆ ಯಾವುದನ್ನೂ ನಂಬಬೇಡಿ: ನೀತಿ ಪುಟ ತೆರೆದು ಏನು ಹೊಂದಿಸಲಾಗಿದೆ ಎಂದು ಓದಿ.
ನಾನು ಅನುಮತಿಸಿದ ನಂತರವೂ Cloudflare AI ಕ್ರಾಲರ್ಗಳನ್ನು ಏಕೆ ತಡೆಯುತ್ತಿದೆ?
AI Crawl Control ನ Allow ಕ್ರಮ AI Crawl Control ತಡೆಯುವುದನ್ನು ಮಾತ್ರ ನಿಲ್ಲಿಸುತ್ತದೆ. ಇತರ ವೈಶಿಷ್ಟ್ಯಗಳು ವಿನಂತಿಯ ಮೇಲೆ ಇನ್ನೂ ಕೆಲಸ ಮಾಡುತ್ತವೆ. ಸಾಮಾನ್ಯ ಕಾರಣಗಳು:
- Training ತಡೆದರೆ ಎರಡನ್ನೂ ಮಾಡುವ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳೂ ತಡೆಯಲ್ಪಡುತ್ತವೆ. Training ಕ್ರಮಗಳು ಮಿಶ್ರ ಉದ್ದೇಶದ ಕ್ರಾಲರ್ಗಳಿಗೆ ಅನ್ವಯಿಸುತ್ತವೆ ಎಂದು Cloudflare ನ ದಾಖಲೆ ಹೇಳುತ್ತದೆ, ಮತ್ತು Training ತಡೆಯುವ ಗ್ರಾಹಕರು 15 ಸೆಪ್ಟೆಂಬರ್ 2026 ರಿಂದ ತಡೆಯುವ ಕ್ರಾಲರ್ಗಳಾಗಿ Googlebot, Applebot ಮತ್ತು bingbot ಅನ್ನು ಅದರ ಜುಲೈ 2026 ರ ಘೋಷಣೆ ಹೆಸರಿಸುತ್ತದೆ. Disallow ಕಿರಿದಾದ ಆಯ್ಕೆ, ಏಕೆಂದರೆ ಅದರ edge ತಡೆ ಮಿಶ್ರ ಉದ್ದೇಶದ ಕ್ರಾಲರ್ಗಳನ್ನು ಬಿಟ್ಟುಬಿಡುತ್ತದೆ.
- Bot Fight Mode ಆನ್ ಆಗಿದೆ. WAF custom rules ಅಥವಾ Page Rules ಬಳಸಿ Bot Fight Mode ಅನ್ನು ಬೈಪಾಸ್ ಅಥವಾ skip ಮಾಡಲಾಗದು ಎಂದು Cloudflare ಹೇಳುತ್ತದೆ. ಅದು ಕ್ರಾಲರ್ಗೆ ಚಾಲೆಂಜ್ ನೀಡಿದರೆ, ಅದನ್ನು ಆಫ್ ಮಾಡಿ, ಅಥವಾ ಲಭ್ಯವಿರುವ ಪ್ಲಾನ್ನಲ್ಲಿ skip ನಿಯಮಗಳನ್ನು ಬೆಂಬಲಿಸುವ Super Bot Fight Mode ಬಳಸಿ.
- ಹಳೆಯ WAF custom rule
botಹೊಂದಿರುವ user agent ಗಳನ್ನು ತಡೆಯುತ್ತದೆ, ಅಥವಾ rate limiting ನಿಯಮ ಒಮ್ಮೆಲೇ ಬರುವ ವಿನಂತಿಗಳಿಗೆ 429 ನೀಡುತ್ತದೆ. ಇವು AI Crawl Control ನ Action ಯಾವುದೇ ಇರಲಿ ಚಲಿಸುತ್ತವೆ. - ತಡೆ ನಿಯಮವನ್ನು ಕೈಯಾರೆ ಸಂಪಾದಿಸಲಾಗಿದೆ. AI Crawl Control ಹಿಂದಿನ WAF ನಿಯಮವನ್ನು ಬೇರೆ ಪ್ರತಿಕ್ರಿಯೆ ಕೋಡ್ಗೆ ಬದಲಿಸಿದ್ದರೆ, ಡ್ಯಾಶ್ಬೋರ್ಡ್ ನಿಮ್ಮ ಆಯ್ಕೆಯನ್ನು ಜಾರಿಗೊಳಿಸಲಾಗದು.
- robots.txt ಇನ್ನೂ ಕ್ರಾಲರ್ ಅನ್ನು ನಿಷೇಧಿಸುತ್ತದೆ. Cloudflare ನ Allow ನಿಮ್ಮ robots.txt ಅನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ನಿಯಮ ಪಾಲಿಸುವ ಕ್ರಾಲರ್ ಹೇಗಿದ್ದರೂ ದೂರ ಉಳಿಯುತ್ತದೆ. ಅತ್ಯಂತ ಜನಪ್ರಿಯ 1,000 ಡೊಮೇನ್ಗಳ ನಮ್ಮ ಅಧ್ಯಯನದಲ್ಲಿ, robots.txt ನಲ್ಲಿ AI ತರಬೇತಿ ಕ್ರಾಲರ್ ತಡೆದ 155 ಸೈಟ್ಗಳಲ್ಲಿ 98 ಕನಿಷ್ಠ ಒಂದು AI ಹುಡುಕಾಟ ಅಥವಾ ಬಳಕೆದಾರ ಕ್ರಾಲರ್ ಅನ್ನೂ ತಡೆದಿದ್ದವು.
Cloudflare ಯಾವ AI ಕ್ರಾಲರ್ಗಳನ್ನು ಒಳಬಿಡುತ್ತದೆ ಎಂದು ಹೊರಗಿನಿಂದ ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು?
ಅದೇ ಪುಟವನ್ನು ಬ್ರೌಸರ್ user agent ನಿಂದ ಮತ್ತು ಪ್ರತಿ ಕ್ರಾಲರ್ನ user agent ನಿಂದ ವಿನಂತಿಸಿ, ನಂತರ ಸ್ಥಿತಿ ಮತ್ತು ಗಾತ್ರ ಹೋಲಿಸಿ. ಕೆಳಗಿನ OpenAI, Perplexity ಮತ್ತು Google ಸ್ಟ್ರಿಂಗ್ಗಳು ಆ ಕಂಪನಿಗಳು ಪ್ರಕಟಿಸಿದವು.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403, 429 ಅಥವಾ 503 ಇರುವ, ಅಥವಾ ಬ್ರೌಸರ್ ಸಾಲಿಗಿಂತ ತುಂಬಾ ಚಿಕ್ಕ ಗಾತ್ರದ ಕ್ರಾಲರ್ ಸಾಲು, ನಿಮ್ಮ origin ಮುಂದಿರುವ ಏನೋ ಬೇರೆ ರೀತಿ ಉತ್ತರಿಸಿತು ಎಂದು ಅರ್ಥ. Free ಪ್ಲಾನ್ನಲ್ಲಿ AI Crawl Control ಕ್ರಾಲರ್ಗಳನ್ನು user agent ನಿಂದ ಪತ್ತೆ ಮಾಡುತ್ತದೆ, ಆದ್ದರಿಂದ ಈ ಪರೀಕ್ಷೆ ಅದರ ತಡೆಗಳ ಉತ್ತಮ ಪರಿಶೀಲನೆ. ಪರಿಶೀಲಿತ ಬಾಟ್ ಸ್ಥಿತಿ ಅಥವಾ ಬಾಟ್ ಸ್ಕೋರ್ ಆಧರಿಸಿದ ನಿಯಮಗಳು ನಿಮ್ಮ ವಿನಂತಿಯನ್ನು ನಿಜವಾದ ಕ್ರಾಲರ್ಗಿಂತ ಬೇರೆ ರೀತಿ ನಡೆಸಬಹುದು, ಏಕೆಂದರೆ ಅದು ನಿರ್ವಾಹಕರ ಪ್ರಕಟಿತ ಶ್ರೇಣಿಗಳಿಂದಲ್ಲ, ನಿಮ್ಮ IP ವಿಳಾಸದಿಂದ ಬರುತ್ತದೆ. ಪರೀಕ್ಷೆಯ ನಂತರ ಯಾವ ನಿಯಮ ಹೊಂದಿತು ಎಂದು ನೋಡಲು Security Analytics ನಲ್ಲಿ ನಿಮ್ಮ ವಿನಂತಿಗಳನ್ನು ಹುಡುಕಿ.
Cloudflare AI ಕ್ರಾಲರ್ಗಳಿಗೆ ಏನು ಕಳುಹಿಸುತ್ತದೆ ಎಂದು AISeeWhy ಹೇಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ?
ಉಚಿತ AISeeWhy ಪರಿಶೀಲನೆ ನಿಜವಾದ ಬ್ರೌಸರ್ನ ಜೊತೆಗೆ 16 AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳಾಗಿ ನಿಮ್ಮ ಪುಟವನ್ನು ವಿನಂತಿಸುತ್ತದೆ, ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ನಿಮ್ಮ robots.txt ಅನ್ವಯಿಸುತ್ತದೆ ಮತ್ತು ಫೈರ್ವಾಲ್ ಚಾಲೆಂಜ್ ಪುಟಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ, ಇದರಿಂದ Cloudflare ಡ್ಯಾಶ್ಬೋರ್ಡ್ನ ಫಲಿತಾಂಶ ಕ್ರಾಲರ್ಗಳಿಗೆ ನಿಜವಾಗಿ ಸಿಗುವುದಕ್ಕೆ ಹೊಂದುತ್ತದೆಯೇ ಎಂದು ನೋಡಬಹುದು.
ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
Cloudflare AI Crawl Control ಉಚಿತವೇ?
ಹೌದು. AI Crawl Control ಎಲ್ಲ ಪ್ಲಾನ್ಗಳಲ್ಲಿ ಲಭ್ಯ ಎಂದು Cloudflare ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ. Free ಪ್ಲಾನ್ ಕ್ರಾಲರ್ಗಳನ್ನು user agent ನಿಂದ ಮಾತ್ರ ಪತ್ತೆ ಮಾಡುತ್ತದೆ ಮತ್ತು Metrics ನಲ್ಲಿ ಕಳೆದ 24 ಗಂಟೆಗಳನ್ನು ತೋರಿಸುತ್ತದೆ; ರೆಫರಲ್ ಡೇಟಾ ಮತ್ತು ಕಸ್ಟಮ್ ತಡೆ ಪ್ರತಿಕ್ರಿಯೆಗಳಿಗೆ ಪಾವತಿಸಿದ ಪ್ಲಾನ್ ಬೇಕು.
Cloudflare AI Audit ಗೆ ಏನಾಯಿತು?
ಅದರ ಹೆಸರು ಬದಲಾಯಿತು. Cloudflare ನ ದಾಖಲೆ AI Crawl Control ಅನ್ನು ಹಿಂದಿನ AI Audit ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಅದೇ ಉದ್ದೇಶದೊಂದಿಗೆ: ಯಾವ AI ಕ್ರಾಲರ್ಗಳು ಭೇಟಿ ನೀಡುತ್ತವೆ ಎಂದು ನೋಡುವುದು ಮತ್ತು ಪ್ರತಿಯೊಂದಕ್ಕೂ ಕ್ರಮ ಹೊಂದಿಸುವುದು.
AI Crawl Control ನಲ್ಲಿ ಕ್ರಾಲರ್ ತಡೆದರೆ ನನ್ನ robots.txt ಬದಲಾಗುತ್ತದೆಯೇ?
ಇಲ್ಲ. Block ಕ್ರಮ WAF custom rule ಅನ್ನು ರಚಿಸುತ್ತದೆ ಅಥವಾ ನವೀಕರಿಸುತ್ತದೆ. Bot Preference Sync ಜೊತೆ Training ಗೆ Disallow ಆಯ್ಕೆ ಬಳಸಿದರೆ ಮಾತ್ರ robots.txt ಬದಲಾಗುತ್ತದೆ, ಅದು Cloudflare ನ managed ನಿಯಮಗಳನ್ನು ನಿಮ್ಮ ಫೈಲ್ನ ಆರಂಭಕ್ಕೆ ಸೇರಿಸುತ್ತದೆ.
Cloudflare ನಲ್ಲಿ robots.txt ಉಲ್ಲಂಘನೆ ಎಂದರೆ ಏನು?
ನಿಮ್ಮ robots.txt ನಿಷೇಧಿಸಿದ ಪಾತ್ಗೆ AI ಕ್ರಾಲರ್ ಮಾಡಿದ ವಿನಂತಿ. Cloudflare ಹಿಂದಿನ ವಿನಂತಿಗಳನ್ನು ನಿಮ್ಮ ಪ್ರಸ್ತುತ ನಿಯಮಗಳೊಂದಿಗೆ ಹೋಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಹೊಸ ನಿಯಮ ಆ ಸಮಯದಲ್ಲಿ ಅನುಮತಿಸಲ್ಪಟ್ಟಿದ್ದ ಹಳೆಯ ವಿನಂತಿಗಳನ್ನು ಗುರುತಿಸಬಹುದು.
pay per crawl ಎಂದರೇನು?
AI ಕ್ರಾಲರ್ಗಳು ಪ್ರತಿ ವಿನಂತಿಗೆ ಪಾವತಿಸುವಂತೆ ಕೇಳುವ Charge ಕ್ರಮ; ಇಲ್ಲದಿದ್ದರೆ HTTP 402 ಮತ್ತು ಬೆಲೆಯೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ. Cloudflare ಇದನ್ನು ಮುಚ್ಚಿದ ಬೀಟಾ ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಮತ್ತು WAF ಅಥವಾ Bot Management ತಡೆಗಳು ಅದಕ್ಕಿಂತ ಆದ್ಯತೆ ಪಡೆಯುತ್ತವೆ.
ಮೂಲಗಳು
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI ಕ್ರಾಲರ್ ಪ್ರವೇಶ ವರದಿ, 2026-11