Cloudflare ನ AI Crawl Control ವರದಿ ಓದಿ ಯಾವ AI ಕ್ರಾಲರ್‌ಗಳು ಒಳಬರುತ್ತವೆ ಎಂದು ನೋಡುವುದು ಹೇಗೆ

ಪ್ರಕಟಿಸಲಾಗಿದೆ

ಚಿಕ್ಕ ಉತ್ತರ

ನಿಮ್ಮ Cloudflare ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ AI Crawl Control ತೆರೆಯಿರಿ: ಕ್ರಾಲರ್ ಪಟ್ಟಿ ನಿಮ್ಮ ಡೊಮೇನ್‌ನಲ್ಲಿ Cloudflare ಕಂಡ ಪ್ರತಿ AI ಕ್ರಾಲರ್, ಅದರ ವಿನಂತಿಗಳು, ಅದರ robots.txt ಉಲ್ಲಂಘನೆಗಳು ಮತ್ತು ಅದರ ಕ್ರಮ Allow ಅಥವಾ Block ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ. ತರಬೇತಿ ನಿರಾಕರಿಸಿ AI ಹುಡುಕಾಟ ಉಳಿಸಲು, ಅಲ್ಲಿ ಅಥವಾ AI Crawler and Agent access policies ಅಡಿಯಲ್ಲಿ ಹುಡುಕಾಟ ಮತ್ತು ಏಜೆಂಟ್ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಅನುಮತಿಸಿ, ತರಬೇತಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು ತಡೆಯಿರಿ ಅಥವಾ ನಿಷೇಧಿಸಿ. ನಂತರ ಹೊರಗಿನಿಂದ curl ನಿಂದ ಖಚಿತಪಡಿಸಿ, ಏಕೆಂದರೆ Cloudflare ನ ಇತರ ವೈಶಿಷ್ಟ್ಯಗಳು ನೀವು ಅನುಮತಿಸಿದ ಕ್ರಾಲರ್ ಅನ್ನು ಇನ್ನೂ ತಡೆಯಬಹುದು.

AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ನಿರ್ಧರಿಸುವ ಎರಡು ಸ್ಥಳಗಳು ಈಗ Cloudflare ನಲ್ಲಿವೆ: ಹಿಂದೆ AI Audit ಎಂದು ಕರೆಯಲ್ಪಡುತ್ತಿದ್ದ ಕ್ರಾಲರ್‌ವಾರು ವರದಿ ಮತ್ತು ನಿಯಂತ್ರಣ ಫಲಕ AI Crawl Control, ಮತ್ತು Security ಸೆಟ್ಟಿಂಗ್‌ಗಳ ಅಡಿಯಲ್ಲಿ ಇಡೀ zone ಗೆ ಅನ್ವಯಿಸುವ AI Crawler and Agent access policies. ಎರಡೂ Free ಪ್ಲಾನ್‌ನಲ್ಲಿ ಲಭ್ಯ, ಎರಡೂ 2026 ರಲ್ಲಿ ಬದಲಾದವು, ಮತ್ತು ಕ್ರಾಲರ್‌ಗೆ ಇನ್ನೂ 403 ನೀಡಬಲ್ಲ ಇತರ ಎಲ್ಲ ವೈಶಿಷ್ಟ್ಯಗಳ ಬಗ್ಗೆ ಯಾವುದೂ ಹೇಳುವುದಿಲ್ಲ. ಈ ಮಾರ್ಗದರ್ಶಿ ವರದಿಯನ್ನು ಕಾಲಮ್ ಕಾಲಮ್ ಆಗಿ ವಿವರಿಸುತ್ತದೆ, allow ಮತ್ತು block ಎಲ್ಲಿ ಹೊಂದಿಸುವುದು ಎಂದು ತೋರಿಸುತ್ತದೆ, ಮತ್ತು ನಿಮ್ಮ ಸ್ವಂತ ಯಂತ್ರದಿಂದ ಚಲಾಯಿಸಬಹುದಾದ ಪರೀಕ್ಷೆಯೊಂದಿಗೆ ಮುಗಿಯುತ್ತದೆ.

ಈ ಪುಟದಲ್ಲಿ
  1. Cloudflare ನಲ್ಲಿ AI ಕ್ರಾಲರ್ ವರದಿ ಎಲ್ಲಿದೆ?
  2. AI Crawl Control ವರದಿಯ ಪ್ರತಿ ಕಾಲಮ್ ಮತ್ತು ಮೆಟ್ರಿಕ್‌ನ ಅರ್ಥ ಏನು?
  3. Cloudflare ನಲ್ಲಿ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಅನುಮತಿಸಿ ತರಬೇತಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಹೇಗೆ ತಡೆಯುವುದು?
  4. Cloudflare ನ AI ಕ್ರಾಲರ್ ಡೀಫಾಲ್ಟ್‌ಗಳಲ್ಲಿ ಏನು ಬದಲಾಯಿತು?
  5. ನಾನು ಅನುಮತಿಸಿದ ನಂತರವೂ Cloudflare AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಏಕೆ ತಡೆಯುತ್ತಿದೆ?
  6. Cloudflare ಯಾವ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಒಳಬಿಡುತ್ತದೆ ಎಂದು ಹೊರಗಿನಿಂದ ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು?
  7. Cloudflare AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಏನು ಕಳುಹಿಸುತ್ತದೆ ಎಂದು AISeeWhy ಹೇಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ?

Cloudflare ನಲ್ಲಿ AI ಕ್ರಾಲರ್ ವರದಿ ಎಲ್ಲಿದೆ?

ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ ನಿಮ್ಮ ಖಾತೆ ಮತ್ತು ಡೊಮೇನ್ ಆಯ್ಕೆಮಾಡಿ, ನಂತರ AI Crawl Control ತೆರೆಯಿರಿ. ನಿಮ್ಮ ಡೊಮೇನ್‌ನ ಟ್ರಾಫಿಕ್ Cloudflare ಮೂಲಕ proxy ಆಗುತ್ತಿದ್ದರೆ, ಅದು ಯಾವುದೇ ಕಾನ್ಫಿಗರೇಶನ್ ಇಲ್ಲದೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಮತ್ತು ಎಲ್ಲ ಪ್ಲಾನ್‌ಗಳಲ್ಲಿ ಲಭ್ಯ ಎಂದು Cloudflare ಹೇಳುತ್ತದೆ. ಅದರಲ್ಲಿ ನಾಲ್ಕು ಭಾಗಗಳಿವೆ:

ಸಂಖ್ಯೆಗಳನ್ನು ಓದುವಾಗ ಪ್ಲಾನ್‌ನ ಎರಡು ಮಿತಿಗಳು ಮುಖ್ಯ. Free ಪ್ಲಾನ್‌ನಲ್ಲಿ AI Crawl Control ಕ್ರಾಲರ್‌ಗಳನ್ನು user agent ಸ್ಟ್ರಿಂಗ್‌ನಿಂದ ಮಾತ್ರ ಗುರುತಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ತಮ್ಮನ್ನು ಘೋಷಿಸಿಕೊಳ್ಳುವ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಮಾತ್ರ ನೋಡುತ್ತದೆ, ಮತ್ತು Metrics ಟ್ಯಾಬ್ ಕಳೆದ 24 ಗಂಟೆಗಳನ್ನು ಒಳಗೊಳ್ಳುತ್ತದೆ. ಪಾವತಿಸಿದ ಪ್ಲಾನ್‌ಗಳು Bot Management detection ID ಮೂಲಕ ಪತ್ತೆಯನ್ನು ಸೇರಿಸುತ್ತವೆ, ಮತ್ತು Bot Management ಇರುವ Enterprise ಗೆ ಹೊಂದಿಸಬಹುದಾದ ಕಾಲಾವಧಿಗಳು ಸಿಗುತ್ತವೆ.

AI Crawl Control ವರದಿಯ ಪ್ರತಿ ಕಾಲಮ್ ಮತ್ತು ಮೆಟ್ರಿಕ್‌ನ ಅರ್ಥ ಏನು?

Cloudflare ಕ್ಷೇತ್ರಗಳನ್ನು ಹೀಗೆ ದಾಖಲಿಸುತ್ತದೆ. ವ್ಯಾಖ್ಯಾನಗಳು ಮುಖ್ಯ, ಏಕೆಂದರೆ ಹಲವು ಸಂಖ್ಯೆಗಳು ನೀವು ನಿರೀಕ್ಷಿಸುವುದಕ್ಕಿಂತ ಹೆಚ್ಚನ್ನು ಎಣಿಸುತ್ತವೆ.

ನೀವು ಆರಿಸಿದ ಕ್ರಮದ ದೃಷ್ಟಿಯಿಂದ ವರದಿ ಓದಿ. Allow ಗೆ ಹೊಂದಿಸಿದ ಕ್ರಾಲರ್ ಹೆಚ್ಚಾಗಿ ಅನುಮತಿಸಿದ ವಿನಂತಿಗಳು ಮತ್ತು 2xx ಕೋಡ್‌ಗಳನ್ನು ತೋರಿಸಬೇಕು. ಅದು ಹೆಚ್ಚು ವಿಫಲ ವಿನಂತಿಗಳನ್ನು ತೋರಿಸಿದರೆ, ಆ ಕ್ರಾಲರ್‌ಗೆ ಫಿಲ್ಟರ್ ಮಾಡಿದ ಸ್ಥಿತಿ ಕೋಡ್ ಹಂಚಿಕೆ ತೆರೆಯಿರಿ, ಮತ್ತು ಉತ್ತರಿಸಿದ ನಿಯಮ ಹುಡುಕಲು Security Analytics ಪರಿಶೀಲಿಸಿ.

Cloudflare ನಲ್ಲಿ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಅನುಮತಿಸಿ ತರಬೇತಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಹೇಗೆ ತಡೆಯುವುದು?

ಇದನ್ನು ಕ್ರಾಲರ್‌ವಾರು ಅಥವಾ ವರ್ತನೆಯ ಪ್ರಕಾರ ಮಾಡಬಹುದು. ಕ್ರಾಲರ್‌ವಾರು ಮಾಡಲು, AI Crawl Control ತೆರೆದು ಪ್ರತಿ ಸಾಲಿಗೆ Action ಹೊಂದಿಸಿ. ಅಲ್ಲಿ ತಡೆದರೆ ನಿಮ್ಮ zone ನಲ್ಲಿ WAF custom rule ರಚನೆಯಾಗುತ್ತದೆ ಅಥವಾ ನವೀಕರಣವಾಗುತ್ತದೆ ಎಂದು Cloudflare ಹೇಳುತ್ತದೆ, ಅದನ್ನು ಪಾತ್ ವಿನಾಯಿತಿಗಳಿಗಾಗಿ WAF ನಲ್ಲಿ ವಿಸ್ತರಿಸಬಹುದು. ಪಾವತಿಸಿದ ಪ್ಲಾನ್‌ಗಳಲ್ಲಿ ತಡೆಯಲಾದ ಕ್ರಾಲರ್‌ಗಳಿಗೆ 403 ಅಥವಾ 402 ಸಿಗಬೇಕೇ ಎಂದು ಆರಿಸಿ ಸರಳ ಪಠ್ಯದ ದೇಹ ಹೊಂದಿಸಬಹುದು.

ವರ್ತನೆಯ ಪ್ರಕಾರ ಮಾಡಲು, Security, ನಂತರ Settings ಗೆ ಹೋಗಿ, Bot traffic ನಿಂದ ಫಿಲ್ಟರ್ ಮಾಡಿ AI Crawler and Agent access policies ತೆರೆಯಿರಿ. Cloudflare AI ಟ್ರಾಫಿಕ್ ಅನ್ನು ಮೂರು ವರ್ತನೆಗಳಾಗಿ ವಿಂಗಡಿಸುತ್ತದೆ, ಮತ್ತು ಪ್ರತಿ ನೀತಿ ಆ ವರ್ತನೆಯ ಪರಿಶೀಲಿತ ಬಾಟ್‌ಗಳಿಗೆ ಹಾಗೂ ಹೊಂದುವ ಪರಿಶೀಲಿತವಲ್ಲದ ಬಾಟ್‌ಗಳಿಗೆ ಅನ್ವಯಿಸುತ್ತದೆ:

ಪ್ರತಿ ವರ್ತನೆಯನ್ನು Block, Block on pages with ads, ಅಥವಾ Allow (do not block) ಗೆ ಹೊಂದಿಸಬಹುದು. Training ಗೆ Disallow ಕೂಡ ಇದೆ, ಅದು robots.txt ಮೂಲಕ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಕೇವಲ ಕೇಳಿಕೊಳ್ಳುತ್ತದೆ. Bot Preference Sync ಆನ್ ಆಗಿದ್ದರೆ, Cloudflare ನಿಮ್ಮ robots.txt ನ ಆರಂಭಕ್ಕೆ Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ಮತ್ತು meta-externalagent ಅನ್ನು ನಿಷೇಧಿಸುವ managed ನಿಯಮಗಳನ್ನು ಸೇರಿಸುತ್ತದೆ, Content Signals ಸಾಲನ್ನು ಸೇರಿಸುತ್ತದೆ, ಮತ್ತು ಹುಡುಕಾಟ ಹಾಗೂ ತರಬೇತಿ ಎರಡಕ್ಕೂ ಬಳಸುವ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಹೊರತುಪಡಿಸಿ AI ತರಬೇತಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು edge ನಲ್ಲೂ ತಡೆಯುತ್ತದೆ.

AI ಉಲ್ಲೇಖಗಳನ್ನು ಬಯಸುವ ಹೆಚ್ಚಿನ ಸೈಟ್‌ಗಳಿಗೆ ಸುರಕ್ಷಿತ ಸಂಯೋಜನೆ: Search ಮತ್ತು Agent ಅನ್ನು Allow ಗೆ, Training ಅನ್ನು Disallow ಗೆ, ನಂತರ edge ನಲ್ಲೇ ನಿಲ್ಲಿಸಬೇಕಾದ ತರಬೇತಿ-ಮಾತ್ರದ ಕ್ರಾಲರ್‌ಗಳಿಗೆ AI Crawl Control ನಲ್ಲಿ ಪ್ರತ್ಯೇಕ Block ಕ್ರಮಗಳು.

Cloudflare ನ AI ಕ್ರಾಲರ್ ಡೀಫಾಲ್ಟ್‌ಗಳಲ್ಲಿ ಏನು ಬದಲಾಯಿತು?

1 ಜುಲೈ 2025 ರಂದು, ಸೃಷ್ಟಿಕರ್ತರಿಗೆ ಪಾವತಿಸದ ಹೊರತು AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ತಡೆಯುವಂತೆ ಡೀಫಾಲ್ಟ್ ಬದಲಿಸುವುದಾಗಿ Cloudflare ಘೋಷಿಸಿತು. 1 ಜುಲೈ 2026 ರಂದು ಅದು ಒಂದೇ Block AI bots ಸ್ವಿಚ್ ಅನ್ನು ಮೇಲೆ ವಿವರಿಸಿದ ಪ್ರತ್ಯೇಕ Search, Agent ಮತ್ತು Training ನೀತಿಗಳಿಂದ ಬದಲಿಸಿತು, Free ಸೇರಿದಂತೆ ಎಲ್ಲ ಪ್ಲಾನ್‌ಗಳಿಗೆ. 15 ಸೆಪ್ಟೆಂಬರ್ 2026 ರಿಂದ ಸೇರುವ ಹೊಸ ಡೊಮೇನ್‌ಗಳಲ್ಲಿ ಜಾಹೀರಾತು ತೋರಿಸುವ ಪುಟಗಳಲ್ಲಿ Training ಮತ್ತು Agent ತಡೆಯಲ್ಪಡುತ್ತವೆ, Search ಅನುಮತಿಸಲ್ಪಡುತ್ತದೆ ಎಂದು ಅದೇ ಘೋಷಣೆ ಹೇಳಿತ್ತು.

2 ನವೆಂಬರ್ 2026 ರಂದು ಕೊನೆಯ ಬಾರಿ ನವೀಕರಿಸಿದ Cloudflare ನ ಪ್ರಸ್ತುತ ನೀತಿ ದಾಖಲೆ, ಹೊಸ ಡೊಮೇನ್‌ಗಳಿಗೆ ಮೂರೂ ವರ್ತನೆಗಳಿಗೆ ಡೀಫಾಲ್ಟ್ Allow (do not block) ಎಂದು ಹೇಳುತ್ತದೆ. Cloudflare ನ ಸ್ವಂತ ಪುಟಗಳೇ ಬೇರೆ ಬೇರೆ ಸಮಯದಲ್ಲಿ ಬೇರೆ ಡೀಫಾಲ್ಟ್‌ಗಳನ್ನು ವಿವರಿಸಿರುವುದರಿಂದ, ನಿಮ್ಮ zone ಗೆ ಯಾವುದನ್ನೂ ನಂಬಬೇಡಿ: ನೀತಿ ಪುಟ ತೆರೆದು ಏನು ಹೊಂದಿಸಲಾಗಿದೆ ಎಂದು ಓದಿ.

ನಾನು ಅನುಮತಿಸಿದ ನಂತರವೂ Cloudflare AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಏಕೆ ತಡೆಯುತ್ತಿದೆ?

AI Crawl Control ನ Allow ಕ್ರಮ AI Crawl Control ತಡೆಯುವುದನ್ನು ಮಾತ್ರ ನಿಲ್ಲಿಸುತ್ತದೆ. ಇತರ ವೈಶಿಷ್ಟ್ಯಗಳು ವಿನಂತಿಯ ಮೇಲೆ ಇನ್ನೂ ಕೆಲಸ ಮಾಡುತ್ತವೆ. ಸಾಮಾನ್ಯ ಕಾರಣಗಳು:

Cloudflare ಯಾವ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಒಳಬಿಡುತ್ತದೆ ಎಂದು ಹೊರಗಿನಿಂದ ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು?

ಅದೇ ಪುಟವನ್ನು ಬ್ರೌಸರ್ user agent ನಿಂದ ಮತ್ತು ಪ್ರತಿ ಕ್ರಾಲರ್‌ನ user agent ನಿಂದ ವಿನಂತಿಸಿ, ನಂತರ ಸ್ಥಿತಿ ಮತ್ತು ಗಾತ್ರ ಹೋಲಿಸಿ. ಕೆಳಗಿನ OpenAI, Perplexity ಮತ್ತು Google ಸ್ಟ್ರಿಂಗ್‌ಗಳು ಆ ಕಂಪನಿಗಳು ಪ್ರಕಟಿಸಿದವು.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403, 429 ಅಥವಾ 503 ಇರುವ, ಅಥವಾ ಬ್ರೌಸರ್ ಸಾಲಿಗಿಂತ ತುಂಬಾ ಚಿಕ್ಕ ಗಾತ್ರದ ಕ್ರಾಲರ್ ಸಾಲು, ನಿಮ್ಮ origin ಮುಂದಿರುವ ಏನೋ ಬೇರೆ ರೀತಿ ಉತ್ತರಿಸಿತು ಎಂದು ಅರ್ಥ. Free ಪ್ಲಾನ್‌ನಲ್ಲಿ AI Crawl Control ಕ್ರಾಲರ್‌ಗಳನ್ನು user agent ನಿಂದ ಪತ್ತೆ ಮಾಡುತ್ತದೆ, ಆದ್ದರಿಂದ ಈ ಪರೀಕ್ಷೆ ಅದರ ತಡೆಗಳ ಉತ್ತಮ ಪರಿಶೀಲನೆ. ಪರಿಶೀಲಿತ ಬಾಟ್ ಸ್ಥಿತಿ ಅಥವಾ ಬಾಟ್ ಸ್ಕೋರ್ ಆಧರಿಸಿದ ನಿಯಮಗಳು ನಿಮ್ಮ ವಿನಂತಿಯನ್ನು ನಿಜವಾದ ಕ್ರಾಲರ್‌ಗಿಂತ ಬೇರೆ ರೀತಿ ನಡೆಸಬಹುದು, ಏಕೆಂದರೆ ಅದು ನಿರ್ವಾಹಕರ ಪ್ರಕಟಿತ ಶ್ರೇಣಿಗಳಿಂದಲ್ಲ, ನಿಮ್ಮ IP ವಿಳಾಸದಿಂದ ಬರುತ್ತದೆ. ಪರೀಕ್ಷೆಯ ನಂತರ ಯಾವ ನಿಯಮ ಹೊಂದಿತು ಎಂದು ನೋಡಲು Security Analytics ನಲ್ಲಿ ನಿಮ್ಮ ವಿನಂತಿಗಳನ್ನು ಹುಡುಕಿ.

Cloudflare AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಏನು ಕಳುಹಿಸುತ್ತದೆ ಎಂದು AISeeWhy ಹೇಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ?

ಉಚಿತ AISeeWhy ಪರಿಶೀಲನೆ ನಿಜವಾದ ಬ್ರೌಸರ್‌ನ ಜೊತೆಗೆ 16 AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳಾಗಿ ನಿಮ್ಮ ಪುಟವನ್ನು ವಿನಂತಿಸುತ್ತದೆ, ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ನಿಮ್ಮ robots.txt ಅನ್ವಯಿಸುತ್ತದೆ ಮತ್ತು ಫೈರ್‌ವಾಲ್ ಚಾಲೆಂಜ್ ಪುಟಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ, ಇದರಿಂದ Cloudflare ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನ ಫಲಿತಾಂಶ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ನಿಜವಾಗಿ ಸಿಗುವುದಕ್ಕೆ ಹೊಂದುತ್ತದೆಯೇ ಎಂದು ನೋಡಬಹುದು.

ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

Cloudflare AI Crawl Control ಉಚಿತವೇ?

ಹೌದು. AI Crawl Control ಎಲ್ಲ ಪ್ಲಾನ್‌ಗಳಲ್ಲಿ ಲಭ್ಯ ಎಂದು Cloudflare ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ. Free ಪ್ಲಾನ್ ಕ್ರಾಲರ್‌ಗಳನ್ನು user agent ನಿಂದ ಮಾತ್ರ ಪತ್ತೆ ಮಾಡುತ್ತದೆ ಮತ್ತು Metrics ನಲ್ಲಿ ಕಳೆದ 24 ಗಂಟೆಗಳನ್ನು ತೋರಿಸುತ್ತದೆ; ರೆಫರಲ್ ಡೇಟಾ ಮತ್ತು ಕಸ್ಟಮ್ ತಡೆ ಪ್ರತಿಕ್ರಿಯೆಗಳಿಗೆ ಪಾವತಿಸಿದ ಪ್ಲಾನ್ ಬೇಕು.

Cloudflare AI Audit ಗೆ ಏನಾಯಿತು?

ಅದರ ಹೆಸರು ಬದಲಾಯಿತು. Cloudflare ನ ದಾಖಲೆ AI Crawl Control ಅನ್ನು ಹಿಂದಿನ AI Audit ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಅದೇ ಉದ್ದೇಶದೊಂದಿಗೆ: ಯಾವ AI ಕ್ರಾಲರ್‌ಗಳು ಭೇಟಿ ನೀಡುತ್ತವೆ ಎಂದು ನೋಡುವುದು ಮತ್ತು ಪ್ರತಿಯೊಂದಕ್ಕೂ ಕ್ರಮ ಹೊಂದಿಸುವುದು.

AI Crawl Control ನಲ್ಲಿ ಕ್ರಾಲರ್ ತಡೆದರೆ ನನ್ನ robots.txt ಬದಲಾಗುತ್ತದೆಯೇ?

ಇಲ್ಲ. Block ಕ್ರಮ WAF custom rule ಅನ್ನು ರಚಿಸುತ್ತದೆ ಅಥವಾ ನವೀಕರಿಸುತ್ತದೆ. Bot Preference Sync ಜೊತೆ Training ಗೆ Disallow ಆಯ್ಕೆ ಬಳಸಿದರೆ ಮಾತ್ರ robots.txt ಬದಲಾಗುತ್ತದೆ, ಅದು Cloudflare ನ managed ನಿಯಮಗಳನ್ನು ನಿಮ್ಮ ಫೈಲ್‌ನ ಆರಂಭಕ್ಕೆ ಸೇರಿಸುತ್ತದೆ.

Cloudflare ನಲ್ಲಿ robots.txt ಉಲ್ಲಂಘನೆ ಎಂದರೆ ಏನು?

ನಿಮ್ಮ robots.txt ನಿಷೇಧಿಸಿದ ಪಾತ್‌ಗೆ AI ಕ್ರಾಲರ್ ಮಾಡಿದ ವಿನಂತಿ. Cloudflare ಹಿಂದಿನ ವಿನಂತಿಗಳನ್ನು ನಿಮ್ಮ ಪ್ರಸ್ತುತ ನಿಯಮಗಳೊಂದಿಗೆ ಹೋಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಹೊಸ ನಿಯಮ ಆ ಸಮಯದಲ್ಲಿ ಅನುಮತಿಸಲ್ಪಟ್ಟಿದ್ದ ಹಳೆಯ ವಿನಂತಿಗಳನ್ನು ಗುರುತಿಸಬಹುದು.

pay per crawl ಎಂದರೇನು?

AI ಕ್ರಾಲರ್‌ಗಳು ಪ್ರತಿ ವಿನಂತಿಗೆ ಪಾವತಿಸುವಂತೆ ಕೇಳುವ Charge ಕ್ರಮ; ಇಲ್ಲದಿದ್ದರೆ HTTP 402 ಮತ್ತು ಬೆಲೆಯೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ. Cloudflare ಇದನ್ನು ಮುಚ್ಚಿದ ಬೀಟಾ ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಮತ್ತು WAF ಅಥವಾ Bot Management ತಡೆಗಳು ಅದಕ್ಕಿಂತ ಆದ್ಯತೆ ಪಡೆಯುತ್ತವೆ.

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು