Cloudflare AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ತಡೆಯುತ್ತಿದೆಯೇ? ಹೇಗೆ ಕಂಡುಹಿಡಿದು ಸರಿಪಡಿಸುವುದು

Cloudflare ಅಥವಾ ಬೇರೆ ಫೈರ್‌ವಾಲ್ AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ ತಡೆಯ ಉತ್ತರ ನೀಡುತ್ತಿದೆಯೇ ಎಂದು ಸುಮಾರು 30 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ನೋಡಿ, ಮತ್ತು ಸರಿಯಾದವುಗಳನ್ನು ಒಳಗೆ ಬಿಡುವ ನಿಯಮವನ್ನು ಪಡೆಯಿರಿ.

ಉಚಿತ · ಸೈನ್-ಅಪ್ ಬೇಕಿಲ್ಲ · 30 ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಫಲಿತಾಂಶ

403, 429 ಮತ್ತು ಚಾಲೆಂಜ್ ಪುಟಗಳು

ನಿಮ್ಮ ಬ್ರೌಸರ್‌ಗೆ ನಿಜವಾದ ಪುಟ ಸಿಗುವಾಗ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ತಡೆ ಅಥವಾ Just a moment... ಪುಟ ಸಿಗಬಹುದು. ನಿಮ್ಮ ಪುಟವನ್ನು ಎರಡೂ ರೀತಿಯಲ್ಲಿ ವಿನಂತಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ವ್ಯತ್ಯಾಸವನ್ನು ಗುರುತಿಸಲಾಗುತ್ತದೆ.

robots.txt ಮತ್ತು ಫೈರ್‌ವಾಲ್

robots.txt ಕ್ರಾಲರ್ ಅನ್ನು ಅನುಮತಿಸಿದರೂ ಸರ್ವರ್ ಅದನ್ನು ನಿರಾಕರಿಸಿದರೆ, ವರದಿ ಆ ಸಂಘರ್ಷವನ್ನು ತೋರಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಯಾವ ಸೆಟ್ಟಿಂಗ್ ಬದಲಾಯಿಸಬೇಕೆಂದು ನಿಮಗೆ ತಿಳಿಯುತ್ತದೆ.

ಫೈರ್‌ವಾಲ್‌ನ ಹೆಸರು

ಉತ್ತರಿಸಿದ CDN ಅಥವಾ ಫೈರ್‌ವಾಲ್‌ನ ಹೆಸರನ್ನು, Cloudflare ಸೇರಿದಂತೆ, ತಿಳಿಸಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ ಎಲ್ಲಿ ನೋಡಬೇಕೆಂದು ಊಹಿಸಬೇಕಿಲ್ಲ.

ಅನ್ವಯಿಸಬೇಕಾದ ನಿಯಮ

ಪ್ರತಿ ಕಂಡುಹಿಡಿತದ ಜೊತೆಗೆ Cloudflare ನಿಯಮ ಅಥವಾ ಅನುಮತಿ ಪಟ್ಟಿ ಹಂತದಂತಹ ಪರಿಹಾರ ಇರುತ್ತದೆ. ಉಚಿತ ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಸ್ಕೋರ್ ಮತ್ತು ಮೊದಲ ಕಂಡುಹಿಡಿತವನ್ನು ತೋರಿಸುತ್ತದೆ; ಪೂರ್ಣ ವರದಿ $29, ಒಮ್ಮೆ ಮಾತ್ರ.

ಚಿಕ್ಕ ಉತ್ತರ

robots.txt ಕ್ರಾಲರ್ ಅನ್ನು ಅನುಮತಿಸಿದಾಗಲೂ, Cloudflare ಮತ್ತು ಇತರ ಫೈರ್‌ವಾಲ್‌ಗಳು ಬ್ರೌಸರ್‌ಗಳಿಗೆ ನಿಜವಾದ ಪುಟ ನೀಡುತ್ತಾ AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ 403, 429 ಅಥವಾ "Just a moment..." ಚಾಲೆಂಜ್ ಪುಟ ನೀಡಬಹುದು. ಕ್ರಾಲರ್‌ನ user agent ನೊಂದಿಗೆ ಪುಟವನ್ನು ವಿನಂತಿಸಿ ಪರಿಶೀಲಿಸಿ, ನಂತರ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನು AI Crawl Control ನಲ್ಲಿ ಅಥವಾ WAF skip ನಿಯಮದೊಂದಿಗೆ ಅನುಮತಿಸಿ.

3 ಹಂತಗಳಲ್ಲಿ ಕಂಡುಹಿಡಿದು ಸರಿಪಡಿಸಿ

  1. ಪುಟವನ್ನು ಎರಡು ಬಾರಿ ವಿನಂತಿಸಿ

    ಒಮ್ಮೆ ಬ್ರೌಸರ್ user agent ನೊಂದಿಗೆ, ಒಮ್ಮೆ ಕ್ರಾಲರ್‌ನದ್ದರೊಂದಿಗೆ. ಕ್ರಾಲರ್‌ಗೆ ಮಾತ್ರ 403, 429 ಅಥವಾ 503, Just a moment... ಪುಟ, ಅಥವಾ ತುಂಬಾ ಚಿಕ್ಕ 200 ಬಂದರೆ ಅದು ಫೈರ್‌ವಾಲ್ ತಡೆ.

  2. ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಅನುಮತಿಸಿ

    Cloudflare ನಲ್ಲಿ AI Crawl Control ತೆರೆಯಿರಿ, Crawlers ಪಟ್ಟಿಗೆ ಹೋಗಿ, ನಿಮಗೆ ಬೇಕಾದ ಕ್ರಾಲರ್‌ಗಳಿಗೆ, ಉದಾಹರಣೆಗೆ OAI-SearchBot, Action ಕಾಲಮ್‌ನಲ್ಲಿ Allow ಹೊಂದಿಸಿ.

  3. ಅಗತ್ಯವಿದ್ದರೆ ಇತರ ರಕ್ಷಣೆಗಳನ್ನು ಬಿಟ್ಟುಬಿಡಿ

    WAF custom rule, Super Bot Fight Mode ಅಥವಾ rate limiting ಇನ್ನೂ ಅವನ್ನು ತಡೆಯುತ್ತಿದ್ದರೆ, ಪರಿಶೀಲಿತ ಬಾಟ್‌ಗಳಿಗೆ ಆ ಸೌಲಭ್ಯಗಳನ್ನು ಬಿಟ್ಟುಬಿಡುವ ನಿಯಮವನ್ನು ಮೊದಲ ಸ್ಥಾನದಲ್ಲಿ ಸೇರಿಸಿ. user agent ಹೊಂದಾಣಿಕೆಗಿಂತ ಪರಿಶೀಲಿತ ಬಾಟ್ ಫೀಲ್ಡ್ ಅಥವಾ ಮಾರಾಟಗಾರರು ಪ್ರಕಟಿಸಿದ IP ಶ್ರೇಣಿಗಳನ್ನು ಆದ್ಯತೆ ನೀಡಿ.

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

Cloudflare ನಲ್ಲಿ ಯಾವ AI ಕ್ರಾಲರ್‌ಗಳು ತಡೆಯಲ್ಪಟ್ಟಿವೆ ಎಂದು ಎಲ್ಲಿ ನೋಡಬಹುದು?

Cloudflare ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ AI Crawl Control ತೆರೆಯಿರಿ. ಅದರ ಕ್ರಾಲರ್ ಪಟ್ಟಿ ನಿಮ್ಮ ಡೊಮೇನ್‌ನಲ್ಲಿ Cloudflare ಕಂಡ ಪ್ರತಿ AI ಕ್ರಾಲರ್, ಅದು ಎಷ್ಟು ವಿನಂತಿಗಳನ್ನು ಮಾಡಿತು ಮತ್ತು ಅದರ ಕ್ರಮ Allow ಅಥವಾ Block ಎಂಬುದನ್ನು ತೋರಿಸುತ್ತದೆ, ಮತ್ತು ಅಲ್ಲೇ ಕ್ರಮವನ್ನು ಬದಲಿಸಬಹುದು. Bot Fight Mode ನಂತಹ ಇತರ ವೈಶಿಷ್ಟ್ಯಗಳು ನೀವು ಅನುಮತಿಸಿದ ಕ್ರಾಲರ್ ಅನ್ನು ಇನ್ನೂ ತಡೆಯಬಹುದು, ಆದ್ದರಿಂದ ಕ್ರಾಲರ್‌ನ user agent ಬಳಸುವ ವಿನಂತಿಯಿಂದ ಫಲಿತಾಂಶ ಖಚಿತಪಡಿಸಿ.

Cloudflare ಡೀಫಾಲ್ಟ್ ಆಗಿ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ತಡೆಯುತ್ತದೆಯೇ?

ಅದು ನಿಮ್ಮ ಖಾತೆ, ಪ್ಲಾನ್ ಮತ್ತು ನಿಮ್ಮ zone ನ ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಅವಲಂಬಿಸಿದೆ, ಮತ್ತು Cloudflare ಕಾಲಕ್ರಮೇಣ ಈ ಆಯ್ಕೆಗಳನ್ನು ಬದಲಿಸಿದೆ. ಊಹಿಸುವ ಬದಲು AI Crawl Control ಮತ್ತು ನಿಮ್ಮ ಬಾಟ್ ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ, ಮತ್ತು ಕ್ರಾಲರ್‌ನ user agent ನೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಿ.

ನನ್ನ ಸೈಟ್ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ, ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಏಕೆ ಇಲ್ಲ?

ಫೈರ್‌ವಾಲ್‌ಗಳು ಪ್ರತಿ ವಿನಂತಿಯನ್ನು ನಿರ್ಣಯಿಸುತ್ತವೆ. ಬ್ರೌಸರ್ JavaScript ಚಾಲೆಂಜ್‌ಗಳನ್ನು ದಾಟುತ್ತದೆ ಮತ್ತು ಕುಕೀಗಳನ್ನು ಇಟ್ಟುಕೊಳ್ಳುತ್ತದೆ; ಕ್ರಾಲರ್ ಹಾಗೆ ಮಾಡುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಅದಕ್ಕೆ ನೀವು ಎಂದಿಗೂ ನೋಡದ ಚಾಲೆಂಜ್ ಪುಟ ಅಥವಾ 403 ಸಿಗಬಹುದು.

WAF ಮೂಲಕ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಒಳಗೆ ಬಿಡುವುದು ಸುರಕ್ಷಿತವೇ?

ಹೆಸರಿಸಿದ ಕ್ರಾಲರ್ ಅನ್ನು ಕಂಪನಿಯ IP ಶ್ರೇಣಿಗಳು ಅಥವಾ Cloudflare ನ verified bot ಸಂಕೇತದ ಮೂಲಕ ಪರಿಶೀಲಿಸಿದರೆ, ಅದನ್ನು ಅನುಮತಿಸುವುದು ಕಡಿಮೆ ಅಪಾಯದ್ದು. user agent ಅನ್ನು ಮಾತ್ರ ನಂಬುವ ನಿಯಮಗಳು ಅದನ್ನು ನಕಲು ಮಾಡುವ ಯಾರನ್ನಾದರೂ ಒಳಗೆ ಬಿಡುತ್ತವೆ.

Cloudflare ನ ಇಮೇಲ್ ಮರೆಮಾಚುವ ವೈಶಿಷ್ಟ್ಯ AI ಕ್ರಾಲರ್‌ಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆಯೇ?

ಅದು ಇಮೇಲ್ ವಿಳಾಸಗಳನ್ನು ಸ್ಕ್ರಿಪ್ಟ್ ಮಾತ್ರ ಡಿಕೋಡ್ ಮಾಡುವ ಲಿಂಕ್‌ನಿಂದ ಬದಲಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ವಿಳಾಸದ ಬದಲು placeholder ಕಾಣಿಸುತ್ತದೆ. ನಿಮ್ಮ ಸಂಪರ್ಕ ಇಮೇಲ್ ಓದಲು ಸಾಧ್ಯವಾಗಬೇಕಿದ್ದರೆ, Scrape Shield ಅಡಿಯಲ್ಲಿ Email Address Obfuscation ಆಫ್ ಮಾಡಿ ಮತ್ತು ವಿಳಾಸವನ್ನು ಸಾದಾ ಪಠ್ಯವಾಗಿ ತೋರಿಸಿ.

ಪೂರ್ಣ ಮಾರ್ಗದರ್ಶಿಯನ್ನು ಓದಿ

ಬಾಟ್ ರಕ್ಷಣೆ ಸ್ಕ್ರೇಪರ್‌ಗಳು ಮತ್ತು ದುರುಪಯೋಗವನ್ನು ತಡೆಯಲು ಇದೆ, ಮತ್ತು ಅದರಲ್ಲಿ ಅದು ಉತ್ತಮವಾಗಿದೆ. ಸಮಸ್ಯೆ ಎಂದರೆ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳೂ ಬಾಟ್‌ಗಳೇ. ವರ್ಷಗಳ ಹಿಂದೆ ಆನ್ ಮಾಡಿದ ಭದ್ರತಾ ಸೆಟ್ಟಿಂಗ್, ಒಂದು rate limit, ಅಥವಾ ಅಪರಿಚಿತ user agent ಗಳ ವಿರುದ್ಧದ ವಿಶಾಲ ನಿಯಮ, ನಿಮ್ಮನ್ನು ಉಲ್ಲೇಖಿಸುವ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಸದ್ದಿಲ್ಲದೆ ಹೊರಗಿಡಬಹುದು, ಆದರೆ ನಿಮ್ಮ ಸ್ವಂತ ಭೇಟಿಗಳು ಸಂಪೂರ್ಣ ಸಾಮಾನ್ಯವಾಗಿ ಕಾಣುತ್ತವೆ.

ಫೈರ್‌ವಾಲ್ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಏಕೆ ತಡೆಯುತ್ತದೆ?

ಫೈರ್‌ವಾಲ್‌ಗಳು ಪ್ರತಿ ವಿನಂತಿಯನ್ನು ನಿರ್ಣಯಿಸುತ್ತವೆ. ಕ್ರಾಲರ್ JavaScript ಚಾಲೆಂಜ್‌ಗಳನ್ನು ಚಲಾಯಿಸುವುದಿಲ್ಲ, ಬ್ರೌಸರ್‌ನಂತೆ ಕುಕೀಗಳನ್ನು ಇಟ್ಟುಕೊಳ್ಳುವುದಿಲ್ಲ ಮತ್ತು ಹೆಚ್ಚಾಗಿ ಸತತವಾಗಿ ಹಲವು ಪುಟಗಳನ್ನು ವಿನಂತಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಅದು ಬಾಟ್ ರಕ್ಷಣೆ ತಡೆಯಲೆಂದೇ ನಿರ್ಮಿಸಲಾದ ಟ್ರಾಫಿಕ್‌ನಂತೆಯೇ ಕಾಣಬಹುದು. ಸಾಮಾನ್ಯ ಕಾರಣಗಳು:

  • ತಿಳಿದ ಬಾಟ್ ಮಾದರಿಗಳಿಗೆ ಹೊಂದುವ ಟ್ರಾಫಿಕ್‌ಗೆ ಚಾಲೆಂಜ್ ನೀಡುವ ಬಾಟ್ ರಕ್ಷಣಾ ವೈಶಿಷ್ಟ್ಯಗಳು. ಉದಾಹರಣೆಗೆ, Cloudflare ನ Bot Fight Mode ಬಾಟ್‌ಗಳಿಗೆ ಗಣನಾತ್ಮಕವಾಗಿ ದುಬಾರಿ ಚಾಲೆಂಜ್‌ಗಳನ್ನು ನೀಡುತ್ತದೆ.
  • "bot" ಅಥವಾ "crawler" ನಂತಹ ಪದಗಳಿರುವ user agent ಗಳನ್ನು ತಡೆಯುವ ಅಥವಾ ಚಾಲೆಂಜ್ ಮಾಡುವ, ಅಥವಾ ಹುಡುಕಾಟ ಎಂಜಿನ್‌ಗಳ ಸಣ್ಣ ಪಟ್ಟಿಯನ್ನು ಮಾತ್ರ ಅನುಮತಿಸುವ WAF custom rules.
  • AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಒಂದು ವರ್ಗವಾಗಿ ತಡೆಯುವ ಸೆಟ್ಟಿಂಗ್‌ಗಳು. Cloudflare ನಲ್ಲಿ Search, Agent ಮತ್ತು Training ಕ್ರಾಲರ್‌ಗಳಿಗೆ ನೀತಿಗಳನ್ನು ಹೊಂದಿಸಬಹುದು, ಮತ್ತು ಅಲ್ಲಿನ Block ಸೆಟ್ಟಿಂಗ್ ಅವೆಲ್ಲಕ್ಕೂ ಅನ್ವಯಿಸುತ್ತದೆ.
  • ಕ್ರಾಲರ್‌ನ ತ್ವರಿತ ವಿನಂತಿ ಸರಣಿಗೆ 429 ನೀಡುವ rate limiting.
  • ಕ್ರಾಲರ್‌ಗಳು ಚಲಿಸುವ ನೆಟ್‌ವರ್ಕ್‌ಗಳನ್ನು ಆಕಸ್ಮಿಕವಾಗಿ ಒಳಗೊಳ್ಳುವ ದೇಶ ಅಥವಾ ASN ತಡೆಗಳು.

ಫೈರ್‌ವಾಲ್ ತಡೆ ಮತ್ತು robots.txt ತಡೆಯನ್ನು ಹೇಗೆ ಬೇರ್ಪಡಿಸುವುದು?

robots.txt ತಡೆ ಸಭ್ಯ ವಿನಂತಿ: ಕ್ರಾಲರ್ ನಿಮ್ಮ ನಿಯಮಗಳನ್ನು ಓದಿ ಪುಟವನ್ನು ಪಡೆಯುವುದಿಲ್ಲ. ಫೈರ್‌ವಾಲ್ ತಡೆ ಒಂದು ಉತ್ತರ: ಕ್ರಾಲರ್ ಪುಟವನ್ನು ವಿನಂತಿಸುತ್ತದೆ ಮತ್ತು ಬೇರೇನೋ ಸಿಗುತ್ತದೆ. ಎರಡನೆಯ ವಿಧವನ್ನು ನೀವು ನೇರವಾಗಿ ನೋಡಬಹುದು. ಪುಟವನ್ನು ಎರಡು ಬಾರಿ ವಿನಂತಿಸಿ, ಒಮ್ಮೆ ಬ್ರೌಸರ್ user agent ನೊಂದಿಗೆ ಮತ್ತು ಒಮ್ಮೆ ಕ್ರಾಲರ್‌ನದರೊಂದಿಗೆ, ಮತ್ತು ಹೋಲಿಸಿ.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

ಫೈರ್‌ವಾಲ್ ತಡೆಯ ಲಕ್ಷಣಗಳು: ಕ್ರಾಲರ್‌ಗೆ ಮಾತ್ರ 403, 429 ಅಥವಾ 503 ಸ್ಥಿತಿ; Just a moment... ಅಥವಾ Attention Required! | Cloudflare ಶೀರ್ಷಿಕೆಯ ಪುಟ; /cdn-cgi/challenge-platform ಇರುವ body; ಅಥವಾ ಬ್ರೌಸರ್‌ನದಕ್ಕಿಂತ ತುಂಬಾ ಚಿಕ್ಕದಾದ 200 ಪ್ರತಿಕ್ರಿಯೆ. ನಿಮ್ಮ ಪರೀಕ್ಷೆ ಕ್ರಾಲರ್‌ನ ಪರಿಶೀಲಿತ IP ಶ್ರೇಣಿಯಿಂದಲ್ಲ, ನಿಮ್ಮ ಸ್ವಂತ IP ಯಿಂದ ಬರುತ್ತದೆ ಎಂಬುದನ್ನು ನೆನಪಿಡಿ, ಆದ್ದರಿಂದ ಅದು ಫೈರ್‌ವಾಲ್ user agent ಅನ್ನು ಹೇಗೆ ನಡೆಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ, ನಿಜವಾದ ಕ್ರಾಲರ್ ಅನ್ನು ಹೇಗೆ ನಡೆಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂಬ ಪ್ರತಿ ವಿವರವನ್ನಲ್ಲ.

Cloudflare ನಲ್ಲಿ AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಹೇಗೆ ಅನುಮತಿಸುವುದು?

ಎಲ್ಲಾ ಪ್ಲಾನ್‌ಗಳಲ್ಲಿ ಲಭ್ಯವಿರುವ Cloudflare ನ AI Crawl Control ನಿಮ್ಮ ಡೊಮೇನ್‌ಗೆ ಭೇಟಿ ನೀಡುವ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ ಮತ್ತು ಪ್ರತಿಯೊಂದಕ್ಕೂ ಕ್ರಿಯೆ ಹೊಂದಿಸಲು ಬಿಡುತ್ತದೆ. ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ನಲ್ಲಿ AI Crawl Control ತೆರೆಯಿರಿ, Crawlers ಪಟ್ಟಿಗೆ ಹೋಗಿ ಮತ್ತು ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ Action ಕಾಲಮ್‌ನಲ್ಲಿ Allow ಅಥವಾ Block ಆರಿಸಿ. ಅಲ್ಲಿ ತಡೆದರೆ ನಿಮ್ಮ zone ನಲ್ಲಿ WAF custom rule ರಚನೆಯಾಗುತ್ತದೆ ಅಥವಾ ನವೀಕರಣಗೊಳ್ಳುತ್ತದೆ ಎಂದು Cloudflare ಹೇಳುತ್ತದೆ.

ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುತ್ತಿರುವುದು WAF custom rule, Super Bot Fight Mode ಅಥವಾ rate limiting ಆಗಿದ್ದರೆ, verified bots ಗೆ ಮತ್ತು ಕ್ರಾಲರ್‌ನ ಟೋಕನ್‌ಗೆ ಆ ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಬಿಟ್ಟುಬಿಡುವ (skip) custom rule ಸೇರಿಸಿ:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

ನಿಯಮವನ್ನು ಮೊದಲನೆಯದಾಗಿ ಇರಿಸಿ. user agent ಹೊಂದಿಸುವುದು ಆ user agent ಅನ್ನು ನಕಲು ಮಾಡುವ ಯಾರನ್ನಾದರೂ ಒಳಗೆ ಬಿಡುತ್ತದೆ ಎಂಬುದನ್ನು ಗಮನಿಸಿ. ಸಾಧ್ಯವಾದಲ್ಲಿ, verified bot ಕ್ಷೇತ್ರ (cf.client.bot) ಅಥವಾ ಕಂಪನಿ ಪ್ರಕಟಿಸುವ IP ಶ್ರೇಣಿಗಳಿಗೆ ಆದ್ಯತೆ ನೀಡಿ.

Bot Fight Mode ಬಗ್ಗೆ ಏನು?

Bot Fight Mode ಅನ್ನು WAF custom rules ಅಥವಾ Page Rules ಮೂಲಕ ಬೈಪಾಸ್ ಮಾಡಲು ಅಥವಾ ಬಿಟ್ಟುಬಿಡಲು ಸಾಧ್ಯವಿಲ್ಲ ಎಂದು Cloudflare ದಾಖಲೆಗಳು ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳುತ್ತವೆ. ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಚಾಲೆಂಜ್ ನೀಡುತ್ತಿರುವುದು ಅದೇ ವೈಶಿಷ್ಟ್ಯವಾಗಿದ್ದರೆ, skip ನಿಯಮ ಸಹಾಯ ಮಾಡುವುದಿಲ್ಲ. ಆಯ್ಕೆಗಳು: Bot Fight Mode ಆಫ್ ಮಾಡುವುದು, ಅಥವಾ ಅದು ಲಭ್ಯವಿರುವ ಪ್ಲಾನ್‌ನಲ್ಲಿ Ruleset Engine ಮೇಲೆ ಚಲಿಸುವ ಮತ್ತು skip ನಿಯಮಗಳನ್ನು ಬೆಂಬಲಿಸುವ Super Bot Fight Mode ಬಳಸುವುದು.

ಯಾವ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಒಳಗೆ ಬಿಡಬೇಕು?

ಕ್ರಾಲರ್‌ಗಳನ್ನು ಅವು ಮಾಡುವ ಕೆಲಸದ ಪ್ರಕಾರ ಬೇರ್ಪಡಿಸಿ. AI ಉತ್ತರಗಳು ನಿಮ್ಮನ್ನು ಹುಡುಕಿ ಉಲ್ಲೇಖಿಸಬಹುದೇ ಎಂಬುದನ್ನು ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ-ಪಡೆಯುವ ಕ್ರಾಲರ್‌ಗಳು ನಿರ್ಧರಿಸುತ್ತವೆ. ತರಬೇತಿ ಕ್ರಾಲರ್‌ಗಳು ಮಾದರಿಗಳಿಗಾಗಿ ಡೇಟಾ ಸಂಗ್ರಹಿಸುತ್ತವೆ, ಮತ್ತು ಅವುಗಳನ್ನು ತಡೆಯುವುದು ನಿಮ್ಮನ್ನು AI ಹುಡುಕಾಟದಿಂದ ತೆಗೆದುಹಾಕದ ನ್ಯಾಯಸಮ್ಮತ ಆಯ್ಕೆ.

  • ಹುಡುಕಾಟ: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
  • ಬಳಕೆದಾರ ಪಡೆಯುವಿಕೆಗಳು: ChatGPT-User, Claude-User, Perplexity-User.
  • ತರಬೇತಿ: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

Cloudflare ನ ಸ್ವಂತ ನೀತಿ ಸೆಟ್ಟಿಂಗ್‌ಗಳೂ Search, Agent ಮತ್ತು Training ಎಂಬ ಇದೇ ವಿಭಜನೆಯನ್ನು ಬಳಸುತ್ತವೆ, ಆದ್ದರಿಂದ ನೀವು ಮೊದಲ ಎರಡನ್ನು ಅನುಮತಿಸಿ ಮೂರನೆಯದರ ಬಗ್ಗೆ ಪ್ರತ್ಯೇಕವಾಗಿ ನಿರ್ಧರಿಸಬಹುದು. ನೀವು ಬೇರೆ ಫೈರ್‌ವಾಲ್ ಅಥವಾ CDN ಬಳಸುತ್ತಿದ್ದರೆ, ತತ್ವ ಅದೇ: ಕ್ರಾಲರ್‌ನ ಟೋಕನ್ ಅನ್ನು allowlist ಗೆ ಸೇರಿಸಿ, ಲಭ್ಯವಿದ್ದಲ್ಲಿ ಕಂಪನಿಯ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳು ಅಥವಾ reverse DNS ಮೂಲಕ ಪರಿಶೀಲಿಸಿ, ಇದರಿಂದ ಅದಕ್ಕೆ ಬ್ರೌಸರ್‌ಗೆ ಸಿಗುವ ಅದೇ ಪ್ರತಿಕ್ರಿಯೆ ಸಿಗುತ್ತದೆ.

AISeeWhy ಫೈರ್‌ವಾಲ್ ತಡೆಗಳನ್ನು ಹೇಗೆ ಪತ್ತೆಹಚ್ಚುತ್ತದೆ?

AISeeWhy ನಿಮ್ಮ ಪುಟವನ್ನು 14 ಕ್ರಾಲರ್‌ಗಳು ಮತ್ತು ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ ಆಗಿ ವಿನಂತಿಸುತ್ತದೆ, ಸ್ಥಿತಿ, ಗಾತ್ರ ಮತ್ತು redirect ಗಳನ್ನು ಹೋಲಿಸುತ್ತದೆ, ಚಾಲೆಂಜ್ ಪುಟಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ ಮತ್ತು ಉತ್ತರಿಸಿದ ಫೈರ್‌ವಾಲ್ ಅಥವಾ CDN ಅನ್ನು ಹೆಸರಿಸುತ್ತದೆ. robots.txt ಕ್ರಾಲರ್ ಅನ್ನು ಅನುಮತಿಸಿ ಸರ್ವರ್ ಅದನ್ನು ತಡೆದಾಗ, ವರದಿ ಸಂಘರ್ಷವನ್ನು ತೋರಿಸುತ್ತದೆ ಮತ್ತು ಸರಿಪಡಿಸಲು Cloudflare ನಿಯಮ ಅಥವಾ allowlist ಹೆಜ್ಜೆಯನ್ನು ನೀಡುತ್ತದೆ.

ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು

ಪ್ರಕಟಿಸಲಾಗಿದೆ · ನವೀಕರಿಸಲಾಗಿದೆ