OAI-SearchBot ಅನ್ನು ತಡೆಯಲಾಗಿದೆ
ಈ ಕ್ರಾಲರ್ನ user agent ನೊಂದಿಗೆ ಕಳುಹಿಸಿದ ವಿನಂತಿಯನ್ನು ನಿರಾಕರಿಸಲಾಗಿದೆ: ಅದಕ್ಕೆ 4xx ಅಥವಾ 5xx ಸ್ಥಿತಿ, Cloudflare ನ cf-mitigated ಹೆಡರ್ ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ಸಿಕ್ಕಿತು, ಆದರೆ ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ ವಿನಂತಿಗೆ ಪುಟ ಸಿಕ್ಕಿತು. ಈ user agent ಗೆ ಹೊಂದುವ ಫೈರ್ವಾಲ್, CDN ಅಥವಾ ಬಾಟ್ ನಿಯಮವನ್ನು ಹುಡುಕಿ ಮತ್ತು ಕ್ರಾಲರ್ ಅನ್ನು ಒಳಗೆ ಬಿಡಿ.
ಇದರ ಅರ್ಥ
OAI-SearchBot user agent ಹೊಂದಿದ ವಿನಂತಿಗೆ 403 ಸ್ಥಿತಿ ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ಸಿಕ್ಕಿತು, ಆದರೆ ಬ್ರೌಸರ್ಗೆ ಪುಟ ಸಿಕ್ಕಿತು. ಪರಿಶೀಲಿಸದ IP ಯಿಂದ ಪರೀಕ್ಷಿಸಲಾಗಿದೆ: ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ಈ user agent ಅನ್ನು ಹೇಗೆ ನಡೆಸಿಕೊಳ್ಳುತ್ತದೆ ಎಂದು ಇದು ತೋರಿಸುತ್ತದೆ; ಪರಿಶೀಲಿತ IP ಗಳಿಂದ ಬರುವ ನಿಜವಾದ ಕ್ರಾಲರ್ ಅನ್ನು ಬೇರೆ ರೀತಿಯಲ್ಲಿ ನಡೆಸಿಕೊಳ್ಳಬಹುದು.
AI ಹುಡುಕಾಟಕ್ಕೆ ಇದು ಏಕೆ ಮುಖ್ಯ
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ಮತ್ತು Perplexity-User ನಂತಹ ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳು ಉತ್ತರಗಳನ್ನು ಮತ್ತು ಅವುಗಳ ಕೆಳಗಿನ ಲಿಂಕ್ಗಳನ್ನು ರೂಪಿಸಲು ಪುಟಗಳನ್ನು ಪಡೆಯುತ್ತವೆ. ಅವುಗಳಿಗೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ಸಿಕ್ಕರೆ, ಪುಟ ಎಷ್ಟೇ ಉತ್ತಮವಾಗಿದ್ದರೂ ಅದನ್ನು ಉಲ್ಲೇಖಿಸಲು ಅಥವಾ ಲಿಂಕ್ ಮಾಡಲು ಸಾಧ್ಯವಿಲ್ಲ. ಅದಕ್ಕಾಗಿಯೇ AISeeWhy ಈ ಕ್ರಾಲರ್ಗಳ ತಡೆಯನ್ನು P1 ಎಂದು ರೇಟ್ ಮಾಡುತ್ತದೆ.
ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳಿಗೆ (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) P3 ರೇಟಿಂಗ್ ಇದೆ: ಅವುಗಳನ್ನು ತಡೆಯುವುದು ನೀತಿಯ ಆಯ್ಕೆ, ದೋಷವಲ್ಲ. ಪರೀಕ್ಷೆಯು ಪರಿಶೀಲಿಸದ IP ಯಿಂದ ನಡೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ ನಿಯಮಗಳು ಈ user agent ಅನ್ನು ಹೇಗೆ ನಡೆಸಿಕೊಳ್ಳುತ್ತವೆ ಎಂದು ಅದು ತೋರಿಸುತ್ತದೆ; ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳಿಂದ ಬರುವ ನಿಜವಾದ ಕ್ರಾಲರ್ ಅನ್ನು ಬೇರೆ ರೀತಿಯಲ್ಲಿ ನಡೆಸಿಕೊಳ್ಳಬಹುದು.
ಇದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸುವುದು
- ಯಾವ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯಲಾಯಿತು, ಅದಕ್ಕೆ ಸಿಕ್ಕ ಸ್ಥಿತಿ ಮತ್ತು ಆಡಿಟ್ ಪತ್ತೆಹಚ್ಚಿದ WAF ಅನ್ನು ನೋಡಲು ಪತ್ತೆಯನ್ನು ತೆರೆಯಿರಿ. AISeeWhy ವರದಿಯು ಪುರಾವೆ ಮತ್ತು ಅಂಟಿಸಲು ಸಿದ್ಧ ಪರಿಹಾರವನ್ನು ತೋರಿಸುತ್ತದೆ; ಬಳಿಕ ಫಲಿತಾಂಶವನ್ನು ಖಚಿತಪಡಿಸಲು “ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ” ಒತ್ತಿ.
- Cloudflare ನಲ್ಲಿ, ತಡೆಯಲಾದ ವಿನಂತಿಗಾಗಿ Security → Events ಪರಿಶೀಲಿಸಿ, ನಂತರ ಕ್ರಾಲರ್ಗೆ ಹೊಂದುವ (verified bots ಅಥವಾ ಅದರ user agent ಟೋಕನ್) WAF custom rule ಸೇರಿಸಿ; ಅದರ ಕ್ರಿಯೆ ಉಳಿದ custom rules, Super Bot Fight Mode ಮತ್ತು rate limiting ಗಾಗಿ Skip ಆಗಿರಲಿ. AI Crawl Control ನಲ್ಲಿ ಕ್ರಾಲರ್ ಅನ್ನು Allow ಗೆ ಹೊಂದಿಸಿ.
- Vercel, Akamai, Imperva, Sucuri ಅಥವಾ AWS WAF ನಲ್ಲಿ, ಕಾರ್ಯನಿರ್ವಹಿಸಿದ bot management ಅಥವಾ managed rule ಅನ್ನು ಹುಡುಕಿ ಮತ್ತು ಕ್ರಾಲರ್ಗೆ ವಿನಾಯಿತಿ ಸೇರಿಸಿ; ಸಾಧ್ಯವಾದರೆ ಕೇವಲ user agent ನಿಂದಲ್ಲ, ಕಂಪನಿಯ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳು ಅಥವಾ reverse DNS ಮೂಲಕ ಪರಿಶೀಲಿಸಿ.
- nginx ಅಥವಾ Apache ನಲ್ಲಿ, ಕ್ರಾಲರ್ನ ಹೆಸರಿರುವ
deny,return 403ಅಥವಾRewriteCond %{HTTP_USER_AGENT}ಸಾಲುಗಳಿಗಾಗಿ ಕಾನ್ಫಿಗರೇಶನ್ನಲ್ಲಿ ಹುಡುಕಿ, ಮತ್ತು WordPress ನಲ್ಲಿ “bad bots” ಅನ್ನು ತಡೆಯುವ ಭದ್ರತಾ ಪ್ಲಗಿನ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ. - ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಪ್ರತ್ಯೇಕವಾಗಿ ನಿರ್ಧರಿಸಿ: ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳನ್ನು ಅನುಮತಿಸಿದರೆ ಪುಟಗಳು ಉಲ್ಲೇಖಗೊಳ್ಳುತ್ತವೆ, ಆದರೆ ನಿಮ್ಮ ನೀತಿ ಹಾಗಿದ್ದರೆ ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆದೇ ಇಡಬಹುದು.
ಉದಾಹರಣೆ
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting ಪರಿಹಾರವನ್ನು ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು
ಬದಲಾವಣೆಯ ನಂತರ, ವರದಿಯಲ್ಲಿ "ಮತ್ತೆ ಪರಿಶೀಲಿಸಿ" ಒತ್ತಿ: ಏನು ಸರಿಯಾಯಿತು ಮತ್ತು ಸ್ಕೋರ್ ಹೇಗೆ ಬದಲಾಯಿತು ಎಂದು ಅದು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ.
ಸಂಬಂಧಿತ ಮಾರ್ಗದರ್ಶಿಗಳು
- Cloudflare ನ AI Crawl Control ವರದಿ ಓದಿ ಯಾವ AI ಕ್ರಾಲರ್ಗಳು ಒಳಬರುತ್ತವೆ ಎಂದು ನೋಡುವುದು ಹೇಗೆ
- Cloudflare AI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುತ್ತಿದೆಯೇ? ಹೇಗೆ ಕಂಡುಹಿಡಿದು ಸರಿಪಡಿಸುವುದು
- ChatGPT ನನ್ನ ವೆಬ್ಸೈಟ್ ನೋಡಬಲ್ಲದೇ? ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು
- ಪುಟ ಪ್ರಕಟಿಸುವ ಮೊದಲು ಮಾಡಬೇಕಾದ 12 AEO ಪರಿಶೀಲನೆಗಳು (2027)
- SEO 2.0: AI ಹುಡುಕಾಟ ಮತ್ತು ಸಹಾಯಕಗಳು SEO ಅನ್ನು ಹೇಗೆ ಬದಲಿಸಿದವು, ಪದರ ಪದರವಾಗಿ