Perplexity ಯ ಕ್ರಾಲರ್ಗಳು: PerplexityBot ಮತ್ತು Perplexity-User
Perplexity ತನ್ನ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ವೆಬ್ಸೈಟ್ಗಳನ್ನು ತೋರಿಸಲು ಮತ್ತು ಲಿಂಕ್ ಮಾಡಲು PerplexityBot ಬಳಸುತ್ತದೆ, ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗೆ ಬೇಕಾದಾಗ ಪುಟಗಳಿಗೆ ಭೇಟಿ ನೀಡಲು Perplexity-User ಬಳಸುತ್ತದೆ. PerplexityBot robots.txt ಪಾಲಿಸುತ್ತದೆ ಮತ್ತು ಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸಲ್ಪಡುವುದಿಲ್ಲ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ; ಬಳಕೆದಾರರೇ ಕೇಳಿದ್ದರಿಂದ Perplexity-User ಸಾಮಾನ್ಯವಾಗಿ robots.txt ಅನ್ನು ಕಡೆಗಣಿಸುತ್ತದೆ. Perplexity ಹುಡುಕಾಟ ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಬಳಸದಂತೆ ಮಾಡಲು robots.txt ನಲ್ಲಿ PerplexityBot ಅನ್ನು ನಿಷೇಧಿಸಿ; Perplexity-User ಅನ್ನು ನಿಲ್ಲಿಸಲು ಅದರ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳಿಗೆ ಹೊಂದುವ ಫೈರ್ವಾಲ್ ನಿಯಮ ಬಳಸಿ.
Perplexity ಉಲ್ಲೇಖಗಳ ಸುತ್ತ ನಿರ್ಮಿತವಾಗಿದೆ: ಉತ್ತರಗಳು ಅವು ಆಧರಿಸಿದ ಪುಟಗಳ ಸಂಖ್ಯೆಯಿರುವ ಲಿಂಕ್ಗಳೊಂದಿಗೆ ಬರುತ್ತವೆ. ಅದರ ಕ್ರಾಲರ್ ದಾಖಲೆಗಳು ಚಿಕ್ಕದಾಗಿವೆ, ಮತ್ತು ಯಾವ ಏಜೆಂಟ್ robots.txt ಪಾಲಿಸುತ್ತದೆ, ಯಾವುದು ಪಾಲಿಸುವುದಿಲ್ಲ ಎಂದು ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳುತ್ತವೆ. ಇವುಗಳಲ್ಲಿ ಯಾವುದನ್ನಾದರೂ ನಿಯಂತ್ರಿಸಬೇಕಿದ್ದರೆ ಯಾವ ಸಾಧನ ಬಳಸಬೇಕು ಎಂಬುದನ್ನು ಆ ವ್ಯತ್ಯಾಸವೇ ನಿರ್ಧರಿಸುತ್ತದೆ.
ಈ ಪುಟದಲ್ಲಿ
PerplexityBot ಏನು ಮಾಡುತ್ತದೆ?
PerplexityBot ಅನ್ನು Perplexity ಯ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ವೆಬ್ಸೈಟ್ಗಳನ್ನು ತೋರಿಸಲು ಮತ್ತು ಲಿಂಕ್ ಮಾಡಲು ವಿನ್ಯಾಸಗೊಳಿಸಲಾಗಿದೆ. AI ಮೂಲ ಮಾದರಿಗಳಿಗಾಗಿ ವಿಷಯ ಕ್ರಾಲ್ ಮಾಡಲು ಇದನ್ನು ಬಳಸುವುದಿಲ್ಲ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ. Perplexity ಯ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಕಾಣಿಸಲು, robots.txt ನಲ್ಲಿ PerplexityBot ಅನ್ನು ಅನುಮತಿಸಲು Perplexity ಶಿಫಾರಸು ಮಾಡುತ್ತದೆ.
Perplexity ಈ user agent ಅನ್ನು ದಾಖಲಿಸಿದೆ:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) ಆವೃತ್ತಿ ಸಂಖ್ಯೆ ಬದಲಾಗಬಹುದು, ಆದ್ದರಿಂದ ಫೈರ್ವಾಲ್ ನಿಯಮಗಳು PerplexityBot ಟೋಕನ್ ಅನ್ನು ಹೊಂದಿಸಬೇಕು. Perplexity ತನ್ನ IP ಶ್ರೇಣಿಗಳನ್ನು perplexity.ai/perplexitybot.json ನಲ್ಲಿ ಪ್ರಕಟಿಸುತ್ತದೆ.
Perplexity-User ಏನು ಮಾಡುತ್ತದೆ?
Perplexity-User ಬಳಕೆದಾರರ ಕ್ರಿಯೆಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ. ಯಾರಾದರೂ Perplexity ಗೆ ಪ್ರಶ್ನೆ ಕೇಳಿದಾಗ, ನಿಖರ ಉತ್ತರ ನೀಡಲು ನೆರವಾಗುವಂತೆ ಅದು ವೆಬ್ ಪುಟಕ್ಕೆ ಭೇಟಿ ನೀಡಿ ಆ ಪುಟದ ಲಿಂಕ್ ಸೇರಿಸಬಹುದು. ಇದನ್ನು ವೆಬ್ ಕ್ರಾಲ್ ಮಾಡಲು ಅಥವಾ ತರಬೇತಿ ಡೇಟಾ ಸಂಗ್ರಹಿಸಲು ಬಳಸುವುದಿಲ್ಲ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ.
ಇದರ ದಾಖಲಿತ user agent Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), ಮತ್ತು ಇದರ IP ಶ್ರೇಣಿಗಳನ್ನು perplexity.ai/perplexity-user.json ನಲ್ಲಿ ಪ್ರಕಟಿಸಲಾಗಿದೆ.
robots.txt ಏನನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ, ಏನನ್ನು ನಿಯಂತ್ರಿಸುವುದಿಲ್ಲ?
ಇದೇ ಮುಖ್ಯ ಅಂಶ. ಬಳಕೆದಾರರೇ ಕೇಳಿದ್ದರಿಂದ Perplexity-User ಸಾಮಾನ್ಯವಾಗಿ robots.txt ನಿಯಮಗಳನ್ನು ಕಡೆಗಣಿಸುತ್ತದೆ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ. PerplexityBot ಗಾಗಿ ಇರುವ robots.txt ಗುಂಪು ಹುಡುಕಾಟದ ಇಂಡೆಕ್ಸಿಂಗ್ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ; ಬಳಕೆದಾರರ ಪರವಾಗಿ ನಡೆಯುವ ನೇರ ವಿನಂತಿಗಳನ್ನು ಅದು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ತಡೆಯುವುದಿಲ್ಲ.
- robots.txt ನಲ್ಲಿ
PerplexityBotನಿಷೇಧಿಸಿ: Perplexity ಯ ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್ಗಾಗಿ ನಿಮ್ಮ ಪುಟಗಳು ಕ್ರಾಲ್ ಆಗುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಅವು ತೋರಿಸಲ್ಪಡುವ ಮತ್ತು ಲಿಂಕ್ ಆಗುವ ಸಾಧ್ಯತೆ ಕಡಿಮೆ. - robots.txt ನಲ್ಲಿ
Perplexity-Userನಿಷೇಧಿಸಿ: Perplexity ಯ ದಾಖಲೆಗಳ ಪ್ರಕಾರ ಈ ಫೆಚರ್ ಸಾಮಾನ್ಯವಾಗಿ ಇದನ್ನು ಕಡೆಗಣಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಇದು ಅವಲಂಬಿಸಬಹುದಾದ ನಿಯಂತ್ರಣವಲ್ಲ. - ಫೈರ್ವಾಲ್ನಲ್ಲಿ
Perplexity-Userತಡೆಯಿರಿ: ವಿನಂತಿ ವಿಫಲವಾಗುತ್ತದೆ, ಮತ್ತು ನಿಮ್ಮ ಪುಟದ ಕುರಿತು ಕೇಳುವ ಬಳಕೆದಾರರಿಗೆ ಅದಿಲ್ಲದ ಉತ್ತರ ಸಿಗುತ್ತದೆ. - ಎರಡನ್ನೂ ಅನುಮತಿಸಿ: Perplexity ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಇಂಡೆಕ್ಸ್ ಮಾಡಬಹುದು ಮತ್ತು ಬಳಕೆದಾರರು ಕೇಳಿದಾಗ ನೇರವಾಗಿ ಓದಬಹುದು.
ಪ್ರತಿ robots.txt ಸೆಟ್ಟಿಂಗ್ ಸ್ವತಂತ್ರವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಮತ್ತು ಬದಲಾವಣೆಗಳು ಪ್ರತಿಫಲಿಸಲು 24 ಗಂಟೆಗಳವರೆಗೆ ಬೇಕಾಗಬಹುದು ಎಂದು Perplexity ಹೇಳುತ್ತದೆ.
Perplexity, ChatGPT ಮತ್ತು Claude ಗಿಂತ ಹೇಗೆ ಭಿನ್ನ?
ಮೂರೂ ಮಾರಾಟಗಾರರು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನು ಬಳಕೆದಾರ ಕೇಳುವ ಫೆಚರ್ನಿಂದ ಬೇರ್ಪಡಿಸುತ್ತಾರೆ. ಎರಡು ವಿವರಗಳು Perplexity ಯನ್ನು ಭಿನ್ನವಾಗಿಸುತ್ತವೆ. ಮೊದಲನೆಯದು, ಅದು ಪ್ರತ್ಯೇಕ ತರಬೇತಿ ಕ್ರಾಲರ್ ನಡೆಸುವುದಿಲ್ಲ: PerplexityBot ಅನ್ನು AI ಮೂಲ ಮಾದರಿಗಳಿಗಾಗಿ ವಿಷಯ ಕ್ರಾಲ್ ಮಾಡಲು ಬಳಸುವುದಿಲ್ಲ ಎಂದು ಅದು ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ನಿರ್ಧರಿಸಬೇಕಾದ ತರಬೇತಿ ಟೋಕನ್ ಇಲ್ಲ. ಎರಡನೆಯದು, ತನ್ನ ಬಳಕೆದಾರ ಫೆಚರ್ ಸಾಮಾನ್ಯವಾಗಿ robots.txt ಅನ್ನು ಕಡೆಗಣಿಸುತ್ತದೆ ಎಂದು ಅದು ಸ್ಪಷ್ಟವಾಗಿ ಹೇಳುತ್ತದೆ; ChatGPT-User ಗೆ robots.txt ಅನ್ವಯಿಸದಿರಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ, ಮತ್ತು Claude-User ಸೇರಿದಂತೆ ತನ್ನ ಬಾಟ್ಗಳು robots.txt ಅನ್ನು ಗೌರವಿಸುತ್ತವೆ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ.
ಪ್ರಾಯೋಗಿಕವಾಗಿ ಇದರರ್ಥ Perplexity ಯ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಾಗಿ robots.txt ನಲ್ಲಿ ಒಂದೇ ನಿರ್ಧಾರ, ಮತ್ತು ಬಳಕೆದಾರ ಕೇಳುವ ಫೆಚ್ಗಳನ್ನು ಎಂದಾದರೂ ನಿಲ್ಲಿಸಬೇಕಿದ್ದರೆ ಫೈರ್ವಾಲ್ನಲ್ಲಿ ಒಂದು ನಿರ್ಧಾರ.
Perplexity ಗಾಗಿ ಯಾವ robots.txt ಬಳಸಬೇಕು?
ಉಲ್ಲೇಖಿಸಲ್ಪಡಬೇಕಿದ್ದರೆ, ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನು ಸ್ಪಷ್ಟವಾಗಿ ಅನುಮತಿಸಿ. ಹೆಸರಿರುವ ಗುಂಪು * ನಿಂದ ನಿಯಮಗಳನ್ನು ಪಡೆಯುವುದಿಲ್ಲ ಎಂಬುದನ್ನು ನೆನಪಿಡಿ, ಆದ್ದರಿಂದ ಖಾಸಗಿ ಪಥಗಳನ್ನು ಪುನರಾವರ್ತಿಸಿ:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/ PerplexityBot ತರಬೇತಿ ಕ್ರಾಲರ್ ಅಲ್ಲದ ಕಾರಣ, ಮಾದರಿ ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿಯಲು ಅದನ್ನು ತಡೆದರೆ ಆ ಗುರಿ ಈಡೇರದೆ ನಿಮ್ಮ ಹುಡುಕಾಟ ಗೋಚರತೆಯಷ್ಟೇ ಕಳೆದುಹೋಗುತ್ತದೆ.
robots.txt ನಲ್ಲಿ ಸೈಟ್ಮ್ಯಾಪ್ ಪಟ್ಟಿಮಾಡಿದ್ದರೆ, Sitemap: ಸಾಲನ್ನು ಯಾವುದೇ ಗುಂಪಿನ ಹೊರಗೆ ಅಥವಾ ಫೈಲ್ನ ಕೊನೆಯಲ್ಲಿ ಇರಿಸಿ; ಅದು ಎಲ್ಲ ಕ್ರಾಲರ್ಗಳಿಗೂ ಅನ್ವಯಿಸುತ್ತದೆ. ಸೈಟ್ಮ್ಯಾಪ್ ಅನ್ನೇ ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ತಡೆಯುತ್ತಿಲ್ಲ ಎಂದೂ ಖಚಿತಪಡಿಸಿ, ಏಕೆಂದರೆ ಅದನ್ನು ಪಡೆಯಲಾಗದ ಕ್ರಾಲರ್ ಹೊಸ ಅಥವಾ ಬದಲಾದ ಪುಟಗಳನ್ನು ಹುಡುಕಲು ಅದನ್ನು ಬಳಸಲಾರದು.
ಫೈರ್ವಾಲ್ Perplexity ಯನ್ನು ತಡೆಯುತ್ತಿಲ್ಲ ಎಂದು ಹೇಗೆ ಖಚಿತಪಡಿಸುವುದು?
ಬಾಟ್ ರಕ್ಷಣೆ ಆಗಾಗ ಬ್ರೌಸರ್ ಅಲ್ಲದ ಯಾವುದೇ ವಿನಂತಿಯನ್ನು ಅನುಮಾನಾಸ್ಪದ ಎಂದು ಪರಿಗಣಿಸುತ್ತದೆ. ಪ್ರತಿ Perplexity user agent ಬಳಸಿ ನಿಮ್ಮ ಪುಟವನ್ನು ವಿನಂತಿಸಿ ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಬ್ರೌಸರ್ ವಿನಂತಿಯೊಂದಿಗೆ ಹೋಲಿಸಿ. ಕ್ರಾಲರ್ಗೆ 403, 429 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ಸಿಕ್ಕರೆ, ಟೋಕನ್ಗೆ ಮತ್ತು ಸಾಧ್ಯವಾದರೆ ಪ್ರಕಟಿತ IP ಶ್ರೇಣಿಗಳಿಗೆ ಹೊಂದುವ ಅನುಮತಿ ನಿಯಮ ಸೇರಿಸಿ, ಆಗ ನಿಜವಾದ Perplexity ಟ್ರಾಫಿಕ್ ಮಾತ್ರ ಒಳಬರುತ್ತದೆ. Cloudflare ನಲ್ಲಿ, AI Crawl Control AI ಕ್ರಾಲರ್ಗಳನ್ನು ಪ್ರತಿಯೊಂದಕ್ಕೂ Allow ಅಥವಾ Block ಕ್ರಿಯೆಯೊಂದಿಗೆ ಪಟ್ಟಿಮಾಡುತ್ತದೆ.
user agent ಅನ್ನು ನಂಬುವ ಬದಲು ಪರಿಶೀಲಿಸಿ. PerplexityBot ಎಂದು ಹೇಳುವ ವಿನಂತಿಯನ್ನು ಯಾರು ಬೇಕಾದರೂ ಕಳುಹಿಸಬಹುದು, ಆದ್ದರಿಂದ user agent ಒಂದನ್ನೇ ಆಧರಿಸಿದ ಅನುಮತಿ ನಿಯಮ ಅನುಕರಿಸುವವರನ್ನೂ ಒಳಬಿಡುತ್ತದೆ, ಮತ್ತು ಅದನ್ನೇ ಆಧರಿಸಿದ ತಡೆಯನ್ನು ತಪ್ಪಿಸಿಕೊಳ್ಳಬಹುದು. ಮೂಲ IP ಅನ್ನು Perplexity ಪ್ರಕಟಿಸಿದ ಪಟ್ಟಿಗಳೊಂದಿಗೆ ಹೋಲಿಸುವುದು ಎರಡೂ ಬಗೆಯ ನಿಯಮಗಳನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿಸುತ್ತದೆ.
AISeeWhy PerplexityBot ಮತ್ತು Perplexity-User ಅನ್ನು ಇತರ 12 ಕ್ರಾಲರ್ಗಳ ಜೊತೆ ಪರೀಕ್ಷಿಸುತ್ತದೆ. Perplexity ನಿಮ್ಮ ಪುಟವನ್ನು ಉತ್ತರದಲ್ಲಿ ಬಳಸಬಹುದೇ ಎಂದು ಎರಡೂ ನಿರ್ಧರಿಸುವುದರಿಂದ, ಯಾವುದೇ ಒಂದರ ತಡೆಯನ್ನು P1 ಎಂದು ವರದಿ ಮಾಡಲಾಗುತ್ತದೆ, ಸರಿಪಡಿಸುವ ನಿಯಮದೊಂದಿಗೆ.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
Perplexity ನನ್ನ ವಿಷಯವನ್ನು AI ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಸುತ್ತದೆಯೇ?
AI ಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಗಾಗಿ ವಿಷಯ ಸಂಗ್ರಹಿಸಲು PerplexityBot ಆಗಲಿ Perplexity-User ಆಗಲಿ ಬಳಸಲ್ಪಡುವುದಿಲ್ಲ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ.
Perplexity-User ಏಕೆ robots.txt ಅನ್ನು ಕಡೆಗಣಿಸುತ್ತದೆ?
ಬಳಕೆದಾರರೊಬ್ಬರು ಪುಟವನ್ನು ಕೇಳಿದ್ದರಿಂದ, ಈ ಫೆಚ್ ಸ್ವಯಂಚಾಲಿತ ಕ್ರಾಲಿಂಗ್ ಆಗಿ ಅಲ್ಲ, ಆ ಬಳಕೆದಾರರ ಪರವಾಗಿ ನಡೆಯುತ್ತದೆ ಎಂಬುದು Perplexity ಯ ತರ್ಕ. ಆ ಕಾರಣಕ್ಕೆ ಫೆಚರ್ ಸಾಮಾನ್ಯವಾಗಿ robots.txt ಅನ್ನು ಕಡೆಗಣಿಸುತ್ತದೆ ಎಂದು ಅದರ ದಾಖಲೆಗಳು ಹೇಳುತ್ತವೆ.
ಅಗತ್ಯವಿದ್ದರೆ Perplexity-User ಅನ್ನು ಹೇಗೆ ತಡೆಯಬಹುದು?
ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ಅಥವಾ CDN ಬಳಸಿ, user agent ಟೋಕನ್ ಮತ್ತು Perplexity ಪ್ರಕಟಿಸಿದ IP ಶ್ರೇಣಿಗಳನ್ನು ಹೊಂದಿಸಿ. ಈ ಏಜೆಂಟ್ಗೆ robots.txt ಅವಲಂಬಿಸಬಹುದಾದ ನಿಯಂತ್ರಣವಲ್ಲ.
robots.txt ಬದಲಾವಣೆ ಜಾರಿಯಾಗಲು ಎಷ್ಟು ಸಮಯ ಬೇಕು?
ಬದಲಾವಣೆಗಳು ತನ್ನ ವ್ಯವಸ್ಥೆಗಳಲ್ಲಿ ಪ್ರತಿಫಲಿಸಲು 24 ಗಂಟೆಗಳವರೆಗೆ ಬೇಕಾಗಬಹುದು ಎಂದು Perplexity ಹೇಳುತ್ತದೆ.
PerplexityBot ತಡೆದರೆ Perplexity ನನ್ನ ವಿಷಯ ಬಳಸುವುದು ಸಂಪೂರ್ಣ ನಿಲ್ಲುತ್ತದೆಯೇ?
ಇಲ್ಲ. ಅದು ನಿಮ್ಮ ಪುಟಗಳನ್ನು Perplexity ಯ ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್ನ ಕ್ರಾಲ್ನಿಂದ ಹೊರಗಿಡುತ್ತದೆ, ಆದರೆ ಬಳಕೆದಾರರು ಕೇಳಿದಾಗ Perplexity-User ಈಗಲೂ ಪುಟವನ್ನು ಪಡೆಯಬಹುದು, ಏಕೆಂದರೆ ಆ ಫೆಚರ್ ಸಾಮಾನ್ಯವಾಗಿ robots.txt ಅನ್ನು ಕಡೆಗಣಿಸುತ್ತದೆ.
ಮೂಲಗಳು
- Perplexity: Perplexity ಕ್ರಾಲರ್ಗಳು
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: AI ಕ್ರಾಲರ್ಗಳ ನಿರ್ವಹಣೆ (AI Crawl Control)