meta-externalagent
Meta-ExternalAgent ಎಂಬುದು foundation AI ಮಾದರಿಗಳ ತರಬೇತಿ ಮತ್ತು ವಿಷಯವನ್ನು ನೇರವಾಗಿ ಇಂಡೆಕ್ಸ್ ಮಾಡಿ ಉತ್ಪನ್ನಗಳನ್ನು ಸುಧಾರಿಸುವಂತಹ ಬಳಕೆಗಳಿಗಾಗಿ ಇರುವ Meta ನ ಕ್ರಾಲರ್. robots.txt disallow ಮೂಲಕ ಇದನ್ನು ತಡೆಯಬಹುದು ಎಂದು Meta ಹೇಳುತ್ತದೆ. Meta AI ಹುಡುಕಾಟ ಬೇರೆ ಕ್ರಾಲರ್ meta-webindexer ಅನ್ನು ಬಳಸುತ್ತದೆ, ಅದನ್ನು ಈ ನಿಯಮ ಒಳಗೊಳ್ಳುವುದಿಲ್ಲ.
ಇದನ್ನು ಹೇಗೆ ಅನುಮತಿಸುವುದು
User-agent: meta-externalagent
Allow: / ಇದನ್ನು ಹೇಗೆ ತಡೆಯುವುದು
User-agent: meta-externalagent
Disallow: / ಇದು ಏನು ಮಾಡುತ್ತದೆ
Meta-ExternalAgent ಕ್ರಾಲರ್ foundation AI ಮಾದರಿಗಳ ತರಬೇತಿ ಅಥವಾ ವಿಷಯವನ್ನು ನೇರವಾಗಿ ಇಂಡೆಕ್ಸ್ ಮಾಡಿ ಉತ್ಪನ್ನಗಳನ್ನು ಸುಧಾರಿಸುವಂತಹ ಬಳಕೆಗಳಿಗಾಗಿ ವೆಬ್ ಅನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ ಎಂದು Meta ಹೇಳುತ್ತದೆ. robots.txt ಗೆ meta-externalagent ಗಾಗಿ disallow ನಿಯಮ ಸೇರಿಸಿ ಇದನ್ನು ತಡೆಯುವುದನ್ನು Meta ದಾಖಲಿಸುತ್ತದೆ.
ಇದು Meta AI ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳನ್ನು ಸುಧಾರಿಸಲು Meta ಬಳಸುವ meta-webindexer ನಿಂದ, ಮತ್ತು ಬಳಕೆದಾರನ ಕೋರಿಕೆಯ ಮೇರೆಗೆ ಲಿಂಕ್ಗಳನ್ನು ಪಡೆಯುವ Meta-ExternalFetcher ನಿಂದ ಪ್ರತ್ಯೇಕ.
ನಮ್ಮ 2026-11 ಅಧ್ಯಯನದಲ್ಲಿ, robots.txt ಇರುವ ಜನಪ್ರಿಯ ಸೈಟ್ಗಳಲ್ಲಿ 19.5% ಇದನ್ನು ತಡೆದಿದ್ದವು. →
robots.txt ಟೋಕನ್
meta-externalagent
User-agent ಸ್ಟ್ರಿಂಗ್
meta-externalagent/1.1 ನಿಜವಾದ ಭೇಟಿಗಳನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು
Meta ತನ್ನ ಕ್ರಾಲರ್ ದಸ್ತಾವೇಜಿನಲ್ಲಿ ಈ ಕ್ರಾಲರ್ ಗೆ IP ಶ್ರೇಣಿಗಳನ್ನಾಗಲಿ reverse DNS ವಿಧಾನವನ್ನಾಗಲಿ ಪ್ರಕಟಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಕೇವಲ user agent ಹೊಂದಾಣಿಕೆ ವಿನಂತಿ ನಿಜವಾದದ್ದು ಎಂದು ಸಾಬೀತುಪಡಿಸಲಾರದು. Meta ತನ್ನ ಕ್ರಾಲರ್ಗಳ ಬಗ್ಗೆ ಪ್ರಶ್ನೆಗಳನ್ನು webmasters@meta.com ಗೆ ಕಳುಹಿಸಲು ಹೇಳುತ್ತದೆ.
ನಿಮ್ಮ ಸೈಟ್ ಇದನ್ನು ಒಳಗೆ ಬಿಡುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ →
AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt: ಏನನ್ನು ಅನುಮತಿಸಬೇಕು, ಏನನ್ನು ತಡೆಯಬೇಕು →