meta-externalfetcher
Meta-ExternalFetcher ಬಳಕೆದಾರ ಕೇಳಿದಾಗ ಪ್ರತ್ಯೇಕ ಲಿಂಕ್ಗಳನ್ನು ಪಡೆಯುತ್ತದೆ, ಉದಾಹರಣೆಗೆ ವೆಬ್ಸೈಟ್ಗಳಲ್ಲಿ ಕೆಲಸಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಜನರಿಗೆ ಸಹಾಯ ಮಾಡುವ agentic AI ಗೆ ಬೆಂಬಲವಾಗಿ. ಬಳಕೆದಾರರು ಕೋರಿದ ಪಡೆಯುವಿಕೆಗಳನ್ನು ಮಾಡುವುದರಿಂದ ಅದು robots.txt ಅನ್ನು ಬೈಪಾಸ್ ಮಾಡಬಹುದು ಎಂದು Meta ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಫೈರ್ವಾಲ್ ನಿಯಮ ಮಾತ್ರ ಇದನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ನಿಲ್ಲಿಸುತ್ತದೆ.
ಇದನ್ನು ಹೇಗೆ ಅನುಮತಿಸುವುದು
User-agent: meta-externalfetcher
Allow: / ಇದನ್ನು ಹೇಗೆ ತಡೆಯುವುದು
User-agent: meta-externalfetcher
Disallow: / ಇದು ಏನು ಮಾಡುತ್ತದೆ
Meta-ExternalFetcher ವೆಬ್ಸೈಟ್ಗಳಲ್ಲಿ ಕೆಲಸಗಳನ್ನು ಪೂರ್ಣಗೊಳಿಸಲು ಬಳಕೆದಾರರಿಗೆ ಸಹಾಯ ಮಾಡುವ agentic AI ನಂತಹ ಉತ್ಪನ್ನ ಕಾರ್ಯಗಳಿಗೆ ಬೆಂಬಲವಾಗಿ ಪ್ರತ್ಯೇಕ ಲಿಂಕ್ಗಳನ್ನು ಬಳಕೆದಾರ ಆರಂಭಿಸಿದಂತೆ ಪಡೆಯುತ್ತದೆ ಎಂದು Meta ಹೇಳುತ್ತದೆ. ಇದು ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್ ಅಲ್ಲ.
ಈ ಪಡೆಯುವಿಕೆಗಳನ್ನು ಬಳಕೆದಾರ ಕೋರಿದ್ದರಿಂದ Meta-ExternalFetcher robots.txt ಅನ್ನು ಬೈಪಾಸ್ ಮಾಡಬಹುದು ಎಂದು Meta ತಿಳಿಸುತ್ತದೆ. ಇದನ್ನು ಫೈರ್ವಾಲ್ನಲ್ಲಿ ತಡೆದರೆ ಆ ಪಡೆಯುವಿಕೆಗಳು ವಿಫಲವಾಗುತ್ತವೆ.
robots.txt ಟೋಕನ್
meta-externalfetcher
User-agent ಸ್ಟ್ರಿಂಗ್
meta-externalfetcher/1.1 ನಿಜವಾದ ಭೇಟಿಗಳನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು
Meta ತನ್ನ ಕ್ರಾಲರ್ ದಸ್ತಾವೇಜಿನಲ್ಲಿ ಈ fetcher ಗೆ IP ಶ್ರೇಣಿಗಳನ್ನಾಗಲಿ reverse DNS ವಿಧಾನವನ್ನಾಗಲಿ ಪ್ರಕಟಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಕೇವಲ user agent ಹೊಂದಾಣಿಕೆ ವಿನಂತಿ ನಿಜವಾದದ್ದು ಎಂದು ಸಾಬೀತುಪಡಿಸಲಾರದು. Meta ತನ್ನ ಕ್ರಾಲರ್ಗಳ ಬಗ್ಗೆ ಪ್ರಶ್ನೆಗಳನ್ನು webmasters@meta.com ಗೆ ಕಳುಹಿಸಲು ಹೇಳುತ್ತದೆ.