meta-externalfetcher
ஒரு பயனர் கேட்கும்போது Meta-ExternalFetcher தனி இணைப்புகளைப் பெறுகிறது, எடுத்துக்காட்டாக இணையதளங்களில் மக்கள் பணிகளை முடிக்க உதவும் agentic AI-க்கு ஆதரவாக. பயனர்கள் கோரிய பெறுதல்களைச் செய்வதால் இது robots.txt-ஐப் புறக்கணிக்கலாம் என்று Meta சொல்கிறது, எனவே ஃபயர்வால் விதி மட்டுமே இதை நம்பகமாக நிறுத்தும்.
இதை எப்படி அனுமதிப்பது
User-agent: meta-externalfetcher
Allow: / இதை எப்படித் தடுப்பது
User-agent: meta-externalfetcher
Disallow: / இது என்ன செய்கிறது
இணையதளங்களில் பயனர்கள் பணிகளை முடிக்க உதவும் agentic AI போன்ற தயாரிப்புச் செயல்பாடுகளுக்கு ஆதரவாக, Meta-ExternalFetcher பயனர் தொடங்கும் தனி இணைப்புப் பெறுதல்களைச் செய்கிறது என்று Meta சொல்கிறது. இது பொதுவான கிராலர் அல்ல.
இந்தப் பெறுதல்கள் பயனரால் கோரப்பட்டதால் Meta-ExternalFetcher robots.txt-ஐப் புறக்கணிக்கலாம் என்று Meta கூறுகிறது. ஃபயர்வாலில் இதைத் தடுத்தால் அந்தப் பெறுதல்கள் தோல்வியடையும்.
robots.txt டோக்கன்
meta-externalfetcher
User-agent சரம்
meta-externalfetcher/1.1 உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது
Meta தனது கிராலர் ஆவணங்களில் இந்த fetcher-க்கான IP வரம்புகளையோ reverse DNS முறையையோ வெளியிடவில்லை, எனவே user agent பொருந்துவது மட்டும் ஒரு கோரிக்கை உண்மையானது என்று நிரூபிக்காது. தனது கிராலர்கள் பற்றிய கேள்விகளை webmasters@meta.com-க்கு அனுப்புமாறு Meta கூறுகிறது.