meta-externalfetcher
Meta-ExternalFetcher ব্যবহারকারী চাইলে আলাদা আলাদা লিংক আনে, যেমন ওয়েবসাইটে মানুষকে কাজ সম্পন্ন করতে সাহায্য করা এজেন্টিক AI-এর সহায়তায়। Meta জানায়, এটি ব্যবহারকারীর অনুরোধ করা কাজ করে বলে robots.txt এড়িয়ে যেতে পারে, তাই শুধু একটি ফায়ারওয়াল রুলই নির্ভরযোগ্যভাবে এটি থামায়।
কীভাবে অনুমতি দেবেন
User-agent: meta-externalfetcher
Allow: / কীভাবে ব্লক করবেন
User-agent: meta-externalfetcher
Disallow: / এটি কী করে
Meta জানায়, Meta-ExternalFetcher প্রোডাক্টের কাজে সহায়তা করতে ব্যবহারকারীর শুরু করা অনুরোধে আলাদা আলাদা লিংক আনে, যেমন ওয়েবসাইটে ব্যবহারকারীদের কাজ সম্পন্ন করতে সাহায্য করা এজেন্টিক AI। এটি সাধারণ কোনো ক্রলার নয়।
Meta জানায়, এই অনুরোধগুলো একজন ব্যবহারকারী করেছেন বলে Meta-ExternalFetcher robots.txt এড়িয়ে যেতে পারে। ফায়ারওয়ালে এটি ব্লক করলে সেই অনুরোধগুলো ব্যর্থ হয়।
robots.txt টোকেন
meta-externalfetcher
ইউজার-এজেন্ট স্ট্রিং
meta-externalfetcher/1.1 আসল ভিজিট কীভাবে যাচাই করবেন
Meta তার ক্রলার ডকুমেন্টেশনে এই ফেচারের জন্য কোনো IP রেঞ্জ বা reverse DNS পদ্ধতি প্রকাশ করে না, তাই শুধু ইউজার এজেন্ট মিললেই প্রমাণ হয় না যে অনুরোধটি আসল। Meta তার ক্রলার নিয়ে প্রশ্ন webmasters@meta.com-এ পাঠাতে বলে।