meta-externalfetcher
Meta-ExternalFetcher ცალკეულ ბმულებს იღებს, როცა მომხმარებელი ამას ითხოვს, მაგალითად აგენტური AI-ის მხარდასაჭერად, რომელიც ადამიანებს ვებსაიტებზე ამოცანების შესრულებაში ეხმარება. Meta-ის თქმით, მას შეუძლია robots.txt-ს გვერდი აუაროს, რადგან ის მომხმარებლების მიერ მოთხოვნილ მიღებებს ასრულებს, ამიტომ მას საიმედოდ მხოლოდ ფაირვოლის წესი აჩერებს.
როგორ დავუშვათ
User-agent: meta-externalfetcher
Allow: / როგორ დავბლოკოთ
User-agent: meta-externalfetcher
Disallow: / რას აკეთებს
Meta-ის თქმით, Meta-ExternalFetcher ასრულებს ცალკეული ბმულების მომხმარებლის მიერ ინიცირებულ მიღებებს პროდუქტის ფუნქციების მხარდასაჭერად, როგორიცაა აგენტური AI, რომელიც მომხმარებლებს ვებსაიტებზე ამოცანების შესრულებაში ეხმარება. ეს ზოგადი კრაულერი არ არის.
Meta აცხადებს, რომ რადგან ეს მიღებები მომხმარებელმა მოითხოვა, Meta-ExternalFetcher-ს შეუძლია robots.txt-ს გვერდი აუაროს. მისი ფაირვოლზე დაბლოკვა ამ მიღებებს ჩაშლის.
robots.txt ტოკენი
meta-externalfetcher
User-agent სტრიქონი
meta-externalfetcher/1.1 როგორ გადავამოწმოთ რეალური ვიზიტები
Meta თავის კრაულერების დოკუმენტაციაში ამ ფეჩერისთვის არ აქვეყნებს IP დიაპაზონებს ან reverse DNS მეთოდს, ამიტომ მხოლოდ user agent-ის დამთხვევა ვერ დაამტკიცებს, რომ მოთხოვნა ნამდვილია. Meta თავისი კრაულერების შესახებ კითხვებს webmasters@meta.com-ზე მიმართავს.