meta-externalagent
Meta-ExternalAgent არის Meta-ის კრაულერი ისეთი მიზნებისთვის, როგორიცაა AI საბაზისო მოდელების სწავლება და პროდუქტების გაუმჯობესება კონტენტის პირდაპირი ინდექსირებით. Meta-ის თქმით, მისი დაბლოკვა robots.txt-ში disallow-ით შეგიძლიათ. Meta AI-ის ძიება სხვა კრაულერს, meta-webindexer-ს იყენებს, რომელსაც ეს წესი არ ფარავს.
როგორ დავუშვათ
User-agent: meta-externalagent
Allow: / როგორ დავბლოკოთ
User-agent: meta-externalagent
Disallow: / რას აკეთებს
Meta-ის თქმით, Meta-ExternalAgent კრაულერი ვებს აკრაულებს ისეთი გამოყენებისთვის, როგორიცაა AI საბაზისო მოდელების სწავლება ან პროდუქტების გაუმჯობესება კონტენტის პირდაპირი ინდექსირებით. Meta აღწერს მის დაბლოკვას robots.txt-ში meta-externalagent-ისთვის disallow წესის დამატებით.
ის ცალკეა meta-webindexer-ისგან, რომელსაც Meta Meta AI-ის ძიების შედეგების გასაუმჯობესებლად იყენებს, და Meta-ExternalFetcher-ისგან, რომელიც ბმულებს მომხმარებლის მოთხოვნით იღებს.
ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 19.5% მას ბლოკავდა. →
robots.txt ტოკენი
meta-externalagent
User-agent სტრიქონი
meta-externalagent/1.1 როგორ გადავამოწმოთ რეალური ვიზიტები
Meta თავის კრაულერების დოკუმენტაციაში ამ კრაულერისთვის არ აქვეყნებს IP დიაპაზონებს ან reverse DNS მეთოდს, ამიტომ მხოლოდ user agent-ის დამთხვევა ვერ დაამტკიცებს, რომ მოთხოვნა ნამდვილია. Meta თავისი კრაულერების შესახებ კითხვებს webmasters@meta.com-ზე მიმართავს.
შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →
robots.txt AI კრაულერებისთვის: რა დავუშვათ და რა დავბლოკოთ →