meta-externalagent

Meta · AI სწავლება

Meta-ExternalAgent არის Meta-ის კრაულერი ისეთი მიზნებისთვის, როგორიცაა AI საბაზისო მოდელების სწავლება და პროდუქტების გაუმჯობესება კონტენტის პირდაპირი ინდექსირებით. Meta-ის თქმით, მისი დაბლოკვა robots.txt-ში disallow-ით შეგიძლიათ. Meta AI-ის ძიება სხვა კრაულერს, meta-webindexer-ს იყენებს, რომელსაც ეს წესი არ ფარავს.

როგორ დავუშვათ

User-agent: meta-externalagent
Allow: /

როგორ დავბლოკოთ

User-agent: meta-externalagent
Disallow: /

რას აკეთებს

Meta-ის თქმით, Meta-ExternalAgent კრაულერი ვებს აკრაულებს ისეთი გამოყენებისთვის, როგორიცაა AI საბაზისო მოდელების სწავლება ან პროდუქტების გაუმჯობესება კონტენტის პირდაპირი ინდექსირებით. Meta აღწერს მის დაბლოკვას robots.txt-ში meta-externalagent-ისთვის disallow წესის დამატებით.

ის ცალკეა meta-webindexer-ისგან, რომელსაც Meta Meta AI-ის ძიების შედეგების გასაუმჯობესებლად იყენებს, და Meta-ExternalFetcher-ისგან, რომელიც ბმულებს მომხმარებლის მოთხოვნით იღებს.

ჩვენს 2026-11-ის კვლევაში robots.txt-ის მქონე პოპულარული საიტების 19.5% მას ბლოკავდა. →

robots.txt ტოკენი

meta-externalagent

User-agent სტრიქონი

meta-externalagent/1.1

როგორ გადავამოწმოთ რეალური ვიზიტები

Meta თავის კრაულერების დოკუმენტაციაში ამ კრაულერისთვის არ აქვეყნებს IP დიაპაზონებს ან reverse DNS მეთოდს, ამიტომ მხოლოდ user agent-ის დამთხვევა ვერ დაამტკიცებს, რომ მოთხოვნა ნამდვილია. Meta თავისი კრაულერების შესახებ კითხვებს webmasters@meta.com-ზე მიმართავს.

შეამოწმეთ, უშვებს თუ არა მას თქვენი საიტი →

robots.txt AI კრაულერებისთვის: რა დავუშვათ და რა დავბლოკოთ →