meta-externalagent
Το Meta-ExternalAgent είναι ο crawler της Meta για χρήσεις όπως η εκπαίδευση θεμελιωδών μοντέλων AI και η βελτίωση προϊόντων μέσω άμεσης ευρετηρίασης περιεχομένου. Η Meta λέει ότι μπορείτε να το μπλοκάρετε με disallow στο robots.txt. Η αναζήτηση του Meta AI χρησιμοποιεί διαφορετικό crawler, το meta-webindexer, που δεν καλύπτεται από αυτόν τον κανόνα.
Τι κάνει
Η Meta λέει ότι ο crawler Meta-ExternalAgent ανιχνεύει τον ιστό για περιπτώσεις χρήσης όπως η εκπαίδευση θεμελιωδών μοντέλων AI ή η βελτίωση προϊόντων μέσω άμεσης ευρετηρίασης περιεχομένου. Η Meta τεκμηριώνει το μπλοκάρισμά του με την προσθήκη κανόνα disallow για το meta-externalagent στο robots.txt.
Είναι ξεχωριστό από το meta-webindexer, που η Meta χρησιμοποιεί για να βελτιώνει τα αποτελέσματα αναζήτησης του Meta AI, και από το Meta-ExternalFetcher, που ανακτά συνδέσμους κατόπιν αιτήματος χρήστη.
Στη μελέτη μας για τον 2026-11, το 19.5% των δημοφιλών ιστότοπων με robots.txt το μπλόκαρε. →
Token robots.txt
meta-externalagent
Συμβολοσειρά user agent
meta-externalagent/1.1Πώς να το επιτρέψετε
User-agent: meta-externalagent
Allow: /Πώς να το μπλοκάρετε
User-agent: meta-externalagent
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Η Meta δεν δημοσιεύει εύρη IP ούτε μέθοδο αντίστροφου DNS για αυτόν τον crawler στην τεκμηρίωση των crawlers της, οπότε η αντιστοίχιση user agent από μόνη της δεν μπορεί να αποδείξει ότι ένα αίτημα είναι γνήσιο. Η Meta παραπέμπει τις ερωτήσεις για τους crawlers της στο webmasters@meta.com.
Ελέγξτε αν ο ιστότοπός σας το αφήνει να μπει →
robots.txt για AI crawlers: τι να επιτρέψετε, τι να αποκλείσετε →