meta-externalfetcher
Το Meta-ExternalFetcher ανακτά μεμονωμένους συνδέσμους όταν το ζητά ένας χρήστης, για παράδειγμα για να υποστηρίξει agentic AI που βοηθά τους ανθρώπους να ολοκληρώνουν εργασίες σε ιστότοπους. Η Meta λέει ότι μπορεί να παρακάμψει το robots.txt επειδή εκτελεί ανακτήσεις που ζήτησαν χρήστες, οπότε μόνο ένας κανόνας firewall το σταματά αξιόπιστα.
Τι κάνει
Η Meta λέει ότι το Meta-ExternalFetcher εκτελεί ανακτήσεις μεμονωμένων συνδέσμων που ξεκινούν από χρήστη, για να υποστηρίξει λειτουργίες προϊόντων, όπως agentic AI που βοηθά τους χρήστες να ολοκληρώνουν εργασίες σε ιστότοπους. Δεν είναι γενικός crawler.
Η Meta δηλώνει ότι, επειδή αυτές οι ανακτήσεις ζητήθηκαν από χρήστη, το Meta-ExternalFetcher μπορεί να παρακάμψει το robots.txt. Αν το μπλοκάρετε στο firewall, αυτές οι ανακτήσεις αποτυγχάνουν.
Token robots.txt
meta-externalfetcher
Συμβολοσειρά user agent
meta-externalfetcher/1.1Πώς να το επιτρέψετε
User-agent: meta-externalfetcher
Allow: /Πώς να το μπλοκάρετε
User-agent: meta-externalfetcher
Disallow: /Πώς να επαληθεύσετε τις πραγματικές επισκέψεις
Η Meta δεν δημοσιεύει εύρη IP ούτε μέθοδο αντίστροφου DNS για αυτόν τον fetcher στην τεκμηρίωση των crawlers της, οπότε η αντιστοίχιση user agent από μόνη της δεν μπορεί να αποδείξει ότι ένα αίτημα είναι γνήσιο. Η Meta παραπέμπει τις ερωτήσεις για τους crawlers της στο webmasters@meta.com.