meta-externalfetcher
Meta-ExternalFetcher noutaa yksittäisiä linkkejä, kun käyttäjä pyytää niitä, esimerkiksi tukeakseen agenttista tekoälyä, joka auttaa ihmisiä suorittamaan tehtäviä verkkosivustoilla. Meta kertoo, että se voi ohittaa robots.txt-tiedoston, koska se tekee käyttäjien pyytämiä noutoja, joten vain palomuurisääntö pysäyttää sen luotettavasti.
Mitä se tekee
Meta kertoo, että Meta-ExternalFetcher tekee käyttäjän käynnistämiä yksittäisten linkkien noutoja tukeakseen tuotteen toimintoja, kuten agenttista tekoälyä, joka auttaa käyttäjiä suorittamaan tehtäviä verkkosivustoilla. Se ei ole yleinen läpikäyntirobotti.
Meta toteaa, että koska käyttäjät ovat pyytäneet nämä haut, Meta-ExternalFetcher voi ohittaa robots.txt-tiedoston. Jos estät sen palomuurissa, nämä haut epäonnistuvat.
robots.txt-tunnus
meta-externalfetcher
User agent -merkkijono
meta-externalfetcher/1.1Miten sen sallii
User-agent: meta-externalfetcher
Allow: /Miten sen estää
User-agent: meta-externalfetcher
Disallow: /Miten aidot käynnit varmistetaan
Meta ei julkaise robottidokumentaatiossaan tämän noutajan IP-alueita eikä käänteistä DNS-menetelmää, joten pelkkä user agentin täsmäys ei todista pyyntöä aidoksi. Meta ohjaa robotteja koskevat kysymykset osoitteeseen webmasters@meta.com.