meta-externalfetcher
A Meta-ExternalFetcher egyes hivatkozásokat tölt le, amikor egy felhasználó kéri, például olyan ágens-alapú AI támogatásához, amely segít az embereknek a webhelyeken feladatokat elvégezni. A Meta szerint megkerülheti a robots.txt fájlt, mert a felhasználók által kért lekéréseket végez, ezért megbízhatóan csak tűzfalszabály állítja meg.
Mit csinál
A Meta közli, hogy a Meta-ExternalFetcher egyes hivatkozások felhasználó által indított lekérését végzi termékfunkciók támogatásához, például olyan ágens-alapú AI-hoz, amely segít a felhasználóknak webhelyeken feladatokat elvégezni. Nem általános crawler.
A Meta közli, hogy mivel ezeket a lekéréseket a felhasználó kérte, a Meta-ExternalFetcher megkerülheti a robots.txt fájlt. Ha a tűzfalon blokkolja, ezek a lekérések meghiúsulnak.
robots.txt token
meta-externalfetcher
User-agent karakterlánc
meta-externalfetcher/1.1Hogyan engedélyezheti
User-agent: meta-externalfetcher
Allow: /Hogyan tilthatja le
User-agent: meta-externalfetcher
Disallow: /Hogyan ellenőrizheti a valódi látogatásokat
A Meta a crawlerdokumentációjában nem tesz közzé IP-tartományokat vagy fordított DNS-es módszert ehhez a crawlerhez, ezért a user agent egyezése önmagában nem bizonyítja, hogy egy kérés valódi. A Meta a crawlereivel kapcsolatos kérdéseket a webmasters@meta.com címre irányítja.