meta-externalfetcher
Meta-ExternalFetcher изтегля отделни връзки, когато потребител ги поиска, например в помощ на агентен AI, който помага на хората да изпълняват задачи в уебсайтове. Meta казва, че той може да заобикаля robots.txt, защото извършва изтегляния, поискани от потребители, така че само правило в защитната стена го спира надеждно.
Как да го допуснете
User-agent: meta-externalfetcher
Allow: / Как да го блокирате
User-agent: meta-externalfetcher
Disallow: / Какво прави
Meta казва, че Meta-ExternalFetcher извършва изтегляния на отделни връзки, започнати от потребители, в подкрепа на функции на продуктите, като агентен AI, който помага на потребителите да изпълняват задачи в уебсайтове. Това не е общ бот за обхождане.
Meta заявява, че тъй като тези изтегляния са поискани от потребител, Meta-ExternalFetcher може да заобикаля robots.txt. Блокирането му в защитната стена прави тези изтегляния неуспешни.
Токен за robots.txt
meta-externalfetcher
Низ на user agent
meta-externalfetcher/1.1 Как да проверите истинските посещения
Meta не публикува IP диапазони или метод с обратен DNS за този инструмент за изтегляне в документацията си за ботовете, така че само съвпадение по user agent не може да докаже, че заявката е истинска. Meta насочва въпросите за своите ботове към webmasters@meta.com.