meta-externalfetcher
Meta-ExternalFetcher, bir kullanıcı istediğinde tekil bağlantıları getirir; örneğin insanların web sitelerinde görevleri tamamlamasına yardım eden etmenli (agentic) yapay zekâyı desteklemek için. Meta, kullanıcıların istediği getirmeleri yaptığı için robots.txt'yi atlayabileceğini söylüyor; bu yüzden onu güvenilir biçimde yalnızca bir güvenlik duvarı kuralı durdurur.
Ne yapar
Meta, Meta-ExternalFetcher'ın kullanıcıların web sitelerinde görevleri tamamlamasına yardım eden etmenli yapay zekâ gibi ürün işlevlerini desteklemek için tekil bağlantıları kullanıcı başlatımıyla getirdiğini söylüyor. Genel amaçlı bir tarayıcı değildir.
Meta, bu getirmeleri bir kullanıcı istediği için Meta-ExternalFetcher'ın robots.txt'yi atlayabileceğini belirtiyor. Güvenlik duvarında engellemek bu getirmeleri başarısız kılar.
robots.txt token'ı
meta-externalfetcher
User agent dizesi
meta-externalfetcher/1.1Nasıl izin verilir
User-agent: meta-externalfetcher
Allow: /Nasıl engellenir
User-agent: meta-externalfetcher
Disallow: /Gerçek ziyaretler nasıl doğrulanır
Meta, tarayıcı belgelerinde bu etmen için IP aralığı veya ters DNS yöntemi yayımlamaz; bu yüzden yalnızca user agent eşleşmesi bir isteğin gerçek olduğunu kanıtlayamaz. Meta, tarayıcılarına ilişkin soruları webmasters@meta.com adresine yönlendirir.