meta-externalfetcher
Meta-ExternalFetcher ดึงลิงก์ทีละรายการเมื่อผู้ใช้ร้องขอ เช่น เพื่อสนับสนุน AI แบบเอเจนต์ที่ช่วยผู้คนทำงานให้เสร็จบนเว็บไซต์ Meta ระบุว่ามันอาจข้าม robots.txt เพราะเป็นการดึงข้อมูลที่ผู้ใช้ร้องขอ จึงมีเพียงกฎของไฟร์วอลล์เท่านั้นที่หยุดได้อย่างเชื่อถือได้
ทำอะไร
Meta ระบุว่า Meta-ExternalFetcher ดึงลิงก์ทีละรายการตามที่ผู้ใช้เป็นผู้เริ่ม เพื่อสนับสนุนฟังก์ชันของผลิตภัณฑ์ เช่น AI แบบเอเจนต์ที่ช่วยผู้ใช้ทำงานให้เสร็จบนเว็บไซต์ มันไม่ใช่ crawler ทั่วไป
Meta ระบุว่าเนื่องจากการดึงข้อมูลเหล่านี้ผู้ใช้เป็นผู้ร้องขอ Meta-ExternalFetcher จึงอาจข้าม robots.txt การบล็อกที่ไฟร์วอลล์ทำให้การดึงข้อมูลเหล่านั้นล้มเหลว
โทเค็น robots.txt
meta-externalfetcher
สตริง user agent
meta-externalfetcher/1.1
วิธีอนุญาต
User-agent: meta-externalfetcher
Allow: /
วิธีบล็อก
User-agent: meta-externalfetcher
Disallow: /
วิธีตรวจสอบการเข้าชมจริง
Meta ไม่ได้เผยแพร่ช่วง IP หรือวิธี reverse DNS สำหรับตัวนี้ในเอกสารเกี่ยวกับ crawler ดังนั้นการตรงกับ user agent เพียงอย่างเดียวพิสูจน์ไม่ได้ว่าคำขอเป็นของจริง Meta แนะนำให้ส่งคำถามเกี่ยวกับ crawler ของบริษัทไปที่ webmasters@meta.com