meta-externalfetcher
Meta-ExternalFetcher foydalanuvchi soʻraganda alohida havolalarni yuklaydi, masalan odamlarga veb-saytlarda vazifalarni bajarishga yordam beradigan agentli AIʼni qoʻllab-quvvatlash uchun. Meta aytishicha, u foydalanuvchilar soʻragan yuklashlarni bajargani uchun robots.txt ni chetlab oʻtishi mumkin, shuning uchun uni faqat firewall qoidasi ishonchli toʻxtatadi.
Unga qanday ruxsat berish mumkin
User-agent: meta-externalfetcher
Allow: / Uni qanday bloklash mumkin
User-agent: meta-externalfetcher
Disallow: / U nima qiladi
Meta aytishicha, Meta-ExternalFetcher mahsulot funksiyalarini, masalan foydalanuvchilarga veb-saytlarda vazifalarni bajarishga yordam beradigan agentli AIʼni qoʻllab-quvvatlash uchun alohida havolalarni foydalanuvchi tashabbusi bilan yuklaydi. Bu umumiy krauler emas.
Meta bu yuklashlarni foydalanuvchi soʻragani uchun Meta-ExternalFetcher robots.txt ni chetlab oʻtishi mumkinligini bildiradi. Uni firewallʼda bloklash bu yuklashlarni muvaffaqiyatsiz qiladi.
robots.txt tokeni
meta-externalfetcher
User-agent satri
meta-externalfetcher/1.1 Haqiqiy tashriflarni qanday tasdiqlash mumkin
Meta oʻzining krauler hujjatlarida bu agent uchun IP diapazonlari yoki reverse DNS usulini eʼlon qilmaydi, shuning uchun faqat user agent mosligi soʻrov haqiqiy ekanini isbotlay olmaydi. Meta oʻz kraulerlari haqidagi savollarni webmasters@meta.com manziliga yuborishni soʻraydi.