meta-externalagent

Meta · AI oʻqitish

Meta-ExternalAgent — Metaʼning asosiy AI modellarini oʻqitish va kontentni bevosita indekslash orqali mahsulotlarni yaxshilash kabi maqsadlar uchun krauleri. Meta aytishicha, uni robots.txt dagi disallow bilan bloklash mumkin. Meta AI qidiruvi boshqa krauler — meta-webindexer dan foydalanadi, bu qoida uni qamrab olmaydi.

Unga qanday ruxsat berish mumkin

User-agent: meta-externalagent
Allow: /

Uni qanday bloklash mumkin

User-agent: meta-externalagent
Disallow: /

U nima qiladi

Meta aytishicha, Meta-ExternalAgent krauleri internetni asosiy AI modellarini oʻqitish yoki kontentni bevosita indekslash orqali mahsulotlarni yaxshilash kabi maqsadlar uchun skanerlaydi. Meta uni robots.txt ga meta-externalagent uchun disallow qoidasini qoʻshish orqali bloklashni hujjatlashtiradi.

U Meta AI qidiruv natijalarini yaxshilash uchun Meta foydalanadigan meta-webindexer dan va foydalanuvchi soʻroviga koʻra havolalarni yuklaydigan Meta-ExternalFetcher dan alohida.

Tadqiqotimizda (2026-11) robots.txt fayli bor mashhur saytlarning 19.5% qismi uni bloklagan. →

robots.txt tokeni

meta-externalagent

User-agent satri

meta-externalagent/1.1

Haqiqiy tashriflarni qanday tasdiqlash mumkin

Meta oʻzining krauler hujjatlarida bu krauler uchun IP diapazonlari yoki reverse DNS usulini eʼlon qilmaydi, shuning uchun faqat user agent mosligi soʻrov haqiqiy ekanini isbotlay olmaydi. Meta oʻz kraulerlari haqidagi savollarni webmasters@meta.com manziliga yuborishni soʻraydi.

Saytingiz unga ruxsat berishini tekshiring →

AI kraulerlari uchun robots.txt: nimaga ruxsat berish, nimani bloklash →