meta-externalagent

Meta · ЖИ-ді оқыту

Meta-ExternalAgent — Meta-ның базалық ЖИ модельдерін оқыту және мазмұнды тікелей индекстеу арқылы өнімдерді жақсарту сияқты мақсаттарға арналған краулері. Meta оны robots.txt-тегі disallow арқылы бұғаттауға болатынын айтады. Meta AI іздеуі басқа краулерді, meta-webindexer-ді пайдаланады, бұл ереже оны қамтымайды.

Оны қалай өткізуге болады

User-agent: meta-externalagent
Allow: /

Оны қалай бұғаттауға болады

User-agent: meta-externalagent
Disallow: /

Ол не істейді

Meta-ның айтуынша, Meta-ExternalAgent краулері интернетті базалық ЖИ модельдерін оқыту немесе мазмұнды тікелей индекстеу арқылы өнімдерді жақсарту сияқты мақсаттар үшін краулингтен өткізеді. Meta оны robots.txt-ке meta-externalagent үшін disallow ережесін қосу арқылы бұғаттауды сипаттайды.

Ол Meta AI іздеу нәтижелерін жақсарту үшін Meta пайдаланатын meta-webindexer-ден және пайдаланушы сұрауы бойынша сілтемелерді алатын Meta-ExternalFetcher-ден бөлек.

2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 19.5% бөлігі оны бұғаттаған. →

robots.txt токені

meta-externalagent

User-agent жолы

meta-externalagent/1.1

Нақты кірулерді қалай тексеруге болады

Meta өзінің краулер құжаттамасында бұл краулер үшін IP ауқымдарын немесе reverse DNS әдісін жарияламайды, сондықтан тек user agent сәйкестігі сұраудың шынайы екенін дәлелдей алмайды. Meta өз краулерлері туралы сұрақтарды webmasters@meta.com мекенжайына жолдайды.

Сайтыңыз оны өткізетінін тексеріңіз →

ЖИ краулерлеріне арналған robots.txt: нені өткізу, нені бұғаттау керек →