meta-externalagent
Meta-ExternalAgent — Meta-ның базалық ЖИ модельдерін оқыту және мазмұнды тікелей индекстеу арқылы өнімдерді жақсарту сияқты мақсаттарға арналған краулері. Meta оны robots.txt-тегі disallow арқылы бұғаттауға болатынын айтады. Meta AI іздеуі басқа краулерді, meta-webindexer-ді пайдаланады, бұл ереже оны қамтымайды.
Оны қалай өткізуге болады
User-agent: meta-externalagent
Allow: / Оны қалай бұғаттауға болады
User-agent: meta-externalagent
Disallow: / Ол не істейді
Meta-ның айтуынша, Meta-ExternalAgent краулері интернетті базалық ЖИ модельдерін оқыту немесе мазмұнды тікелей индекстеу арқылы өнімдерді жақсарту сияқты мақсаттар үшін краулингтен өткізеді. Meta оны robots.txt-ке meta-externalagent үшін disallow ережесін қосу арқылы бұғаттауды сипаттайды.
Ол Meta AI іздеу нәтижелерін жақсарту үшін Meta пайдаланатын meta-webindexer-ден және пайдаланушы сұрауы бойынша сілтемелерді алатын Meta-ExternalFetcher-ден бөлек.
2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 19.5% бөлігі оны бұғаттаған. →
robots.txt токені
meta-externalagent
User-agent жолы
meta-externalagent/1.1 Нақты кірулерді қалай тексеруге болады
Meta өзінің краулер құжаттамасында бұл краулер үшін IP ауқымдарын немесе reverse DNS әдісін жарияламайды, сондықтан тек user agent сәйкестігі сұраудың шынайы екенін дәлелдей алмайды. Meta өз краулерлері туралы сұрақтарды webmasters@meta.com мекенжайына жолдайды.
Сайтыңыз оны өткізетінін тексеріңіз →
ЖИ краулерлеріне арналған robots.txt: нені өткізу, нені бұғаттау керек →