meta-externalfetcher
Meta-ExternalFetcher жеке сілтемелерді пайдаланушы сұрағанда алады, мысалы, адамдарға веб-сайттарда тапсырмаларды орындауға көмектесетін агенттік ЖИ-ді қолдау үшін. Meta пайдаланушылар сұраған жүктеулерді орындайтындықтан, оның robots.txt-ті айналып өтуі мүмкін екенін айтады, сондықтан оны тек файрвол ережесі сенімді түрде тоқтатады.
Оны қалай өткізуге болады
User-agent: meta-externalfetcher
Allow: / Оны қалай бұғаттауға болады
User-agent: meta-externalfetcher
Disallow: / Ол не істейді
Meta-ның айтуынша, Meta-ExternalFetcher өнім функцияларын, мысалы, пайдаланушыларға веб-сайттарда тапсырмаларды орындауға көмектесетін агенттік ЖИ-ді қолдау үшін пайдаланушы бастаған жеке сілтемелерді жүктеуді орындайды. Бұл жалпы краулер емес.
Meta бұл жүктеулерді пайдаланушы сұрағандықтан, Meta-ExternalFetcher robots.txt-ті айналып өтуі мүмкін екенін мәлімдейді. Оны файрволда бұғаттау сол жүктеулерді сәтсіз етеді.
robots.txt токені
meta-externalfetcher
User-agent жолы
meta-externalfetcher/1.1 Нақты кірулерді қалай тексеруге болады
Meta өзінің краулер құжаттамасында бұл жүктеу құралы үшін IP ауқымдарын немесе reverse DNS әдісін жарияламайды, сондықтан тек user agent сәйкестігі сұраудың шынайы екенін дәлелдей алмайды. Meta өз краулерлері туралы сұрақтарды webmasters@meta.com мекенжайына жолдайды.