meta-externalagent
ഫൗണ്ടേഷൻ AI മോഡലുകളുടെ പരിശീലനം, ഉള്ളടക്കം നേരിട്ട് ഇൻഡക്സ് ചെയ്ത് ഉൽപ്പന്നങ്ങൾ മെച്ചപ്പെടുത്തൽ തുടങ്ങിയ ആവശ്യങ്ങൾക്കുള്ള Meta-യുടെ ക്രോളറാണ് Meta-ExternalAgent. robots.txt-ലെ disallow വഴി ഇതിനെ തടയാമെന്ന് Meta പറയുന്നു. Meta AI സെർച്ച് meta-webindexer എന്ന മറ്റൊരു ക്രോളറാണ് ഉപയോഗിക്കുന്നത്, ഈ നിയമം അതിന് ബാധകമല്ല.
ഇതിനെ എങ്ങനെ അനുവദിക്കാം
User-agent: meta-externalagent
Allow: / ഇതിനെ എങ്ങനെ തടയാം
User-agent: meta-externalagent
Disallow: / ഇത് എന്തു ചെയ്യുന്നു
ഫൗണ്ടേഷൻ AI മോഡലുകളുടെ പരിശീലനം, ഉള്ളടക്കം നേരിട്ട് ഇൻഡക്സ് ചെയ്ത് ഉൽപ്പന്നങ്ങൾ മെച്ചപ്പെടുത്തൽ തുടങ്ങിയ ഉപയോഗങ്ങൾക്കായി Meta-ExternalAgent ക്രോളർ വെബ് ക്രോൾ ചെയ്യുന്നുവെന്ന് Meta പറയുന്നു. robots.txt-ൽ meta-externalagent-നുള്ള disallow നിയമം ചേർത്ത് ഇതിനെ തടയുന്ന വിധം Meta രേഖപ്പെടുത്തുന്നു.
Meta AI സെർച്ച് ഫലങ്ങൾ മെച്ചപ്പെടുത്താൻ Meta ഉപയോഗിക്കുന്ന meta-webindexer-ൽ നിന്നും, ഉപയോക്താവിന്റെ അഭ്യർത്ഥനപ്രകാരം ലിങ്കുകൾ എടുക്കുന്ന Meta-ExternalFetcher-ൽ നിന്നും ഇത് വേറിട്ടതാണ്.
ഞങ്ങളുടെ 2026-11 പഠനത്തിൽ, robots.txt ഉള്ള ജനപ്രിയ സൈറ്റുകളിൽ 19.5% ഇതിനെ തടഞ്ഞിരുന്നു. →
robots.txt ടോക്കൺ
meta-externalagent
യൂസർ-ഏജന്റ് സ്ട്രിംഗ്
meta-externalagent/1.1 യഥാർത്ഥ സന്ദർശനങ്ങൾ എങ്ങനെ പരിശോധിച്ചുറപ്പിക്കാം
Meta അതിന്റെ ക്രോളർ ഡോക്യുമെന്റേഷനിൽ ഈ ക്രോളറിനായി IP ശ്രേണികളോ റിവേഴ്സ് DNS രീതിയോ പ്രസിദ്ധീകരിക്കുന്നില്ല, അതിനാൽ യൂസർ ഏജന്റ് പൊരുത്തം മാത്രം കൊണ്ട് ഒരു അഭ്യർത്ഥന യഥാർത്ഥമാണെന്ന് തെളിയിക്കാനാവില്ല. ക്രോളറുകളെക്കുറിച്ചുള്ള ചോദ്യങ്ങൾ webmasters@meta.com-ലേക്ക് അയയ്ക്കാനാണ് Meta നിർദ്ദേശിക്കുന്നത്.
നിങ്ങളുടെ സൈറ്റ് ഇതിനെ അകത്തേക്ക് കടത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക →
AI ക്രോളറുകൾക്കുള്ള robots.txt: എന്ത് അനുവദിക്കണം, എന്ത് തടയണം →