meta-externalfetcher
ഉപയോക്താവ് ആവശ്യപ്പെടുമ്പോൾ Meta-ExternalFetcher ഓരോ ലിങ്കുകൾ എടുക്കുന്നു, ഉദാഹരണത്തിന് വെബ്സൈറ്റുകളിൽ ജോലികൾ പൂർത്തിയാക്കാൻ ആളുകളെ സഹായിക്കുന്ന ഏജന്റിക് AI-യെ പിന്തുണയ്ക്കാൻ. ഉപയോക്താക്കൾ ആവശ്യപ്പെട്ട ഫെച്ചുകൾ നടത്തുന്നതിനാൽ ഇത് robots.txt മറികടന്നേക്കാമെന്ന് Meta പറയുന്നു, അതിനാൽ ഒരു ഫയർവാൾ നിയമത്തിന് മാത്രമേ ഇതിനെ ഉറപ്പായി തടയാനാകൂ.
ഇതിനെ എങ്ങനെ അനുവദിക്കാം
User-agent: meta-externalfetcher
Allow: / ഇതിനെ എങ്ങനെ തടയാം
User-agent: meta-externalfetcher
Disallow: / ഇത് എന്തു ചെയ്യുന്നു
വെബ്സൈറ്റുകളിൽ ജോലികൾ പൂർത്തിയാക്കാൻ ഉപയോക്താക്കളെ സഹായിക്കുന്ന ഏജന്റിക് AI പോലുള്ള ഉൽപ്പന്ന ഫംഗ്ഷനുകളെ പിന്തുണയ്ക്കാൻ, ഉപയോക്താവ് തുടങ്ങുന്ന ഓരോ ലിങ്ക് ഫെച്ചുകളും Meta-ExternalFetcher നടത്തുന്നുവെന്ന് Meta പറയുന്നു. ഇത് ഒരു പൊതു ക്രോളറല്ല.
ഈ ഫെച്ചുകൾ ഉപയോക്താവ് ആവശ്യപ്പെട്ടതായതിനാൽ Meta-ExternalFetcher robots.txt മറികടന്നേക്കാമെന്ന് Meta വ്യക്തമാക്കുന്നു. ഫയർവാളിൽ ഇതിനെ തടഞ്ഞാൽ ആ ഫെച്ചുകൾ പരാജയപ്പെടും.
robots.txt ടോക്കൺ
meta-externalfetcher
യൂസർ-ഏജന്റ് സ്ട്രിംഗ്
meta-externalfetcher/1.1 യഥാർത്ഥ സന്ദർശനങ്ങൾ എങ്ങനെ പരിശോധിച്ചുറപ്പിക്കാം
Meta അതിന്റെ ക്രോളർ ഡോക്യുമെന്റേഷനിൽ ഈ ഫെച്ചറിനായി IP ശ്രേണികളോ റിവേഴ്സ് DNS രീതിയോ പ്രസിദ്ധീകരിക്കുന്നില്ല, അതിനാൽ യൂസർ ഏജന്റ് പൊരുത്തം മാത്രം കൊണ്ട് ഒരു അഭ്യർത്ഥന യഥാർത്ഥമാണെന്ന് തെളിയിക്കാനാവില്ല. ക്രോളറുകളെക്കുറിച്ചുള്ള ചോദ്യങ്ങൾ webmasters@meta.com-ലേക്ക് അയയ്ക്കാനാണ് Meta നിർദ്ദേശിക്കുന്നത്.
നിങ്ങളുടെ സൈറ്റ് ഇതിനെ അകത്തേക്ക് കടത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക →