Applebot
Apple-ന്റെ വെബ് ക്രോളറാണ് Applebot. ഇതിന്റെ ഡാറ്റ Spotlight, Siri, Safari എന്നിവയിലെ സെർച്ചിന് കരുത്തേകുന്നു; Apple-ന്റെ ഫൗണ്ടേഷൻ മോഡലുകളുടെ പരിശീലനത്തിനും ഇത് ഉപയോഗിച്ചേക്കാമെന്ന് Apple പറയുന്നു. Applebot-നെ തടഞ്ഞാൽ ആ Apple സെർച്ച് ഫീച്ചറുകളിൽ നിന്ന് നിങ്ങളുടെ പേജുകൾ നീക്കം ചെയ്യപ്പെടും; പരിശീലനത്തിൽ നിന്ന് മാത്രം ഒഴിവാകാൻ പകരം Applebot-Extended-നെ വിലക്കുക.
ഇതിനെ എങ്ങനെ അനുവദിക്കാം
User-agent: Applebot
Allow: / ഇതിനെ എങ്ങനെ തടയാം
User-agent: Applebot
Disallow: / ഇത് എന്തു ചെയ്യുന്നു
Applebot ക്രോൾ ചെയ്യുന്ന ഡാറ്റ Spotlight, Siri, Safari ഉൾപ്പെടെ തങ്ങളുടെ ഇക്കോസിസ്റ്റത്തിലെ സെർച്ച് ഫീച്ചറുകൾക്ക് കരുത്തേകുന്നുവെന്നും, robots.txt-ൽ Applebot-നെ അനുവദിച്ചാൽ Apple ഉപയോക്താക്കൾക്കുള്ള സെർച്ച് ഫലങ്ങളിൽ നിങ്ങളുടെ ഉള്ളടക്കം വരുമെന്നും Apple പറയുന്നു. Apple ഫൗണ്ടേഷൻ മോഡലുകളുടെ പരിശീലനത്തിനും Apple ഉൽപ്പന്നങ്ങളിലെ AI മോഡലുകൾക്ക് പുതിയ സന്ദർഭം നൽകാനും ഈ ഡാറ്റ ഉപയോഗിച്ചേക്കാം.
തന്നെ ലക്ഷ്യമിടുന്ന robots.txt നിർദ്ദേശങ്ങൾ Applebot മാനിക്കുന്നു. നിങ്ങളുടെ robots.txt Applebot-നെ പരാമർശിക്കാതെ Googlebot-നെ പരാമർശിക്കുന്നുണ്ടെങ്കിൽ, Applebot Googlebot നിയമങ്ങൾ പാലിക്കുമെന്ന് Apple പറയുന്നു. ഇത് Crawl-delay പാലിക്കില്ല. പരിശീലനത്തിനുള്ള ഉപയോഗം Applebot-Extended ടോക്കൺ വഴി പ്രത്യേകമായി നിയന്ത്രിക്കുന്നു.
ഞങ്ങളുടെ 2026-11 പഠനത്തിൽ, robots.txt ഉള്ള ജനപ്രിയ സൈറ്റുകളിൽ 3.9% ഇതിനെ തടഞ്ഞിരുന്നു. →
robots.txt ടോക്കൺ
Applebot
യൂസർ-ഏജന്റ് സ്ട്രിംഗ്
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot) യഥാർത്ഥ സന്ദർശനങ്ങൾ എങ്ങനെ പരിശോധിച്ചുറപ്പിക്കാം
applebot.apple.com ഡൊമെയ്നിലെ ഹോസ്റ്റ്നെയിം നൽകുന്ന റിവേഴ്സ് DNS ലുക്കപ്പ് വഴി Applebot ട്രാഫിക് തിരിച്ചറിയാമെന്ന് Apple പറയുന്നു; ഹോസ്റ്റ്നെയിം അതേ IP-യിലേക്ക് തിരികെ പോകുന്നുവെന്ന് ഫോർവേഡ് ലുക്കപ്പ് വഴി ഉറപ്പാക്കുക. Apple applebot.json-ൽ പ്രസിദ്ധീകരിക്കുന്ന CIDR പ്രിഫിക്സുകളുമായും IP ഒത്തുനോക്കാം.
നിങ്ങളുടെ സൈറ്റ് ഇതിനെ അകത്തേക്ക് കടത്തുന്നുണ്ടോ എന്ന് പരിശോധിക്കുക →
AI ക്രോളറുകൾക്കുള്ള robots.txt: എന്ത് അനുവദിക്കണം, എന്ത് തടയണം →