Applebot
Applebot خزنده وب Apple است. دادههای آن جستجو در Spotlight، Siri و Safari را پشتیبانی میکنند، و Apple میگوید ممکن است برای آموزش مدلهای پایه Apple هم استفاده شوند. مسدود کردن Applebot صفحههای شما را از این قابلیتهای جستجوی Apple حذف میکند؛ برای انصراف فقط از آموزش، بهجای آن Applebot-Extended را ممنوع کنید.
چطور به آن اجازه دهید
User-agent: Applebot
Allow: / چطور آن را مسدود کنید
User-agent: Applebot
Disallow: / چه کاری میکند
Apple میگوید دادههایی که Applebot میخزد قابلیتهای جستجو در سراسر اکوسیستم آن، از جمله Spotlight، Siri و Safari، را پشتیبانی میکنند و اجازه دادن به Applebot در robots.txt باعث میشود محتوای شما در نتایج جستجوی کاربران Apple ظاهر شود. این دادهها ممکن است برای آموزش مدلهای پایه Apple و برای دادن زمینه بهروز به مدلهای هوش مصنوعی در محصولات Apple هم استفاده شوند.
Applebot به دستورهای robots.txt که خطاب به آن هستند احترام میگذارد. اگر robots.txt شما نامی از Applebot نبرده اما Googlebot را نام برده باشد، Apple میگوید Applebot از قوانین Googlebot پیروی میکند. از Crawl-delay پیروی نمیکند. استفاده آموزشی جداگانه با توکن Applebot-Extended کنترل میشود.
در پژوهش 2026-11 ما، 3.9% از سایتهای پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←
توکن robots.txt
Applebot
رشته user agent
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot) چطور بازدیدهای واقعی را تأیید کنید
Apple میگوید ترافیک Applebot را میتوان با جستجوی DNS معکوسی شناسایی کرد که نام میزبانی در دامنه applebot.apple.com برگرداند؛ با یک جستجوی مستقیم تأیید کنید که نام میزبان به همان IP برمیگردد. همچنین میتوانید IP را با پیشوندهای CIDR که Apple در applebot.json منتشر میکند مقایسه کنید.
بررسی کنید که آیا سایت شما به آن اجازه ورود میدهد ←
robots.txt برای خزندههای هوش مصنوعی: چه چیزی را مجاز و چه چیزی را مسدود کنیم ←