چطور بفهمیم سایتی خزنده‌های هوش مصنوعی را مسدود می‌کند یا نه

هر آدرسی را وارد کنید و ببینید آیا GPTBot، ClaudeBot، PerplexityBot و بقیه خزنده‌های هوش مصنوعی را مسدود می‌کند: در robots.txt، در فایروال، یا هر دو.

رایگان · بدون ثبت‌نام · نتیجه در 30 ثانیه

کدام خزنده‌ها مسدودند

خزنده‌های آموزشی، جستجو و کاربر جدا نشان داده می‌شوند، چون مسدود کردن GPTBot جلوی OAI-SearchBot را نمی‌گیرد و مسدود کردن ClaudeBot هم جلوی Claude-SearchBot را نمی‌گیرد.

خطی که تصمیم می‌گیرد

برای هر خزنده، robots.txt طبق قواعد RFC 9309 خوانده می‌شود: گروهی که نام آن را آورده، یا User-agent: * به‌عنوان جایگزین، و قاعده‌ای که غالب است.

ردِ درخواست توسط فایروال

صفحه یک بار به‌عنوان 14 خزنده و یک بار به‌عنوان مرورگر عادی درخواست می‌شود. مسدودسازی‌ها و صفحه‌های چالش علامت‌گذاری می‌شوند و نام فایروالی که پاسخ داده اعلام می‌شود.

راه‌حل برای هر یافته

هر یافته همراه تغییری می‌آید که باید انجام دهید. بررسی رایگان امتیاز و اولین یافته را نشان می‌دهد؛ گزارش کامل 29$ است، یک‌بار پرداخت.

پاسخ کوتاه

سایت می‌تواند خزنده‌های هوش مصنوعی را در دو جا مسدود کند: در robots.txt که از خزنده‌ها می‌خواهد دور بمانند، و در سرور یا فایروال که واقعاً آن‌ها را رد می‌کند. در robots.txt دنبال توکن هر خزنده بگردید و اگر نبود، گروه User-agent: * را ببینید؛ سپس صفحه را به‌عنوان خزنده دریافت کنید و با چیزی که مرورگر می‌گیرد مقایسه کنید. یک افزونه مرورگر بخش robots.txt را برای 16 خزنده هوش مصنوعی با یک کلیک انجام می‌دهد.

بررسی دستی در 3 مرحله

  1. خزنده را انتخاب کنید

    هر شرکت هوش مصنوعی چند خزنده جداگانه دارد. آموزشی: GPTBot، ClaudeBot. جستجو: OAI-SearchBot، Claude-SearchBot، PerplexityBot. به درخواست کاربر: ChatGPT-User، Claude-User، Perplexity-User.

  2. robots.txt را برای آن بخوانید

    https://example.com/robots.txt را باز کنید و گروهی را پیدا کنید که نام خزنده را آورده است. اگر هیچ گروهی نبود، گروه User-agent: * اعمال می‌شود؛ اگر هیچ‌کدام نبود، همه‌چیز مجاز است.

  3. صفحه را به‌عنوان خزنده دریافت کنید

    صفحه را با user agent خزنده درخواست کنید و وضعیت و حجم پاسخ را با پاسخ مرورگر مقایسه کنید. خطای 403، صفحه چالش یا پاسخ 200 بسیار کوچک‌تر یعنی فایروال آن را رد می‌کند.

پرسش‌های متداول

آیا سایتی که robots.txt ندارد برای خزنده‌های هوش مصنوعی باز است؟

بله، تا جایی که به robots.txt مربوط است. پاسخ 404 برای robots.txt یعنی هیچ قانونی وجود ندارد، پس هر خزنده‌ای می‌تواند هر صفحه‌ای را دریافت کند. با این حال فایروال همچنان می‌تواند خزنده‌ها را مسدود کند.

آیا افزونه مسدودسازی‌های فایروال را نشان می‌دهد؟

نه. افزونه robots.txt را از مرورگر شما می‌خواند و این نشان می‌دهد سایت از خزنده‌ها چه می‌خواهد. برای دیدن مسدودسازی‌های فایروال و محافظت در برابر ربات‌ها درخواستی لازم است که به‌عنوان خزنده ارسال شود، و این کار را بررسی کامل در aiseewhy.com انجام می‌دهد.

آیا می‌توانم سایتی را که مال من نیست بررسی کنم؟

بله. robots.txt عمومی است و افزونه فقط فایل‌های robots.txt و llms.txt را که سایت منتشر می‌کند می‌خواند، یعنی همان فایل‌هایی که هر خزنده‌ای می‌خواند.

راهنمای کامل را بخوانید

چه سایت خودتان را بعد از یک تغییر بررسی کنید و چه پیش از اتکا به سایت شخص دیگری به آن نگاه کنید، پرسش «آیا این سایت خزنده‌های هوش مصنوعی را مسدود می‌کند؟» پاسخ دقیقی دارد. پاسخ به این بستگی دارد که منظورتان کدام خزنده است، چون شرکت‌های هوش مصنوعی برای آموزش، جستجو و بازدیدهای لحظه‌ای خزنده‌های جداگانه‌ای دارند و سایت می‌تواند با هرکدام رفتار متفاوتی داشته باشد. این راهنما سه روش بررسی را، از سریع‌ترین تا کامل‌ترین، نشان می‌دهد.

سایت در کجا می‌تواند خزنده‌های هوش مصنوعی را مسدود کند؟

سه لایه وجود دارد و خزنده برای استفاده از یک صفحه باید از همه آن‌ها عبور کند.

  • robots.txt: فایل عمومی قوانین که خزنده‌های قانون‌مدار پیش از دریافت هر چیزی آن را می‌خوانند. این یک درخواست است، نه قفل.
  • سرور، CDN یا فایروال: این‌ها تصمیم می‌گیرند واقعاً چه چیزی برگردانده شود. یک قانون محافظت در برابر ربات‌ها می‌تواند حتی وقتی robots.txt اجازه می‌دهد، به خزنده با 403، 429 یا صفحه چالش پاسخ دهد.
  • خود صفحه: اگر متن اصلی فقط پس از اجرای JavaScript ظاهر شود، خزنده‌ای که HTML اولیه را می‌خواند صفحه‌ای تقریباً خالی می‌گیرد، هرچند چیزی آن را مسدود نکرده است.

بیشتر بررسی‌های سریع فقط به لایه اول نگاه می‌کنند. این شروع خوبی است، به شرطی که دو لایه دیگر را فراموش نکنید.

چطور robots.txt را برای یک خزنده هوش مصنوعی بخوانم؟

نشانی https://example.com/robots.txt را در مرورگر باز کنید و گروهی را که به خزنده مربوط است پیدا کنید. هر گروه با یک یا چند خط User-agent شروع می‌شود. خزنده از گروهی استفاده می‌کند که توکن آن را نام می‌برد، مانند GPTBot؛ تطبیق به حروف بزرگ و کوچک حساس نیست. اگر هیچ گروهی نام آن را نبرد، از گروه User-agent: * استفاده می‌کند. اگر هیچ‌کدام نباشد، همه چیز مجاز است.

درون گروه، قانونی برنده است که طولانی‌ترین مسیر منطبق را دارد، و وقتی یک Allow و یک Disallow هم‌طول باشند، Allow برنده است. بنابراین فایل زیر GPTBot را از کل سایت مسدود می‌کند اما به همه خزنده‌های دیگر اجازه ورود می‌دهد:

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

به نحوه پاسخ‌دادن فایل هم نگاه کنید. طبق RFC 9309، پاسخ 404 یعنی هیچ قانونی وجود ندارد، پس همه چیز مجاز است. خطای سرور (5xx) یا نبود هیچ پاسخی یعنی خزنده باید کل سایت را ممنوع فرض کند. نشانی robots.txt که یک صفحه HTML برمی‌گرداند اشتباه رایجی است: خزنده‌ها در آن هیچ قانون معتبری پیدا نمی‌کنند.

چطور همه خزنده‌های هوش مصنوعی را یک‌جا بررسی کنم؟

وقتی بیش از یک خزنده برایتان مهم باشد، خواندن دستی فایل کند می‌شود. هر شرکت هوش مصنوعی چند خزنده با کارهای متفاوت دارد:

  • خزنده‌های آموزشی برای آموزش مدل محتوا جمع می‌کنند: GPTBot، ClaudeBot، CCBot، Bytespider، meta-externalagent، به‌علاوه توکن‌های Google-Extended و Applebot-Extended که فقط در robots.txt ظاهر می‌شوند.
  • خزنده‌های جستجو صفحات را نمایه می‌کنند تا پاسخ‌های هوش مصنوعی بتوانند به آن‌ها استناد کنند: OAI-SearchBot، Claude-SearchBot، PerplexityBot.
  • خزنده‌های کاربر وقتی کسی از دستیار بخواهد، صفحه را دریافت می‌کنند: ChatGPT-User، Claude-User، Perplexity-User.

افزونه رایگان «بررسی خزنده‌های هوش مصنوعی» برای Chrome این کار را با یک کلیک انجام می‌دهد. هر صفحه‌ای را باز کنید و روی نماد افزونه کلیک کنید؛ افزونه robots.txt همان سایت را می‌خواند و برای هر یک از 16 خزنده نشان می‌دهد که صفحه مجاز است یا نه و کدام خط این را تعیین می‌کند. همچنین ترجیحات Content-Signal، داشتن یا نداشتن llms.txt و نقشه‌های سایتِ فهرست‌شده در robots.txt را نشان می‌دهد. در مرورگر شما اجرا می‌شود، به حساب کاربری نیاز ندارد و فقط سایتی را می‌خواند که روی آن کلیک می‌کنید.

بدون Chrome، ابزار رایگان بررسی robots.txt در aiseewhy.com برای هر URL که وارد کنید همین پاسخ را می‌دهد.

چطور بفهمم فایروال اجازه عبور به آن‌ها می‌دهد؟

robots.txt نشان می‌دهد سایت چه می‌خواهد. برای دیدن آنچه خزنده واقعاً دریافت می‌کند، صفحه را دو بار درخواست کنید، یک بار به‌عنوان مرورگر و یک بار با user agent خزنده، و کد وضعیت و اندازه پاسخ را مقایسه کنید:

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

اگر مرورگر 200 بگیرد و خزنده 403، 429 یا 503، یا صفحه‌ای بسیار کوچک‌تر، یعنی یک فایروال یا محافظت در برابر ربات‌ها با خزنده رفتار متفاوتی دارد. هر آزمایش بیرونی یک محدودیت دارد: درخواست از شبکه شما می‌آید، نه از شبکه شرکت هوش مصنوعی. فایروالی که بر اساس نشانی‌های IP منتشرشده به خزنده‌ها اعتماد می‌کند ممکن است با خزنده واقعی رفتار دیگری داشته باشد، پس حرف آخر را لاگ‌های سرور شما می‌زنند.

بررسی کامل در aiseewhy.com صفحه را به‌عنوان هر 16 خزنده در کنار یک مرورگر واقعی دریافت می‌کند، فایروال یا قانونی را که خزنده‌ای را مسدود می‌کند نام می‌برد و متنی را که هرکدام دریافت کرده‌اند مقایسه می‌کند.

باید به چه نتیجه‌ای برسم؟

بستگی دارد چه می‌خواهید. اگر می‌خواهید در جستجوی ChatGPT، در Claude و در Perplexity به شما استناد شود، خزنده‌های جستجو و کاربر باید در robots.txt مجاز باشند و صفحه واقعی را از سرور بگیرند. اگر نمی‌خواهید محتوایتان برای آموزش استفاده شود، فقط توکن‌های آموزشی را مسدود کنید. این‌ها تصمیم‌های جداگانه‌ای هستند: مسدود کردن GPTBot، OAI-SearchBot را مسدود نمی‌کند و مسدود کردن ClaudeBot، Claude-SearchBot را مسدود نمی‌کند.

بسیاری از سایت‌ها این دو را با هم اشتباه می‌گیرند. در گزارش نوامبر 2026 ما درباره 1,000 دامنه پربازدید، 63% از سایت‌هایی که یک خزنده آموزشی را مسدود می‌کنند، دست‌کم یک خزنده جستجو یا کاربر هوش مصنوعی را هم مسدود می‌کنند و همین صفحاتشان را از آن پاسخ‌های هوش مصنوعی بیرون نگه می‌دارد.

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

منابع

مقاله‌های دیگر

تاریخ انتشار