چطور خزنده‌های هوش مصنوعی را بدون مسدود کردن کند کنیم

تاریخ انتشار

پاسخ کوتاه

به‌جای مسدود کردن، نرخ را محدود کنید. به درخواست‌های اضافی خزنده‌ها با 429 یا 503 و هدر Retry-After پاسخ دهید، برای هر خزنده سهمیه جداگانه بگذارید، /robots.txt را از هر محدودیتی بیرون نگه دارید و صفحه‌ها را از کش به خزنده‌ها بدهید. Crawl-delay در robots.txt فقط جایی کمک می‌کند که سازنده آن را مستند کرده باشد: Anthropic و Bing مستند کرده‌اند، Google می‌گوید پشتیبانی نمی‌کند و OpenAI و Perplexity به آن اشاره نمی‌کنند. خزنده‌های جستجوی هوش مصنوعی را مجاز نگه دارید، وگرنه از پاسخ‌هایی که آن‌ها تغذیه می‌کنند هم بیرون می‌افتید.

وقتی یک خزنده در ساعت هزاران درخواست می‌فرستد، راه‌حل سریع Disallow: / یا مسدودسازی در فایروال است. برای یک خزنده آموزشی این می‌تواند انتخاب منصفانه‌ای باشد. برای OAI-SearchBot، Claude-SearchBot یا PerplexityBot صفحه‌های شما را از همان پاسخ‌های هوش مصنوعی که می‌خواهید در آن‌ها باشید حذف می‌کند. بیشتر وقت‌ها می‌توان بار را بدون از دست دادن این کم کرد، با سیگنال‌هایی که خزنده‌ها از قبل می‌فهمند: کدهای وضعیت، کش و، برای برخی سازندگان، Crawl-delay.

در این صفحه
  1. کدام خزنده واقعاً باعث این بار است؟
  2. آیا Crawl-delay برای خزنده‌های هوش مصنوعی کار می‌کند؟
  3. پاسخ‌های 429 و 503 چطور خزنده‌ها را کند می‌کنند؟
  4. چطور برای خزنده‌های هوش مصنوعی محدودیت نرخ بگذارم؟
  5. آیا کش می‌تواند بار خزنده‌ها را کم کند؟
  6. هنگام کند کردن خزنده‌ها از چه چیزهایی باید دوری کنم؟
  7. چطور بررسی کنم خزنده‌ها هنوز عبور می‌کنند؟

کدام خزنده واقعاً باعث این بار است؟

پیش از تغییر هر چیزی نگاه کنید. درخواست‌ها را بر اساس user agent و ساعت در لاگ‌های دسترسی بشمارید و IPهای مبدأ را با محدوده‌هایی که هر سازنده منتشر می‌کند مقایسه کنید؛ راهنمای ما برای بررسی لاگ‌های سرور برای خزنده‌های هوش مصنوعی فرمان‌ها را دارد. دو یافته زیاد پیش می‌آید:

خزنده‌ها را بر اساس کارشان هم دسته‌بندی کنید. خزنده‌های آموزشی مثل GPTBot و ClaudeBot آن‌هایی نیستند که شما را در جستجوی هوش مصنوعی قابل استناد می‌کنند، پس اگر مشکل از یکی از آن‌هاست، ممنوع کردنش گزینه معقولی است. بقیه این راهنما برای خزنده‌هایی است که می‌خواهید نگهشان دارید.

آیا Crawl-delay برای خزنده‌های هوش مصنوعی کار می‌کند؟

Crawl-delay جزو RFC 9309 نیست، پس هر سازنده خودش تصمیم می‌گیرد آن را بخواند یا نه. این چیزی است که مستندات تا نوامبر 2026 می‌گویند:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

مراقب منطق گروه‌ها باشید. خزنده‌ای که گروهی با نام خودش پیدا کند گروه User-agent: * را کاملاً نادیده می‌گیرد، پس گروه ClaudeBot که فقط Crawl-delay داشته باشد همه Disallowهایی را که برای بقیه گذاشته‌اید کنار می‌گذارد. مثل نمونه بالا آن‌ها را تکرار کنید. Bing، Crawl-delay را استثنایی توصیف می‌کند که از هر دو گروه می‌خواند، اما نباید همین را برای خزنده‌های دیگر فرض کنید.

پاسخ‌های 429 و 503 چطور خزنده‌ها را کند می‌کنند؟

برای اوج‌های بار، کد وضعیت همان سیگنالی است که خزنده‌ها برای رعایتش ساخته شده‌اند. 429 Too Many Requests که در RFC 6585 تعریف شده یعنی کلاینت در زمان مشخصی درخواست‌های زیادی فرستاده و می‌تواند هدر Retry-After داشته باشد که می‌گوید چقدر صبر کند. 503 Service Unavailable می‌گوید سرور فعلاً از پس کار برنمی‌آید.

Google این را راه کاهش سریع نرخ خزش Googlebot مستند کرده است: به برخی درخواست‌های خزش به‌جای 200، کد 500، 503 یا 429 برگردانید. می‌گوید این کار نرخ خزش را برای کل hostname پایین می‌آورد و Retry-After می‌تواند تعداد ثانیه یا یک تاریخ باشد.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

کوتاهش نگه دارید. Google توصیه می‌کند این کار را بیش از یک یا دو روز انجام ندهید، چون نشانی‌ای که چند روز این کدها را برگرداند ممکن است از ایندکس آن حذف شود. برای کاهش ماندگار، Google به‌جای آن درخواست ویژه‌ای از طریق Search Console ارائه می‌دهد.

OpenAI، Anthropic و Perplexity مستند نکرده‌اند خزنده‌هایشان به 429، 503 یا Retry-After چه واکنشی نشان می‌دهند. این کدها راه استاندارد درخواست کاهش هستند، اما اینکه هر خزنده هوش مصنوعی با چه سرعتی عقب می‌کشد جایی قابل جستجو نیست.

چطور برای خزنده‌های هوش مصنوعی محدودیت نرخ بگذارم؟

به‌جای یک محدودیت برای همه ترافیک، به هر خزنده سهمیه خودش را بدهید و به درخواست‌های فراتر از آن با 429 پاسخ دهید. در nginx ماژول limit_req این کار را انجام می‌دهد. درخواست‌هایی با کلید خالی شمرده نمی‌شوند، پس یک map که فقط برای user agentهای خزنده کلید برمی‌گرداند بازدیدکنندگان انسانی را دست‌نخورده می‌گذارد. در اینجا هر خزنده 60 درخواست در دقیقه با burst برابر 20 می‌گیرد:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

کلید در اینجا user agent است، پس هر کسی که نام یک خزنده را کپی کند در سهمیه آن خزنده شریک می‌شود. برای محدودیت نرخ این قابل قبول است. برای قانون مجازسازی، محدوده‌های IP منتشرشده سازنده را هم تطبیق دهید.

در Cloudflare، قوانین rate limiting همین کار را در لبه شبکه انجام می‌دهند. در طرح Free یک قانون دارید که بر اساس IP در بازه 10 ثانیه می‌شمارد و عبارت قانون می‌تواند از مسیر و فیلد Verified Bot استفاده کند. شمارش بر اساس IP برای خزنده‌هایی که درخواست‌ها را میان نشانی‌های زیادی پخش می‌کنند دقیق نیست و طرح‌های بالاتر گزینه‌های شمارش بیشتری دارند. پاسخ پیش‌فرض 429 است و می‌توانید کد 4xx دیگری و بدنه سفارشی تعیین کنید. AI Crawl Control برای هر خزنده Allow، Block و، در بتای خصوصی، Charge را ارائه می‌دهد، اما تنظیم نرخ ندارد.

از هر ابزاری که استفاده می‌کنید، /robots.txt را بیرون از محدودیت نگه دارید. RFC 9309 می‌گوید خطای سرور برای robots.txt یعنی خزنده باید فرض کند کل سایت ممنوع است و Google کد 429 را از کدهای 4xx که به معنای نبودن فایل می‌داند مستثنا می‌کند.

آیا کش می‌تواند بار خزنده‌ها را کم کند؟

اغلب بیشتر از محدودیت نرخ. خزنده‌ها بیشتر صفحه‌های عمومی را می‌خواهند که برای همه بازدیدکنندگان یکسان‌اند، پس ارائه آن‌ها از CDN یا کش صفحه، رندرهای پرهزینه را به پاسخ‌های ارزان از کش تبدیل می‌کند. بررسی کنید کش شما نسخه جداگانه و کش‌نشده‌ای برای user agentهای خزنده نگه ندارد.

درخواست‌های شرطی هم کمک می‌کنند. Google می‌گوید خزنده‌هایش از کش HTTP با ETag و If-None-Match و با Last-Modified و If-Modified-Since پشتیبانی می‌کنند و وقتی هر دو باشند از ETag استفاده می‌کنند. صفحه‌های خزنده OpenAI، Anthropic و Perplexity نمی‌گویند خزنده‌هایشان درخواست شرطی می‌فرستند یا نه، پس روی این صرفه‌جویی فقط برای Google حساب کنید.

هنگام کند کردن خزنده‌ها از چه چیزهایی باید دوری کنم؟

چطور بررسی کنم خزنده‌ها هنوز عبور می‌کنند؟

محدودیت نرخ را به‌راحتی می‌توان بیش از حد سخت گرفت. بررسی رایگان AISeeWhy یک صفحه را به‌عنوان 16 خزنده هوش مصنوعی و موتور جستجو در کنار یک مرورگر واقعی دریافت می‌کند، robots.txt شما را برای هر خزنده اعمال می‌کند و صفحه‌های چالش فایروال را تشخیص می‌دهد، پس قانونی که با خزنده‌ها متفاوت از مرورگرها رفتار کند آشکار می‌شود. یک درخواست برای هر خزنده یک محدودیت معقول را فعال نمی‌کند و هدف هم همین است: پس از تغییر قوانین آن را اجرا کنید تا مطمئن شوید درخواست‌های عادی همچنان عبور می‌کنند. بررسی رایگان IP خزنده هوش مصنوعی به شما می‌گوید آیا یک IP در لاگ‌هایتان واقعاً متعلق به GPTBot یا خزنده دیگری است.

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

آیا Google از Crawl-delay پشتیبانی می‌کند؟

نه. مستندات robots.txt گوگل crawl-delay را جزو فیلدهایی فهرست می‌کند که پشتیبانی نمی‌شوند. برای کند کردن کوتاه‌مدت Googlebot، به برخی درخواست‌ها 503، 500 یا 429 برگردانید؛ برای کاهش طولانی‌تر، Google درخواست ویژه‌ای از طریق Search Console ارائه می‌دهد.

آیا ClaudeBot به Crawl-delay احترام می‌گذارد؟

Anthropic می‌گوید از افزونه غیراستاندارد Crawl-delay پشتیبانی می‌کند. آن را در یک گروه ClaudeBot بگذارید و هر قانون Disallow از گروه User-agent: * خود را آنجا تکرار کنید.

آیا GPTBot و PerplexityBot از Crawl-delay پشتیبانی می‌کنند؟

صفحه‌های خزنده OpenAI و Perplexity به Crawl-delay اشاره نمی‌کنند، پس اثرش مستند نیست. از محدودیتی سمت سرور استفاده کنید که به درخواست‌های اضافی با 429 پاسخ دهد.

آیا پاسخ 429 به رتبه‌بندی من آسیب می‌زند؟

برای مدت کوتاه نه. Google کدهای 429 و 503 را راهی برای کاهش موقت خزش مستند کرده، اما هشدار می‌دهد نشانی‌هایی که چند روز این کدها را برگردانند ممکن است از ایندکس آن حذف شوند.

آیا برای کم کردن بار باید GPTBot را مسدود کنم؟

می‌توانید. OpenAI می‌گوید GPTBot محتوایی را می‌خزد که ممکن است برای آموزش استفاده شود و هر تنظیم robots.txt مستقل است، پس ممنوع کردن آن شما را از جستجوی ChatGPT که از OAI-SearchBot استفاده می‌کند حذف نمی‌کند. اول لاگ‌هایتان را بررسی کنید تا مطمئن شوید بار از نشانی‌های OpenAI می‌آید.

منابع

مقاله‌های دیگر