چطور خزندههای هوش مصنوعی را بدون مسدود کردن کند کنیم
بهجای مسدود کردن، نرخ را محدود کنید. به درخواستهای اضافی خزندهها با 429 یا 503 و هدر Retry-After پاسخ دهید، برای هر خزنده سهمیه جداگانه بگذارید، /robots.txt را از هر محدودیتی بیرون نگه دارید و صفحهها را از کش به خزندهها بدهید. Crawl-delay در robots.txt فقط جایی کمک میکند که سازنده آن را مستند کرده باشد: Anthropic و Bing مستند کردهاند، Google میگوید پشتیبانی نمیکند و OpenAI و Perplexity به آن اشاره نمیکنند. خزندههای جستجوی هوش مصنوعی را مجاز نگه دارید، وگرنه از پاسخهایی که آنها تغذیه میکنند هم بیرون میافتید.
وقتی یک خزنده در ساعت هزاران درخواست میفرستد، راهحل سریع Disallow: / یا مسدودسازی در فایروال است. برای یک خزنده آموزشی این میتواند انتخاب منصفانهای باشد. برای OAI-SearchBot، Claude-SearchBot یا PerplexityBot صفحههای شما را از همان پاسخهای هوش مصنوعی که میخواهید در آنها باشید حذف میکند. بیشتر وقتها میتوان بار را بدون از دست دادن این کم کرد، با سیگنالهایی که خزندهها از قبل میفهمند: کدهای وضعیت، کش و، برای برخی سازندگان، Crawl-delay.
در این صفحه
- کدام خزنده واقعاً باعث این بار است؟
- آیا Crawl-delay برای خزندههای هوش مصنوعی کار میکند؟
- پاسخهای 429 و 503 چطور خزندهها را کند میکنند؟
- چطور برای خزندههای هوش مصنوعی محدودیت نرخ بگذارم؟
- آیا کش میتواند بار خزندهها را کم کند؟
- هنگام کند کردن خزندهها از چه چیزهایی باید دوری کنم؟
- چطور بررسی کنم خزندهها هنوز عبور میکنند؟
کدام خزنده واقعاً باعث این بار است؟
پیش از تغییر هر چیزی نگاه کنید. درخواستها را بر اساس user agent و ساعت در لاگهای دسترسی بشمارید و IPهای مبدأ را با محدودههایی که هر سازنده منتشر میکند مقایسه کنید؛ راهنمای ما برای بررسی لاگهای سرور برای خزندههای هوش مصنوعی فرمانها را دارد. دو یافته زیاد پیش میآید:
- ترافیک سنگین فقط ادعا میکند خزنده هوش مصنوعی است. اگر IPها در فهرست سازنده نباشند، قوانین مربوط به خزنده واقعی کمکی نمیکنند. بهجای آن، این ترافیک را بر اساس مبدأش محدود یا مسدود کنید.
- یک خزنده واقعی در تله خزش گیر افتاده است، مثل صفحههای بیپایان تقویم، ترکیبهای فیلتر یا شناسههای نشست در نشانیها. بستن تله با قوانین
Disallowبرای آن مسیرها بیشتر از هر محدودیت نرخی صرفهجویی میکند.
خزندهها را بر اساس کارشان هم دستهبندی کنید. خزندههای آموزشی مثل GPTBot و ClaudeBot آنهایی نیستند که شما را در جستجوی هوش مصنوعی قابل استناد میکنند، پس اگر مشکل از یکی از آنهاست، ممنوع کردنش گزینه معقولی است. بقیه این راهنما برای خزندههایی است که میخواهید نگهشان دارید.
آیا Crawl-delay برای خزندههای هوش مصنوعی کار میکند؟
Crawl-delay جزو RFC 9309 نیست، پس هر سازنده خودش تصمیم میگیرد آن را بخواند یا نه. این چیزی است که مستندات تا نوامبر 2026 میگویند:
- Anthropic: پشتیبانی میشود. صفحه راهنمای آن میگوید از افزونه غیراستاندارد
Crawl-delayبرای محدود کردن فعالیت خزش پشتیبانی میکند وCrawl-delay: 1را در یک گروهClaudeBotبهعنوان نمونه میآورد. - Microsoft Bing: پشتیبانی میشود. وبلاگ وبمستر Bing این مقدار را بازه زمانی 1 تا 30 ثانیهای توصیف میکند که در آن
bingbotحداکثر یک صفحه را میخزد و میگوید crawl delay در robots.txt بر تنظیمات خزش در Bing Webmaster Tools اولویت دارد. - Google: پشتیبانی نمیشود. مستندات robots.txt گوگل
crawl-delayرا فیلدی میداند که از آن پشتیبانی نمیکند. - OpenAI و Perplexity: صفحههای خزنده آنها به آن اشاره نمیکنند، پس اثرش روی
GPTBot،OAI-SearchBotیاPerplexityBotمستند نیست.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ مراقب منطق گروهها باشید. خزندهای که گروهی با نام خودش پیدا کند گروه User-agent: * را کاملاً نادیده میگیرد، پس گروه ClaudeBot که فقط Crawl-delay داشته باشد همه Disallowهایی را که برای بقیه گذاشتهاید کنار میگذارد. مثل نمونه بالا آنها را تکرار کنید. Bing، Crawl-delay را استثنایی توصیف میکند که از هر دو گروه میخواند، اما نباید همین را برای خزندههای دیگر فرض کنید.
پاسخهای 429 و 503 چطور خزندهها را کند میکنند؟
برای اوجهای بار، کد وضعیت همان سیگنالی است که خزندهها برای رعایتش ساخته شدهاند. 429 Too Many Requests که در RFC 6585 تعریف شده یعنی کلاینت در زمان مشخصی درخواستهای زیادی فرستاده و میتواند هدر Retry-After داشته باشد که میگوید چقدر صبر کند. 503 Service Unavailable میگوید سرور فعلاً از پس کار برنمیآید.
Google این را راه کاهش سریع نرخ خزش Googlebot مستند کرده است: به برخی درخواستهای خزش بهجای 200، کد 500، 503 یا 429 برگردانید. میگوید این کار نرخ خزش را برای کل hostname پایین میآورد و Retry-After میتواند تعداد ثانیه یا یک تاریخ باشد.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. کوتاهش نگه دارید. Google توصیه میکند این کار را بیش از یک یا دو روز انجام ندهید، چون نشانیای که چند روز این کدها را برگرداند ممکن است از ایندکس آن حذف شود. برای کاهش ماندگار، Google بهجای آن درخواست ویژهای از طریق Search Console ارائه میدهد.
OpenAI، Anthropic و Perplexity مستند نکردهاند خزندههایشان به 429، 503 یا Retry-After چه واکنشی نشان میدهند. این کدها راه استاندارد درخواست کاهش هستند، اما اینکه هر خزنده هوش مصنوعی با چه سرعتی عقب میکشد جایی قابل جستجو نیست.
چطور برای خزندههای هوش مصنوعی محدودیت نرخ بگذارم؟
بهجای یک محدودیت برای همه ترافیک، به هر خزنده سهمیه خودش را بدهید و به درخواستهای فراتر از آن با 429 پاسخ دهید. در nginx ماژول limit_req این کار را انجام میدهد. درخواستهایی با کلید خالی شمرده نمیشوند، پس یک map که فقط برای user agentهای خزنده کلید برمیگرداند بازدیدکنندگان انسانی را دستنخورده میگذارد. در اینجا هر خزنده 60 درخواست در دقیقه با burst برابر 20 میگیرد:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} کلید در اینجا user agent است، پس هر کسی که نام یک خزنده را کپی کند در سهمیه آن خزنده شریک میشود. برای محدودیت نرخ این قابل قبول است. برای قانون مجازسازی، محدودههای IP منتشرشده سازنده را هم تطبیق دهید.
در Cloudflare، قوانین rate limiting همین کار را در لبه شبکه انجام میدهند. در طرح Free یک قانون دارید که بر اساس IP در بازه 10 ثانیه میشمارد و عبارت قانون میتواند از مسیر و فیلد Verified Bot استفاده کند. شمارش بر اساس IP برای خزندههایی که درخواستها را میان نشانیهای زیادی پخش میکنند دقیق نیست و طرحهای بالاتر گزینههای شمارش بیشتری دارند. پاسخ پیشفرض 429 است و میتوانید کد 4xx دیگری و بدنه سفارشی تعیین کنید. AI Crawl Control برای هر خزنده Allow، Block و، در بتای خصوصی، Charge را ارائه میدهد، اما تنظیم نرخ ندارد.
از هر ابزاری که استفاده میکنید، /robots.txt را بیرون از محدودیت نگه دارید. RFC 9309 میگوید خطای سرور برای robots.txt یعنی خزنده باید فرض کند کل سایت ممنوع است و Google کد 429 را از کدهای 4xx که به معنای نبودن فایل میداند مستثنا میکند.
آیا کش میتواند بار خزندهها را کم کند؟
اغلب بیشتر از محدودیت نرخ. خزندهها بیشتر صفحههای عمومی را میخواهند که برای همه بازدیدکنندگان یکساناند، پس ارائه آنها از CDN یا کش صفحه، رندرهای پرهزینه را به پاسخهای ارزان از کش تبدیل میکند. بررسی کنید کش شما نسخه جداگانه و کشنشدهای برای user agentهای خزنده نگه ندارد.
درخواستهای شرطی هم کمک میکنند. Google میگوید خزندههایش از کش HTTP با ETag و If-None-Match و با Last-Modified و If-Modified-Since پشتیبانی میکنند و وقتی هر دو باشند از ETag استفاده میکنند. صفحههای خزنده OpenAI، Anthropic و Perplexity نمیگویند خزندههایشان درخواست شرطی میفرستند یا نه، پس روی این صرفهجویی فقط برای Google حساب کنید.
هنگام کند کردن خزندهها از چه چیزهایی باید دوری کنم؟
- مسدود کردن محدودههای IP یک سازنده در فایروال. Anthropic هشدار میدهد که این کار ممکن است درست کار نکند یا انصراف شما را حفظ نکند، چون رباتهایش دیگر نمیتوانند robots.txt شما را بخوانند.
- برگرداندن
5xxیا429برای چند روز. Google میگوید نشانیهایی که مدام این کدها را برمیگردانند ممکن است از ایندکس آن حذف شوند. - استفاده از محافظ ربات بهعنوان ترمز. Bot Fight Mode در Cloudflare چالشهای محاسباتی پرهزینهای به رباتها میدهد و با قوانین سفارشی WAF قابل دور زدن نیست، پس نمیتوانید خزندههایی را که میخواهید نگه دارید مستثنا کنید.
- ممنوع کردن یک خزنده جستجو برای صرفهجویی در پهنای باند. یک
DisallowبرایOAI-SearchBot،Claude-SearchBotیاPerplexityBotشما را از پاسخهایی که این خزندهها تغذیه میکنند بیرون میبرد.
چطور بررسی کنم خزندهها هنوز عبور میکنند؟
محدودیت نرخ را بهراحتی میتوان بیش از حد سخت گرفت. بررسی رایگان AISeeWhy یک صفحه را بهعنوان 16 خزنده هوش مصنوعی و موتور جستجو در کنار یک مرورگر واقعی دریافت میکند، robots.txt شما را برای هر خزنده اعمال میکند و صفحههای چالش فایروال را تشخیص میدهد، پس قانونی که با خزندهها متفاوت از مرورگرها رفتار کند آشکار میشود. یک درخواست برای هر خزنده یک محدودیت معقول را فعال نمیکند و هدف هم همین است: پس از تغییر قوانین آن را اجرا کنید تا مطمئن شوید درخواستهای عادی همچنان عبور میکنند. بررسی رایگان IP خزنده هوش مصنوعی به شما میگوید آیا یک IP در لاگهایتان واقعاً متعلق به GPTBot یا خزنده دیگری است.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا Google از Crawl-delay پشتیبانی میکند؟
نه. مستندات robots.txt گوگل crawl-delay را جزو فیلدهایی فهرست میکند که پشتیبانی نمیشوند. برای کند کردن کوتاهمدت Googlebot، به برخی درخواستها 503، 500 یا 429 برگردانید؛ برای کاهش طولانیتر، Google درخواست ویژهای از طریق Search Console ارائه میدهد.
آیا ClaudeBot به Crawl-delay احترام میگذارد؟
Anthropic میگوید از افزونه غیراستاندارد Crawl-delay پشتیبانی میکند. آن را در یک گروه ClaudeBot بگذارید و هر قانون Disallow از گروه User-agent: * خود را آنجا تکرار کنید.
آیا GPTBot و PerplexityBot از Crawl-delay پشتیبانی میکنند؟
صفحههای خزنده OpenAI و Perplexity به Crawl-delay اشاره نمیکنند، پس اثرش مستند نیست. از محدودیتی سمت سرور استفاده کنید که به درخواستهای اضافی با 429 پاسخ دهد.
آیا پاسخ 429 به رتبهبندی من آسیب میزند؟
برای مدت کوتاه نه. Google کدهای 429 و 503 را راهی برای کاهش موقت خزش مستند کرده، اما هشدار میدهد نشانیهایی که چند روز این کدها را برگردانند ممکن است از ایندکس آن حذف شوند.
آیا برای کم کردن بار باید GPTBot را مسدود کنم؟
میتوانید. OpenAI میگوید GPTBot محتوایی را میخزد که ممکن است برای آموزش استفاده شود و هر تنظیم robots.txt مستقل است، پس ممنوع کردن آن شما را از جستجوی ChatGPT که از OAI-SearchBot استفاده میکند حذف نمیکند. اول لاگهایتان را بررسی کنید تا مطمئن شوید بار از نشانیهای OpenAI میآید.
منابع
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (کش HTTP)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers