كيف تبطئ زواحف الذكاء الاصطناعي دون أن تحظرها
حدّد المعدل بدلاً من الحظر. ردّ على طلبات الزواحف الزائدة بـ 429 أو 503 مع ترويسة Retry-After، وامنح كل زاحف حصته الخاصة، وأبقِ /robots.txt خارج كل حد، وقدّم الصفحات للزواحف من ذاكرة التخزين المؤقت. لا يفيد Crawl-delay في robots.txt إلا حيث يوثّقه المشغّل: تفعل ذلك Anthropic وBing، وتقول Google إنها لا تدعمه، ولا تذكره OpenAI ولا Perplexity. أبقِ زواحف بحث الذكاء الاصطناعي مسموحاً لها، وإلا خرجت أيضاً من الإجابات التي تغذّيها.
حين يرسل زاحف آلاف الطلبات في الساعة، يكون الحل السريع Disallow: / أو حظراً في جدار الحماية. ومع زاحف تدريب قد يكون ذلك خياراً معقولاً. أما مع OAI-SearchBot أو Claude-SearchBot أو PerplexityBot فهو يزيل صفحاتك من إجابات الذكاء الاصطناعي التي تريد الظهور فيها. وفي معظم الحالات يمكن خفض الحمل دون التخلي عن ذلك، بإشارات تفهمها الزواحف أصلاً: رموز الحالة، والتخزين المؤقت، وCrawl-delay لدى بعض المشغّلين.
في هذه الصفحة
أي زاحف يسبب الحمل فعلاً؟
انظر قبل أن تغيّر أي شيء. احسب الطلبات لكل وكيل مستخدم ولكل ساعة في سجلات الوصول، وتحقق من عناوين IP المصدر مقابل النطاقات التي ينشرها كل مزوّد؛ ويضم دليلنا عن فحص سجلات الخادم بحثاً عن زواحف الذكاء الاصطناعي الأوامر اللازمة. وتتكرر نتيجتان كثيراً:
- الحركة الكثيفة تدّعي فقط أنها زاحف ذكاء اصطناعي. إن لم تكن عناوين IP في قائمة المزوّد، فلن تفيد القواعد الموجّهة إلى الزاحف الحقيقي. قيّد تلك الحركة أو احظرها حسب مصدرها بدلاً من ذلك.
- زاحف حقيقي عالق في فخ زحف، مثل صفحات تقويم لا تنتهي، أو تركيبات المرشّحات، أو معرّفات الجلسات في العناوين. وإغلاق الفخ بقواعد
Disallowلتلك المسارات يوفّر أكثر من أي تحديد للمعدل.
رتّب الزواحف أيضاً حسب وظيفتها. زواحف التدريب مثل GPTBot وClaudeBot ليست هي التي تجعلك قابلاً للاستشهاد في بحث الذكاء الاصطناعي، فإن كان أحدها هو المشكلة، فمنعه خيار معقول. بقية هذا الدليل مخصصة للزواحف التي تريد إبقاءها.
هل يعمل Crawl-delay مع زواحف الذكاء الاصطناعي؟
Crawl-delay ليس جزءاً من RFC 9309، لذا يقرر كل مشغّل ما إذا كان يقرؤه. وهذا ما تقوله الوثائق حتى نوفمبر 2026:
- Anthropic: مدعوم. تقول صفحة المساعدة لديها إنها تدعم الامتداد غير القياسي
Crawl-delayللحد من نشاط الزحف، معCrawl-delay: 1في مجموعةClaudeBotكمثال. - Microsoft Bing: مدعوم. تصف مدونة مشرفي المواقع لدى Bing القيمة بأنها نافذة زمنية من 1 إلى 30 ثانية يزحف فيها
bingbotإلى صفحة واحدة على الأكثر، وتقول إن تأخير الزحف في robots.txt يتقدم على إعدادات الزحف في Bing Webmaster Tools. - Google: غير مدعوم. تذكر وثائق robots.txt لدى Google الحقل
crawl-delayكحقل لا تدعمه. - OpenAI وPerplexity: لا تذكره صفحات زواحفهما، لذا فإن أثره على
GPTBotأوOAI-SearchBotأوPerplexityBotغير موثّق.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ انتبه إلى منطق المجموعات. الزاحف الذي يجد مجموعة باسمه يتجاهل مجموعة User-agent: * تماماً، لذا فإن مجموعة ClaudeBot التي لا تضم سوى Crawl-delay ستُسقط كل Disallow ضبطته للجميع. كرّرها كما في المثال أعلاه. ويصف Bing Crawl-delay بأنه استثناء يقرؤه من أي من المجموعتين، لكن لا ينبغي أن تفترض ذلك في الزواحف الأخرى.
كيف تبطئ الاستجابتان 429 و503 الزواحف؟
في ذروات الحمل، رمز الحالة هو الإشارة التي صُممت الزواحف لاحترامها. يعني 429 Too Many Requests، المعرّف في RFC 6585، أن العميل أرسل طلبات كثيرة جداً خلال وقت معين، وقد يحمل ترويسة Retry-After تحدد مدة الانتظار. أما 503 Service Unavailable فيعني أن الخادم لا يستطيع التعامل مع الطلبات الآن.
توثّق Google هذا كطريقة لخفض معدل زحف Googlebot بسرعة: أعِد 500 أو 503 أو 429 بدلاً من 200 لبعض طلبات الزحف. وتقول إن ذلك يخفض معدل الزحف لاسم المضيف كله، وإن Retry-After قد يحمل عدداً من الثواني أو تاريخاً.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. اجعل ذلك قصيراً. تنصح Google بعدم فعله لأكثر من يوم أو يومين، لأن العنوان الذي يعيد هذه الرموز عدة أيام قد يُحذف من فهرسها. ولخفض دائم، تتيح Google بدلاً من ذلك طلباً خاصاً عبر Search Console.
لا توثّق OpenAI وAnthropic وPerplexity كيف تتفاعل زواحفها مع 429 أو 503 أو Retry-After. الرموز هي الطريقة القياسية لطلب تقليل الزحف، لكن سرعة تراجع كل زاحف ذكاء اصطناعي ليست أمراً يمكنك البحث عنه في وثائقه.
كيف أضبط تحديد معدل لزواحف الذكاء الاصطناعي؟
امنح كل زاحف حصته الخاصة بدلاً من حد واحد لكل الحركة، وردّ على الطلبات التي تتجاوزها بـ 429. في nginx تتولى الوحدة limit_req ذلك. الطلبات ذات المفتاح الفارغ لا تُحتسب، لذا فإن map لا تعيد مفتاحاً إلا لوكلاء مستخدم الزواحف تترك الزوار من البشر وشأنهم. هنا يحصل كل زاحف على 60 طلباً في الدقيقة مع دفعة (burst) من 20:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} المفتاح هنا هو وكيل المستخدم، لذا فإن أي شخص ينسخ اسم زاحف يتقاسم حصة ذلك الزاحف. وهذا مقبول لتحديد المعدل. أما لقاعدة سماح، فطابق أيضاً نطاقات IP التي ينشرها المزوّد.
في Cloudflare تؤدي قواعد تحديد المعدل الوظيفة نفسها على الحافة. في خطة Free تحصل على قاعدة واحدة، تُحتسب لكل IP على مدى 10 ثوانٍ، ويمكن لتعبير القاعدة استخدام المسار وحقل Verified Bot. والاحتساب لكل IP تقريبي مع الزواحف التي توزّع طلباتها على عناوين كثيرة، وتضيف الخطط الأعلى خيارات احتساب أكثر. الاستجابة الافتراضية 429، ويمكنك ضبط رمز 4xx آخر وجسم استجابة مخصص. ويتيح AI Crawl Control لكل زاحف Allow وBlock، وفي نسخة تجريبية خاصة Charge، لكن دون إعداد للمعدل.
أياً كان ما تستخدمه، أبقِ /robots.txt خارج الحد. ينص RFC 9309 على أن خطأ الخادم في robots.txt يعني أن على الزاحف افتراض أن الموقع كله ممنوع، وتستثني Google الرمز 429 من رموز 4xx التي تعاملها كملف غير موجود.
هل يخفض التخزين المؤقت حمل الزواحف؟
غالباً أكثر من تحديد المعدل. تطلب الزواحف في الغالب صفحات عامة متطابقة لكل زائر، لذا فإن تقديمها من CDN أو من ذاكرة تخزين الصفحات يحوّل عمليات العرض المكلفة إلى إصابات رخيصة في الذاكرة. تأكد من أن ذاكرة التخزين لديك لا تحتفظ بنسخة منفصلة غير مخزنة لوكلاء مستخدم الزواحف.
الطلبات الشرطية تساعد أيضاً. تقول Google إن زواحفها تدعم التخزين المؤقت في HTTP مع ETag وIf-None-Match، ومع Last-Modified وIf-Modified-Since، وتستخدم ETag حين يوجد الاثنان. ولا تذكر صفحات زواحف OpenAI وAnthropic وPerplexity ما إذا كانت زواحفها ترسل طلبات شرطية، لذا لا تعوّل على هذا التوفير إلا مع Google.
ما الذي ينبغي تجنبه عند إبطاء الزواحف؟
- حظر نطاقات IP الخاصة بمزوّد في جدار الحماية. تحذّر Anthropic من أن ذلك قد لا يعمل بشكل صحيح ولا يحافظ على رفضك، لأنه يمنع بوتاتها من قراءة robots.txt.
- تقديم
5xxأو429لأيام. تقول Google إن العناوين التي تستمر في إعادتها قد تُحذف من فهرسها. - استخدام الحماية من البوتات كأداة إبطاء. يعرض Bot Fight Mode من Cloudflare على البوتات تحديات مكلفة حسابياً ولا يمكن استثناؤه بقواعد WAF المخصصة، لذا لا تستطيع إعفاء الزواحف التي تريد إبقاءها.
- منع زاحف بحث لتوفير عرض النطاق. فقاعدة
DisallowلـOAI-SearchBotأوClaude-SearchBotأوPerplexityBotتُخرجك من الإجابات التي تغذّيها تلك الزواحف.
كيف أتحقق من أن الزواحف ما زالت تمر؟
من السهل ضبط حدود المعدل بصرامة زائدة. يجلب فحص AISeeWhy المجاني الصفحة بصفتها 16 زاحف ذكاء اصطناعي وبحث إلى جانب متصفح حقيقي، ويطبّق robots.txt على كل زاحف، ويتعرف على صفحات التحدي في جدران الحماية، فتظهر أي قاعدة تردّ على الزواحف بخلاف ما تردّ به على المتصفحات. وطلب واحد لكل زاحف لن يتجاوز حداً معقولاً، وهذا هو المقصود: شغّله بعد تغيير القواعد لتتأكد من أن الطلبات العادية ما زالت تمر. ويخبرك فحص IP المجاني لزواحف الذكاء الاصطناعي ما إذا كان عنوان IP من سجلاتك يعود فعلاً إلى GPTBot أو زاحف آخر.
الخطوات التالية
- أداة اختبار وفحص robots.txt لزواحف الذكاء الاصطناعي
- فحص عناوين IP لزواحف الذكاء الاصطناعي
- اطّلع على مثال لتقرير كامل
- مراقبة زواحف الذكاء الاصطناعي
- الخطط والأسعار
الزواحف في هذا المقال
الأسئلة الشائعة
هل تدعم Google الحقل Crawl-delay؟
لا. تذكر وثائق robots.txt لدى Google الحقل crawl-delay ضمن الحقول التي لا تدعمها. لإبطاء Googlebot لفترة قصيرة، أعِد 503 أو 500 أو 429 لبعض الطلبات؛ ولخفض أطول، تتيح Google طلباً خاصاً عبر Search Console.
هل يحترم ClaudeBot الحقل Crawl-delay؟
تقول Anthropic إنها تدعم الامتداد غير القياسي Crawl-delay. ضعه في مجموعة ClaudeBot وكرّر فيها أي قواعد Disallow من مجموعة User-agent: * لديك.
هل يدعم GPTBot وPerplexityBot الحقل Crawl-delay؟
لا تذكر صفحات زواحف OpenAI وPerplexity الحقل Crawl-delay، لذا فإن أثره غير موثّق. استخدم حداً على مستوى الخادم يردّ على الطلبات الزائدة بـ 429.
هل تضرّ الاستجابة 429 بترتيبي؟
ليس لفترة قصيرة. توثّق Google الرمزين 429 و503 كطريقة لخفض الزحف مؤقتاً، لكنها تحذّر من أن العناوين التي تعيدهما عدة أيام قد تُحذف من فهرسها.
هل ينبغي أن أحظر GPTBot لتخفيف الحمل؟
يمكنك ذلك. تقول OpenAI إن GPTBot يزحف إلى محتوى قد يُستخدم في التدريب وإن كل إعداد في robots.txt مستقل، لذا فإن منعه لا يُخرجك من بحث ChatGPT الذي يستخدم OAI-SearchBot. افحص سجلاتك أولاً لتتأكد من أن الحمل يأتي من عناوين OpenAI.
المصادر
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers