كيف تبطئ زواحف الذكاء الاصطناعي دون أن تحظرها

تاريخ النشر

الإجابة المختصرة

حدّد المعدل بدلاً من الحظر. ردّ على طلبات الزواحف الزائدة بـ 429 أو 503 مع ترويسة Retry-After، وامنح كل زاحف حصته الخاصة، وأبقِ /robots.txt خارج كل حد، وقدّم الصفحات للزواحف من ذاكرة التخزين المؤقت. لا يفيد Crawl-delay في robots.txt إلا حيث يوثّقه المشغّل: تفعل ذلك Anthropic وBing، وتقول Google إنها لا تدعمه، ولا تذكره OpenAI ولا Perplexity. أبقِ زواحف بحث الذكاء الاصطناعي مسموحاً لها، وإلا خرجت أيضاً من الإجابات التي تغذّيها.

حين يرسل زاحف آلاف الطلبات في الساعة، يكون الحل السريع Disallow: / أو حظراً في جدار الحماية. ومع زاحف تدريب قد يكون ذلك خياراً معقولاً. أما مع OAI-SearchBot أو Claude-SearchBot أو PerplexityBot فهو يزيل صفحاتك من إجابات الذكاء الاصطناعي التي تريد الظهور فيها. وفي معظم الحالات يمكن خفض الحمل دون التخلي عن ذلك، بإشارات تفهمها الزواحف أصلاً: رموز الحالة، والتخزين المؤقت، وCrawl-delay لدى بعض المشغّلين.

في هذه الصفحة
  1. أي زاحف يسبب الحمل فعلاً؟
  2. هل يعمل Crawl-delay مع زواحف الذكاء الاصطناعي؟
  3. كيف تبطئ الاستجابتان 429 و503 الزواحف؟
  4. كيف أضبط تحديد معدل لزواحف الذكاء الاصطناعي؟
  5. هل يخفض التخزين المؤقت حمل الزواحف؟
  6. ما الذي ينبغي تجنبه عند إبطاء الزواحف؟
  7. كيف أتحقق من أن الزواحف ما زالت تمر؟

أي زاحف يسبب الحمل فعلاً؟

انظر قبل أن تغيّر أي شيء. احسب الطلبات لكل وكيل مستخدم ولكل ساعة في سجلات الوصول، وتحقق من عناوين IP المصدر مقابل النطاقات التي ينشرها كل مزوّد؛ ويضم دليلنا عن فحص سجلات الخادم بحثاً عن زواحف الذكاء الاصطناعي الأوامر اللازمة. وتتكرر نتيجتان كثيراً:

رتّب الزواحف أيضاً حسب وظيفتها. زواحف التدريب مثل GPTBot وClaudeBot ليست هي التي تجعلك قابلاً للاستشهاد في بحث الذكاء الاصطناعي، فإن كان أحدها هو المشكلة، فمنعه خيار معقول. بقية هذا الدليل مخصصة للزواحف التي تريد إبقاءها.

هل يعمل Crawl-delay مع زواحف الذكاء الاصطناعي؟

Crawl-delay ليس جزءاً من RFC 9309، لذا يقرر كل مشغّل ما إذا كان يقرؤه. وهذا ما تقوله الوثائق حتى نوفمبر 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

انتبه إلى منطق المجموعات. الزاحف الذي يجد مجموعة باسمه يتجاهل مجموعة User-agent: * تماماً، لذا فإن مجموعة ClaudeBot التي لا تضم سوى Crawl-delay ستُسقط كل Disallow ضبطته للجميع. كرّرها كما في المثال أعلاه. ويصف Bing Crawl-delay بأنه استثناء يقرؤه من أي من المجموعتين، لكن لا ينبغي أن تفترض ذلك في الزواحف الأخرى.

كيف تبطئ الاستجابتان 429 و503 الزواحف؟

في ذروات الحمل، رمز الحالة هو الإشارة التي صُممت الزواحف لاحترامها. يعني 429 Too Many Requests، المعرّف في RFC 6585، أن العميل أرسل طلبات كثيرة جداً خلال وقت معين، وقد يحمل ترويسة Retry-After تحدد مدة الانتظار. أما 503 Service Unavailable فيعني أن الخادم لا يستطيع التعامل مع الطلبات الآن.

توثّق Google هذا كطريقة لخفض معدل زحف Googlebot بسرعة: أعِد 500 أو 503 أو 429 بدلاً من 200 لبعض طلبات الزحف. وتقول إن ذلك يخفض معدل الزحف لاسم المضيف كله، وإن Retry-After قد يحمل عدداً من الثواني أو تاريخاً.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

اجعل ذلك قصيراً. تنصح Google بعدم فعله لأكثر من يوم أو يومين، لأن العنوان الذي يعيد هذه الرموز عدة أيام قد يُحذف من فهرسها. ولخفض دائم، تتيح Google بدلاً من ذلك طلباً خاصاً عبر Search Console.

لا توثّق OpenAI وAnthropic وPerplexity كيف تتفاعل زواحفها مع 429 أو 503 أو Retry-After. الرموز هي الطريقة القياسية لطلب تقليل الزحف، لكن سرعة تراجع كل زاحف ذكاء اصطناعي ليست أمراً يمكنك البحث عنه في وثائقه.

كيف أضبط تحديد معدل لزواحف الذكاء الاصطناعي؟

امنح كل زاحف حصته الخاصة بدلاً من حد واحد لكل الحركة، وردّ على الطلبات التي تتجاوزها بـ 429. في nginx تتولى الوحدة limit_req ذلك. الطلبات ذات المفتاح الفارغ لا تُحتسب، لذا فإن map لا تعيد مفتاحاً إلا لوكلاء مستخدم الزواحف تترك الزوار من البشر وشأنهم. هنا يحصل كل زاحف على 60 طلباً في الدقيقة مع دفعة (burst) من 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

المفتاح هنا هو وكيل المستخدم، لذا فإن أي شخص ينسخ اسم زاحف يتقاسم حصة ذلك الزاحف. وهذا مقبول لتحديد المعدل. أما لقاعدة سماح، فطابق أيضاً نطاقات IP التي ينشرها المزوّد.

في Cloudflare تؤدي قواعد تحديد المعدل الوظيفة نفسها على الحافة. في خطة Free تحصل على قاعدة واحدة، تُحتسب لكل IP على مدى 10 ثوانٍ، ويمكن لتعبير القاعدة استخدام المسار وحقل Verified Bot. والاحتساب لكل IP تقريبي مع الزواحف التي توزّع طلباتها على عناوين كثيرة، وتضيف الخطط الأعلى خيارات احتساب أكثر. الاستجابة الافتراضية 429، ويمكنك ضبط رمز 4xx آخر وجسم استجابة مخصص. ويتيح AI Crawl Control لكل زاحف Allow وBlock، وفي نسخة تجريبية خاصة Charge، لكن دون إعداد للمعدل.

أياً كان ما تستخدمه، أبقِ /robots.txt خارج الحد. ينص RFC 9309 على أن خطأ الخادم في robots.txt يعني أن على الزاحف افتراض أن الموقع كله ممنوع، وتستثني Google الرمز 429 من رموز 4xx التي تعاملها كملف غير موجود.

هل يخفض التخزين المؤقت حمل الزواحف؟

غالباً أكثر من تحديد المعدل. تطلب الزواحف في الغالب صفحات عامة متطابقة لكل زائر، لذا فإن تقديمها من CDN أو من ذاكرة تخزين الصفحات يحوّل عمليات العرض المكلفة إلى إصابات رخيصة في الذاكرة. تأكد من أن ذاكرة التخزين لديك لا تحتفظ بنسخة منفصلة غير مخزنة لوكلاء مستخدم الزواحف.

الطلبات الشرطية تساعد أيضاً. تقول Google إن زواحفها تدعم التخزين المؤقت في HTTP مع ETag وIf-None-Match، ومع Last-Modified وIf-Modified-Since، وتستخدم ETag حين يوجد الاثنان. ولا تذكر صفحات زواحف OpenAI وAnthropic وPerplexity ما إذا كانت زواحفها ترسل طلبات شرطية، لذا لا تعوّل على هذا التوفير إلا مع Google.

ما الذي ينبغي تجنبه عند إبطاء الزواحف؟

كيف أتحقق من أن الزواحف ما زالت تمر؟

من السهل ضبط حدود المعدل بصرامة زائدة. يجلب فحص AISeeWhy المجاني الصفحة بصفتها 16 زاحف ذكاء اصطناعي وبحث إلى جانب متصفح حقيقي، ويطبّق robots.txt على كل زاحف، ويتعرف على صفحات التحدي في جدران الحماية، فتظهر أي قاعدة تردّ على الزواحف بخلاف ما تردّ به على المتصفحات. وطلب واحد لكل زاحف لن يتجاوز حداً معقولاً، وهذا هو المقصود: شغّله بعد تغيير القواعد لتتأكد من أن الطلبات العادية ما زالت تمر. ويخبرك فحص IP المجاني لزواحف الذكاء الاصطناعي ما إذا كان عنوان IP من سجلاتك يعود فعلاً إلى GPTBot أو زاحف آخر.

أدوات مجانية

الخطوات التالية

الزواحف في هذا المقال

الأسئلة الشائعة

هل تدعم Google الحقل Crawl-delay؟

لا. تذكر وثائق robots.txt لدى Google الحقل crawl-delay ضمن الحقول التي لا تدعمها. لإبطاء Googlebot لفترة قصيرة، أعِد 503 أو 500 أو 429 لبعض الطلبات؛ ولخفض أطول، تتيح Google طلباً خاصاً عبر Search Console.

هل يحترم ClaudeBot الحقل Crawl-delay؟

تقول Anthropic إنها تدعم الامتداد غير القياسي Crawl-delay. ضعه في مجموعة ClaudeBot وكرّر فيها أي قواعد Disallow من مجموعة User-agent: * لديك.

هل يدعم GPTBot وPerplexityBot الحقل Crawl-delay؟

لا تذكر صفحات زواحف OpenAI وPerplexity الحقل Crawl-delay، لذا فإن أثره غير موثّق. استخدم حداً على مستوى الخادم يردّ على الطلبات الزائدة بـ 429.

هل تضرّ الاستجابة 429 بترتيبي؟

ليس لفترة قصيرة. توثّق Google الرمزين 429 و503 كطريقة لخفض الزحف مؤقتاً، لكنها تحذّر من أن العناوين التي تعيدهما عدة أيام قد تُحذف من فهرسها.

هل ينبغي أن أحظر GPTBot لتخفيف الحمل؟

يمكنك ذلك. تقول OpenAI إن GPTBot يزحف إلى محتوى قد يُستخدم في التدريب وإن كل إعداد في robots.txt مستقل، لذا فإن منعه لا يُخرجك من بحث ChatGPT الذي يستخدم OAI-SearchBot. افحص سجلاتك أولاً لتتأكد من أن الحمل يأتي من عناوين OpenAI.

المصادر

مقالات أخرى