مولّد robots.txt لزواحف الذكاء الاصطناعي

اختر زواحف الذكاء الاصطناعي التي يُسمح لها بقراءة موقعك وانسخ ملف robots.txt الناتج. من الخيارات الشائعة حجب زواحف التدريب مثل GPTBot وClaudeBot والسماح بزواحف البحث بالذكاء الاصطناعي مثل OAI-SearchBot وPerplexityBot، لتظل صفحاتك قادرة على الظهور والاقتباس في إجابات الذكاء الاصطناعي.

لحجب الجالبات التي تعمل بطلب المستخدم أثر محدود: يقول بعض المزوّدين إن هذه الوكلاء قد لا تلتزم بـ robots.txt، لأن شخصًا هو من طلب الصفحة. اختبر النتيجة بفاحص robots.txt قبل نشرها. فاحص robots.txt لزواحف الذكاء الاصطناعي →

كيف تستخدمه

ضع الملف في جذر نطاقك (https://example.com/robots.txt). إذا كانت لديك قواعد لزواحف أخرى فأبقِها وأضف مجموعات الذكاء الاصطناعي فقط. تسري التغييرات حين يقرأ كل زاحف الملف في المرة التالية، عادةً خلال يوم.

شغّل الفحص الكامل →