فاحص robots.txt لزواحف الذكاء الاصطناعي

أدخل عنوان صفحة: نقرأ ملف robots.txt للموقع ونعرض لكل زاحف ذكاء اصطناعي وبحث ما إذا كان مسموحًا له بجلب تلك الصفحة. أو الصق ملف robots.txt لاختباره قبل نشره.

ملف robots.txt مجرد طلب. قد يحظر جدار حماية أو نظام حماية من الروبوتات زاحفًا يسمح به robots.txt؛ والفحص الكامل يختبر ذلك. شغّل الفحص الكامل →

كيف تقرأ زواحف الذكاء الاصطناعي ملف robots.txt

يتبع كل زاحف المجموعة التي تذكر رمزه (مثل GPTBot أو PerplexityBot)؛ وإن لم تذكره أي مجموعة يتبع User-agent: *. داخل المجموعة تفوز أطول قاعدة مطابقة، وعند التعادل تفوز Allow. حظر زواحف التدريب مثل GPTBot أو ClaudeBot أو Google-Extended يُبقي محتواك خارج تدريب النماذج؛ وحظر زواحف البحث والمستخدمين مثل OAI-SearchBot أو ChatGPT-User أو PerplexityBot يُبقي صفحاتك خارج إجابات الذكاء الاصطناعي.