ClaudeBot

Anthropic · AI ٹریننگ

ClaudeBot، Anthropic کا وہ کرالر ہے جو ایسا ویب مواد جمع کرتا ہے جو اس کے generative AI ماڈلز کی ٹریننگ میں استعمال ہو سکتا ہے۔ robots.txt میں اسے ممنوع کرنا یہ اشارہ دیتا ہے کہ آپ کی سائٹ کا آئندہ مواد ٹریننگ سے باہر رکھا جائے۔ صرف اسے بلاک کرنے سے Claude-SearchBot یا Claude-User نہیں رکتے، جو سرچ اور براہ راست جوابات کا کام کرتے ہیں۔

اسے اجازت کیسے دیں

User-agent: ClaudeBot
Allow: /

اسے بلاک کیسے کریں

User-agent: ClaudeBot
Disallow: /

یہ کیا کرتا ہے

Anthropic کہتا ہے کہ ClaudeBot ایسا ویب مواد جمع کرتا ہے جو اس کے ماڈلز کی ٹریننگ میں حصہ ڈال سکتا ہے، تاکہ ان کی افادیت اور حفاظت بہتر ہو۔ ClaudeBot کو ممنوع کرنا یہ اشارہ دیتا ہے کہ آپ کی سائٹ کا آئندہ مواد ٹریننگ ڈیٹا سیٹس سے باہر رکھا جائے۔

Anthropic غیر معیاری Crawl-delay ہدایت کی بھی حمایت کرتا ہے، اس لیے آپ ClaudeBot کو بلاک کرنے کی بجائے سست کر سکتے ہیں۔ robots.txt میں ClaudeBot کا نام لینے والے اصول Anthropic کے عمومی "AI ٹریننگ نہیں" اشارے پر ترجیح رکھتے ہیں۔ robots.txt کے اصول ہر ہوسٹ پر الگ لاگو ہوتے ہیں، اس لیے انہیں ہر اس سب ڈومین میں شامل کریں جسے آپ شامل کرنا چاہتے ہیں۔

ہماری 2026-11 کی تحقیق میں robots.txt والی مقبول سائٹس میں سے 21.2% نے اسے بلاک کیا۔ ←

robots.txt ٹوکن

ClaudeBot

حقیقی وزٹس کی تصدیق کیسے کریں

Anthropic اپنے کرالرز کے IP پتے claude.com/crawling/bots.json پر شائع کرتا ہے اور کہتا ہے کہ جس کرالر کا IP اس فہرست میں ہو وہ Anthropic کا ہے۔ یوزر ایجنٹ پر بھروسہ کرنے کی بجائے ماخذ IP کا اس فہرست سے موازنہ کریں۔ Anthropic انکار (opt out) کے لیے IP بلاکنگ استعمال نہ کرنے کا مشورہ دیتا ہے، کیونکہ یہ کرالر کو robots.txt پڑھنے سے بھی روک دیتی ہے۔

دیکھیں کہ آپ کی سائٹ اسے آنے دیتی ہے یا نہیں ←

Anthropic کے کرالرز: ClaudeBot، Claude-SearchBot اور Claude-User ←