Claude-SearchBot

Anthropic · AI سرچ

Claude-SearchBot ویب کو کرال کرتا ہے تاکہ Claude میں سرچ نتائج کی مطابقت اور درستی بہتر ہو۔ Anthropic کہتا ہے کہ اسے بلاک کرنے سے آپ کا مواد سرچ کے لیے انڈیکس نہیں ہوتا، جس سے صارفین کے سرچ نتائج میں آپ کی موجودگی اور درستی کم ہو سکتی ہے۔ اگر آپ چاہتے ہیں کہ Claude آپ کے صفحات تلاش کرے اور ان کا حوالہ دے تو اسے اجازت دیں۔

اسے اجازت کیسے دیں

User-agent: Claude-SearchBot
Allow: /

اسے بلاک کیسے کریں

User-agent: Claude-SearchBot
Disallow: /

یہ کیا کرتا ہے

Anthropic، Claude-SearchBot کو ویب پر جانے اور Claude کے صارفین کے لیے سرچ نتائج کا معیار بہتر بنانے کے لیے استعمال کرتا ہے۔ یہ ٹریننگ کرالر ClaudeBot سے الگ ہے، اس لیے آپ ٹریننگ سے انکار کرتے ہوئے سرچ کی اجازت دے سکتے ہیں۔

Anthropic کہتا ہے کہ Claude-SearchBot کو بند کرنے سے سرچ کی بہتری کے لیے آپ کا مواد انڈیکس نہیں ہوتا، جس سے صارفین کے سرچ نتائج میں آپ کی سائٹ کی موجودگی اور درستی کم ہو سکتی ہے۔ Anthropic کے بوٹس robots.txt کی پابندی کرتے ہیں اور anti-circumvention اقدامات کا احترام کرتے ہیں، اس لیے CAPTCHA یا چیلنج صفحہ وزٹ ختم کر دیتا ہے۔

ہماری 2026-11 کی تحقیق میں robots.txt والی مقبول سائٹس میں سے 12.9% نے اسے بلاک کیا۔ ←

robots.txt ٹوکن

Claude-SearchBot

حقیقی وزٹس کی تصدیق کیسے کریں

Anthropic اپنے کرالرز کے IP پتے claude.com/crawling/bots.json پر شائع کرتا ہے اور کہتا ہے کہ جس کرالر کا IP اس فہرست میں ہو وہ Anthropic کا ہے۔ یوزر ایجنٹ پر بھروسہ کرنے کی بجائے ماخذ IP کا اس فہرست سے موازنہ کریں۔ Anthropic انکار (opt out) کے لیے IP بلاکنگ استعمال نہ کرنے کا مشورہ دیتا ہے، کیونکہ یہ کرالر کو robots.txt پڑھنے سے بھی روک دیتی ہے۔

دیکھیں کہ آپ کی سائٹ اسے آنے دیتی ہے یا نہیں ←

Anthropic کے کرالرز: ClaudeBot، Claude-SearchBot اور Claude-User ←