Anthropic کے کرالرز: ClaudeBot، Claude-SearchBot اور Claude-User
Anthropic تین ایجنٹس چلاتا ہے: ClaudeBot ایسا مواد جمع کرتا ہے جو اس کے ماڈلز کی ٹریننگ میں استعمال ہو سکتا ہے، Claude-SearchBot Claude کے سرچ نتائج بہتر کرنے کے لیے کرال کرتا ہے، اور Claude-User تب صفحات منگواتا ہے جب Claude کے کسی یوزر کے سوال کو ان کی ضرورت ہو۔ ہر ایک کا اپنا robots.txt ٹوکن ہے، اور Anthropic کہتا ہے کہ تینوں robots.txt کا احترام کرتے ہیں۔ صرف ClaudeBot بلاک کرنے سے سرچ یا یوزر fetches نہیں رکتے۔
Anthropic اپنے کرالرز کی دستاویزات ایک ہی مدد صفحے پر دیتا ہے، اور ساخت دوسری AI کمپنیوں جیسی ہے: ایک ایجنٹ ٹریننگ کے لیے، ایک سرچ کے لیے اور ایک یوزر کی طرف سے براہ راست fetches کے لیے۔ اگر آپ چاہتے ہیں کہ Claude آپ کے صفحات ڈھونڈ سکے اور ان کا اقتباس دے سکے تو آخری دو سب سے اہم ہیں۔
اس صفحے پر
ClaudeBot کیا کرتا ہے؟
ClaudeBot ایسا ویب مواد جمع کرتا ہے جو Anthropic کے generative AI ماڈلز کی ٹریننگ میں حصہ ڈال سکتا ہے۔ Anthropic کے مطابق اسے ممنوع کرنا اشارہ دیتا ہے کہ آپ کی سائٹ کا آئندہ مواد ٹریننگ ڈیٹا سیٹس سے باہر رکھا جائے۔
Anthropic یہ بھی کہتا ہے کہ وہ IETF کے ایک مسودے پر مبنی machine-readable "AI ٹریننگ نہیں" سگنل کا احترام کرتا ہے، اور robots.txt میں ClaudeBot کا نام لینے والے اصول اس عمومی سیٹنگ پر ترجیح رکھتے ہیں۔ دوسرے ٹریننگ کرالرز کی طرح اسے بلاک کرنا پالیسی کا فیصلہ ہے۔
Claude-SearchBot کیا کرتا ہے؟
Claude-SearchBot Claude میں سرچ نتائج کی مطابقت اور درستی بہتر کرنے کے لیے ویب کرال کرتا ہے۔ Anthropic کہتا ہے کہ اسے بلاک کرنے سے آپ کا مواد سرچ کے لیے انڈیکس نہیں ہوتا، جس سے یوزر سرچ نتائج میں آپ کا نظر آنا اور درستی کم ہو سکتی ہے۔
اگر آپ چاہتے ہیں کہ کسی کے پوچھنے سے پہلے Claude کے سرچ فیچرز آپ کے صفحات کے بارے میں جانیں تو اسی ایجنٹ کو اجازت دیں۔ چونکہ یہ سرچ کرالر ہے، اسے بھی وہی چیزیں فائدہ دیتی ہیں جو کسی بھی سرچ کرالر کو: robots.txt میں درج سائٹ میپ، صاف اندرونی لنکس، اور ایسے صفحات جو پہلے جواب ہی میں اپنا مواد دیں۔
Claude-User کیا کرتا ہے؟
Claude-User تب کسی ویب سائٹ پر جاتا ہے جب Claude کا کوئی یوزر ایسا سوال پوچھے جس کے لیے اس کی ضرورت ہو، مثلاً جب کوئی URL شیئر کرے یا Claude سے کچھ تلاش کرنے کو کہے۔ Anthropic کہتا ہے کہ اسے بلاک کرنے سے یوزر کے سوالات کے جواب میں صفحات حاصل نہیں ہوتے، جس سے یوزر کی ہدایت پر ہونے والی ویب سرچ میں آپ کا نظر آنا کم ہو سکتا ہے۔
کچھ دوسری کمپنیوں سے ایک فرق پر دھیان دیں۔ Anthropic کہتا ہے کہ اس کے بوٹس robots.txt ہدایات کا احترام کرتے ہیں، اور وہ robots.txt کے ذریعے Claude-User بلاک کرنے کا طریقہ بتاتا ہے۔ اس کے برعکس OpenAI اور Perplexity کہتے ہیں کہ یوزر کی درخواست پر چلنے والے ان کے fetchers شاید robots.txt کی پابندی نہ کریں۔
Claude کے لیے robots.txt اصول کیسے لکھوں؟
ہر ایجنٹ کا اپنا ٹوکن ہے، اور RFC 9309 کے تحت کسی کرالر کا نام لینے والا گروپ اس کرالر کے لیے * گروپ کی جگہ لے لیتا ہے۔ ایک عام انتخاب یہ ہے کہ سرچ اور یوزر fetches کو اجازت دیں اور ٹریننگ سے opt out کریں:
User-agent: Claude-SearchBot
User-agent: Claude-User
Allow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Allow: / Anthropic غیر معیاری توسیع کے طور پر Crawl-delay کو بھی سپورٹ کرتا ہے، مثلاً User-agent: ClaudeBot کے تحت Crawl-delay: 1، اگر آپ بلاک کرنے کے بجائے کرالنگ سست کرنا چاہیں۔ اصول ہر ہوسٹ کی سب سے اوپر کی ڈائریکٹری کے robots.txt میں ہونے چاہییں، اس لیے انہیں ہر اس سب ڈومین میں شامل کریں جس کا احاطہ آپ چاہتے ہیں۔
Anthropic کی ترتیب کا OpenAI اور Perplexity سے کیا موازنہ ہے؟
تینوں کمپنیاں مختلف ناموں کے ساتھ ایک ہی طرز پر چلتی ہیں، جس سے ایک مشترکہ robots.txt سمجھنا آسان ہو جاتا ہے۔ اصل فرق یہ ہے کہ ہر ایک یوزر کی درخواست پر براہ راست fetches کے لیے robots.txt کے ساتھ کیسا سلوک کرتی ہے۔
- سرچ کرالر: Anthropic کا
Claude-SearchBot، OpenAI کاOAI-SearchBot، Perplexity کاPerplexityBot۔ - ٹریننگ کرالر: Anthropic کا
ClaudeBot، OpenAI کاGPTBot۔ Perplexity کہتا ہے کہPerplexityBotAI فاؤنڈیشن ماڈلز کے لیے مواد کرال کرنے میں استعمال نہیں ہوتا۔ - یوزر fetches:
Claude-User،ChatGPT-UserاورPerplexity-User۔ Anthropic کہتا ہے کہ اس کے بوٹس robots.txt کا احترام کرتے ہیں؛ OpenAI کہتا ہے کہ robots.txt شایدChatGPT-Userپر لاگو نہ ہو؛ Perplexity کہتا ہے کہPerplexity-Userعام طور پر اسے نظر انداز کرتا ہے۔
اگر آپ تینوں کے لیے ایک robots.txt لکھیں تو سرچ اور یوزر ٹوکنز ایک گروپ میں اور ٹریننگ ٹوکنز دوسرے میں رکھیں۔ اس سے پالیسی پڑھنے میں آسان رہتی ہے اور صاف نظر آتا ہے کہ آپ نے ہر مقصد کے لیے کیا فیصلہ کیا۔
کیا مجھے Anthropic کو IP پتے سے بلاک کرنا چاہیے؟
Anthropic اس کے خلاف مشورہ دیتا ہے۔ اس کی دستاویزات کہتی ہیں کہ IP پتے بلاک کرنا شاید درست کام نہ کرے یا opt-out کی مستقل ضمانت نہ دے، کیونکہ یہ کرالر کو آپ کا robots.txt پڑھنے سے بھی روکتا ہے۔ اپنی پالیسی بتانے کے لیے robots.txt استعمال کریں۔
Anthropic اپنے کرالرز کے IP پتے claude.com/crawling/bots.json پر شائع کرتا ہے۔ اس فہرست کا مفید استعمال بلاک کرنے کے الٹ ہے: اپنے فائر وال کو تصدیق کرنے دیں کہ Claude-SearchBot یا Claude-User ہونے کا دعویٰ کرنے والی درخواست واقعی Anthropic سے آئی ہے، اور اسے گزرنے دیں۔
Claude پھر بھی میرا صفحہ کیوں نہیں پڑھ پاتا؟
اجازت دینے والے robots.txt کے باوجود آپ کا فائر وال یا CDN، Anthropic کے ایجنٹس کو 403 یا چیلنج صفحہ دے سکتا ہے۔ Anthropic کہتا ہے کہ اس کے بوٹس رکاوٹ سے بچاؤ کی ٹیکنالوجیز کا احترام کرتے ہیں اور CAPTCHAs کو bypass کرنے کی کوشش نہیں کریں گے، اس لیے چیلنج صفحہ بس وزٹ ختم کر دیتا ہے۔ جن صفحات کا متن صرف JavaScript چلنے کے بعد ظاہر ہو وہ بھی تقریباً خالی پہنچ سکتے ہیں۔
AISeeWhy آپ کا صفحہ ایک براؤزر کے ساتھ ClaudeBot، Claude-SearchBot اور Claude-User کے طور پر منگواتا ہے اور ہر ایک کے لیے آپ کے robots.txt اصول جانچتا ہے، تاکہ آپ دیکھ سکیں کہ آپ کی لکھی ہوئی پالیسی ہی وہ ہے جو آپ کا سرور نافذ کرتا ہے۔
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- AI کرالر IP جانچ
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کیا ClaudeBot بلاک کرنے سے میری سائٹ Claude کے جوابات سے نکل جاتی ہے؟
اکیلے نہیں۔ سرچ انڈیکسنگ اور یوزر کی درخواست پر fetches Claude-SearchBot اور Claude-User استعمال کرتے ہیں، جن کے اپنے robots.txt ٹوکن ہیں۔
کیا Claude-User، robots.txt کی پابندی کرتا ہے؟
Anthropic کہتا ہے کہ اس کے بوٹس robots.txt کا احترام کرتے ہیں اور وہاں Claude-User بلاک کرنے کا طریقہ بتاتا ہے، جس کا اثر یہ ہوتا ہے کہ Claude یوزر کے سوالات کے لیے آپ کے صفحات حاصل نہیں کر سکتا۔
کیا Anthropic کے کرالرز CAPTCHA حل کریں گے؟
نہیں۔ Anthropic کہتا ہے کہ اس کے بوٹس رکاوٹ سے بچاؤ کی ٹیکنالوجیز کا احترام کرتے ہیں اور CAPTCHAs کو bypass کرنے کی کوشش نہیں کریں گے۔
کیا میں ClaudeBot کو بلاک کرنے کے بجائے سست کر سکتا ہوں؟
ہاں۔ Anthropic غیر معیاری توسیع کے طور پر Crawl-delay کو سپورٹ کرتا ہے، مثلاً آپ کے robots.txt کے ClaudeBot گروپ میں Crawl-delay: 1۔
میں کیسے تصدیق کروں کہ درخواست واقعی Anthropic سے آئی ہے؟
ماخذ IP کا اس فہرست سے موازنہ کریں جو Anthropic claude.com/crawling/bots.json پر شائع کرتا ہے۔ صرف یوزر ایجنٹ کوئی بھی نقل کر سکتا ہے۔
ماخذ
- Anthropic: کیا Anthropic ویب سے ڈیٹا کرال کرتا ہے، اور سائٹ مالکان کرالر کو کیسے بلاک کر سکتے ہیں؟
- RFC 9309: Robots Exclusion Protocol