منتخب کریں کہ کون سے AI کرالرز آپ کی سائٹ پڑھ سکتے ہیں اور تیار شدہ robots.txt کاپی کریں۔ ایک عام انتخاب یہ ہے کہ GPTBot اور ClaudeBot جیسے AI ٹریننگ کرالرز کو بلاک کریں لیکن OAI-SearchBot اور PerplexityBot جیسے AI سرچ کرالرز کو اجازت دیں، تاکہ آپ کے صفحات AI جوابات میں پھر بھی ظاہر ہوں اور ان کا حوالہ دیا جا سکے۔
یوزر کی درخواست پر منگوانے والوں کو بلاک کرنے کا اثر محدود ہے: کچھ کمپنیاں کہتی ہیں کہ یہ ایجنٹس robots.txt پر عمل نہیں بھی کر سکتے، کیونکہ صفحہ کسی انسان نے مانگا تھا۔ شائع کرنے سے پہلے نتیجہ robots.txt چیکر سے جانچ لیں۔ AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر ←
اسے کیسے استعمال کریں
فائل اپنے ڈومین کی روٹ پر رکھیں (https://example.com/robots.txt)۔ اگر دوسرے کرالرز کے لیے آپ کے اصول پہلے سے موجود ہیں تو انہیں رہنے دیں اور صرف AI والے گروپس شامل کریں۔ تبدیلیاں تب لاگو ہوتی ہیں جب ہر کرالر اگلی بار فائل پڑھتا ہے، عموماً ایک دن کے اندر۔
جن کرالرز کو آپ کی سائٹ پڑھنے کی اجازت ہے انہیں ٹک کریں اور جنہیں بلاک کرنا ہے ان کا ٹک ہٹا دیں۔ جنریٹر ایک robots.txt لکھتا ہے جس میں ہر بلاک شدہ کرالر کا ایک گروپ ہوتا ہے، User-agent: <token> اور اس کے بعد Disallow: /، پھر ایک آخری User-agent: * گروپ جو باقی سب کی اجازت دیتا ہے۔ سائٹ میپ کا پتہ شامل کریں تو یہ Sitemap لائن شامل کرتا ہے۔ Content-Signal کے اختیارات ٹک کریں تو یہ ایک Content-Signal لائن شامل کرتا ہے جو بتاتی ہے کہ آپ کا مواد کیسے استعمال ہو سکتا ہے۔
کچھ بھی آپ کے براؤزر سے باہر نہیں جاتا: فائل آپ کے کلک کرتے ہی صفحے پر بنتی ہے، اور آپ اسے آؤٹ پٹ باکس سے کاپی کرتے ہیں۔
کس پری سیٹ سے شروع کریں
سب کی اجازت: ہر کرالر ہر صفحہ پڑھ سکتا ہے۔ زیادہ تر سائٹس کے لیے درست جو تلاش کیے جانا اور حوالہ پانا چاہتی ہیں۔
ٹریننگ بلاک، AI سرچ کی اجازت: GPTBot، ClaudeBot، CCBot اور Google-Extended جیسے ٹریننگ کرالرز بلاک ہوتے ہیں؛ OAI-SearchBot، Claude-SearchBot، PerplexityBot اور ChatGPT-User جیسے سرچ اور یوزر کرالرز کی اجازت رہتی ہے۔ آپ کے صفحات پھر بھی AI جوابات میں آ سکتے ہیں اور ان کا حوالہ دیا جا سکتا ہے۔
تمام AI کرالرز بلاک: فہرست کا ہر AI کرالر بلاک ہوتا ہے۔ وہ کرالرز آپ کے صفحات AI جوابات کے لیے نہیں منگوائیں گے، جس کا عموماً مطلب ہے کم حوالے اور اسسٹنٹس سے کم ٹریفک۔
ایک مثال: ٹریننگ بلاک، AI سرچ کی اجازت
ہر بلاک شدہ کرالر کا اپنا گروپ ہے، اس لیے اس کا Disallow: / صرف اسی پر لاگو ہوتا ہے۔ باقی تمام کرالرز، بشمول OAI-SearchBot اور Googlebot، User-agent: * پر آتے ہیں اور سب کچھ پڑھ سکتے ہیں۔ Content-Signal لائن انہی کرالرز کے لیے جو اسے پڑھتے ہیں یہی ارادہ دہراتی ہے: سرچ اور فوری جوابات ہاں، ٹریننگ نہیں۔
ملائیں، بدلیں نہیں۔ اگر آپ کی موجودہ robots.txt میں ایڈمن ایریاز، کارٹ یا سرچ صفحات کے اصول ہیں تو انہیں نئی فائل کے User-agent: * گروپ میں کاپی کریں، ورنہ آپ وہ حصے تمام کرالرز کے لیے کھول دیں گے۔
فائل ہر host کی جڑ میں رکھیں: https://example.com/robots.txt۔ سب ڈومین کو اپنی فائل چاہیے۔
اسے اسٹیٹس 200 کے ساتھ سادہ متن کے طور پر پیش کریں۔ اس پتے پر HTML صفحہ یا خرابی robots.txt کے طور پر کام نہیں کرتی۔
نتیجہ robots.txt ٹیسٹر میں پیسٹ کریں اور اپنے اہم کرالرز کے لیے چند اصل path جانچیں۔
یاد رکھیں کہ robots.txt ایک درخواست ہے۔ اگر فائر وال کسی ایسے کرالر کو بلاک کرے جسے آپ نے اجازت دی ہے تو فائل اسے ٹھیک نہیں کر سکتی؛ مکمل جانچ یہ دکھاتی ہے۔
عام غلطیاں
ٹریننگ روکنے کے لیے OAI-SearchBot یا PerplexityBot کو بلاک کرنا۔ یہ سرچ کرالرز ہیں؛ انہیں بلاک کرنا آپ کو جوابات سے نکال دیتا ہے۔
ایک Disallow: / کے اوپر کئی User-agent لائنیں لکھنا جبکہ آپ ان میں سے صرف ایک کو بلاک کرنا چاہتے تھے: اوپر تلے لائنیں ایک گروپ بناتی ہیں۔
یہ توقع کہ ChatGPT-User جیسے صارف کی درخواست پر صفحہ منگوانے والے بلاک مانیں گے۔ کچھ فراہم کنندگان کہتے ہیں کہ جب کسی شخص نے صفحہ مانگا ہو تو یہ ایجنٹس robots.txt پر عمل نہیں بھی کر سکتے۔
Crawl-delay یا Noindex لائنیں شامل کرنا۔ یہ RFC 9309 کا حصہ نہیں ہیں اور Google دونوں کو نظر انداز کرتا ہے۔
اکثر پوچھے جانے والے سوالات
کیا GPTBot کو بلاک کرنے سے میری سائٹ ChatGPT سے ہٹ جائے گی؟
نہیں۔ GPTBot ٹریننگ ڈیٹا جمع کرتا ہے۔ ChatGPT سرچ OAI-SearchBot استعمال کرتی ہے، اور ChatGPT-User وہ صفحات کھولتا ہے جو لوگ مانگتے ہیں۔ اگر آپ حوالہ چاہتے ہیں تو ان کی اجازت رہنے دیں۔
Content-Signal کیا ہے؟
robots.txt میں ایک لائن جو بتاتی ہے کہ آپ کا مواد کیسے استعمال ہو سکتا ہے: search، ai-input (فوری جوابات) اور ai-train (ٹریننگ)، ہر ایک ہاں یا نہیں۔ معاونت ہر فراہم کنندہ کے ہاں مختلف ہے؛ کرالر کے مخصوص گروپس ہی وہ اصول رہتے ہیں جن پر کرالرز عمل کرتے ہیں۔
کیا Google-Extended کا Google Search پر اثر ہوتا ہے؟
نہیں۔ یہ صرف robots.txt والا ٹوکن ہے جو طے کرتا ہے کہ Google آپ کے صفحات اپنے AI ماڈلز کے لیے استعمال کر سکتا ہے یا نہیں؛ یہ Google Search میں کرالنگ یا رینکنگ نہیں بدلتا۔
کیا میرا انتخاب کہیں بھیجا جاتا ہے؟
نہیں۔ جنریٹر آپ کے براؤزر میں چلتا ہے اور جب تک آپ فائل جانچنے کا انتخاب نہ کریں ہمارے سرور کو کچھ نہیں بھیجا جاتا۔