AI کرالرز کے لیے robots.txt جنریٹر

منتخب کریں کہ کون سے AI کرالرز آپ کی سائٹ پڑھ سکتے ہیں اور تیار شدہ robots.txt کاپی کریں۔ ایک عام انتخاب یہ ہے کہ GPTBot اور ClaudeBot جیسے AI ٹریننگ کرالرز کو بلاک کریں لیکن OAI-SearchBot اور PerplexityBot جیسے AI سرچ کرالرز کو اجازت دیں، تاکہ آپ کے صفحات AI جوابات میں پھر بھی ظاہر ہوں اور ان کا حوالہ دیا جا سکے۔

یہاں سے شروع کریں
AI ٹریننگ
AI سرچ
یوزر کی درخواست پر منگوانا
Content-Signal (اختیاری): جس کی اجازت دیتے ہیں اس پر نشان لگائیں

یوزر کی درخواست پر منگوانے والوں کو بلاک کرنے کا اثر محدود ہے: کچھ کمپنیاں کہتی ہیں کہ یہ ایجنٹس robots.txt پر عمل نہیں بھی کر سکتے، کیونکہ صفحہ کسی انسان نے مانگا تھا۔ شائع کرنے سے پہلے نتیجہ robots.txt چیکر سے جانچ لیں۔ AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر ←

اسے کیسے استعمال کریں

فائل اپنے ڈومین کی روٹ پر رکھیں (https://example.com/robots.txt)۔ اگر دوسرے کرالرز کے لیے آپ کے اصول پہلے سے موجود ہیں تو انہیں رہنے دیں اور صرف AI والے گروپس شامل کریں۔ تبدیلیاں تب لاگو ہوتی ہیں جب ہر کرالر اگلی بار فائل پڑھتا ہے، عموماً ایک دن کے اندر۔

مکمل جانچ چلائیں ←

گائیڈ

robots.txt جنریٹر کیسے استعمال کریں

یہ متن انگریزی سے مشینی ترجمہ کیا گیا ہے۔

جنریٹر کیا لکھتا ہے

جن کرالرز کو آپ کی سائٹ پڑھنے کی اجازت ہے انہیں ٹک کریں اور جنہیں بلاک کرنا ہے ان کا ٹک ہٹا دیں۔ جنریٹر ایک robots.txt لکھتا ہے جس میں ہر بلاک شدہ کرالر کا ایک گروپ ہوتا ہے، User-agent: <token> اور اس کے بعد Disallow: /، پھر ایک آخری User-agent: * گروپ جو باقی سب کی اجازت دیتا ہے۔ سائٹ میپ کا پتہ شامل کریں تو یہ Sitemap لائن شامل کرتا ہے۔ Content-Signal کے اختیارات ٹک کریں تو یہ ایک Content-Signal لائن شامل کرتا ہے جو بتاتی ہے کہ آپ کا مواد کیسے استعمال ہو سکتا ہے۔

کچھ بھی آپ کے براؤزر سے باہر نہیں جاتا: فائل آپ کے کلک کرتے ہی صفحے پر بنتی ہے، اور آپ اسے آؤٹ پٹ باکس سے کاپی کرتے ہیں۔

کس پری سیٹ سے شروع کریں

ایک مثال: ٹریننگ بلاک، AI سرچ کی اجازت

ہر بلاک شدہ کرالر کا اپنا گروپ ہے، اس لیے اس کا Disallow: / صرف اسی پر لاگو ہوتا ہے۔ باقی تمام کرالرز، بشمول OAI-SearchBot اور Googlebot، User-agent: * پر آتے ہیں اور سب کچھ پڑھ سکتے ہیں۔ Content-Signal لائن انہی کرالرز کے لیے جو اسے پڑھتے ہیں یہی ارادہ دہراتی ہے: سرچ اور فوری جوابات ہاں، ٹریننگ نہیں۔

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

شائع کرنے سے پہلے

عام غلطیاں

اکثر پوچھے جانے والے سوالات

کیا GPTBot کو بلاک کرنے سے میری سائٹ ChatGPT سے ہٹ جائے گی؟

نہیں۔ GPTBot ٹریننگ ڈیٹا جمع کرتا ہے۔ ChatGPT سرچ OAI-SearchBot استعمال کرتی ہے، اور ChatGPT-User وہ صفحات کھولتا ہے جو لوگ مانگتے ہیں۔ اگر آپ حوالہ چاہتے ہیں تو ان کی اجازت رہنے دیں۔

Content-Signal کیا ہے؟

robots.txt میں ایک لائن جو بتاتی ہے کہ آپ کا مواد کیسے استعمال ہو سکتا ہے: search، ai-input (فوری جوابات) اور ai-train (ٹریننگ)، ہر ایک ہاں یا نہیں۔ معاونت ہر فراہم کنندہ کے ہاں مختلف ہے؛ کرالر کے مخصوص گروپس ہی وہ اصول رہتے ہیں جن پر کرالرز عمل کرتے ہیں۔

کیا Google-Extended کا Google Search پر اثر ہوتا ہے؟

نہیں۔ یہ صرف robots.txt والا ٹوکن ہے جو طے کرتا ہے کہ Google آپ کے صفحات اپنے AI ماڈلز کے لیے استعمال کر سکتا ہے یا نہیں؛ یہ Google Search میں کرالنگ یا رینکنگ نہیں بدلتا۔

کیا میرا انتخاب کہیں بھیجا جاتا ہے؟

نہیں۔ جنریٹر آپ کے براؤزر میں چلتا ہے اور جب تک آپ فائل جانچنے کا انتخاب نہ کریں ہمارے سرور کو کچھ نہیں بھیجا جاتا۔

متعلقہ ٹولز اور گائیڈز