AI کرالرز کے لیے robots.txt: کسے اجازت دیں، کسے بلاک کریں

شائع شدہ

مختصر جواب

جس AI کرالر کی آپ کو پروا ہے اسے اس کا اپنا User-agent گروپ دیں۔ اگر آپ حوالہ چاہتے ہیں تو OAI-SearchBot، Claude-SearchBot اور PerplexityBot جیسے سرچ کرالرز کو اجازت دیں، اور GPTBot، ClaudeBot، Google-Extended اور Applebot-Extended جیسے ٹریننگ ٹوکنز کا فیصلہ الگ سے کریں۔ نام والا گروپ اس کرالر کے لیے * گروپ کی جگہ لے لیتا ہے۔

robots.txt ایک سادہ متنی فائل ہے جو 1994 سے چلی آ رہی ہے اور 2022 میں باقاعدہ معیار، RFC 9309، بنی۔ زیادہ تر AI کمپنیاں کہتی ہیں کہ ان کے کرالرز اس کی پابندی کرتے ہیں، اور کئی سرچ اور ٹریننگ کے لیے الگ ٹوکن شائع کرتی ہیں۔ اس سے robots.txt، AI پالیسی بیان کرنے کی سب سے آسان جگہ بن جاتا ہے، بشرطیکہ اصولوں کا مطلب وہی ہو جو آپ سمجھتے ہیں۔

اس صفحے پر
  1. AI کرالرز robots.txt کے کون سے ٹوکن استعمال کرتے ہیں؟
  2. اچھا AI robots.txt کیسا دکھتا ہے؟
  3. کرالرز کیسے چنتے ہیں کہ کون سے اصول ان پر لاگو ہوتے ہیں؟
  4. robots.txt کی سب سے عام غلطیاں کیا ہیں؟
  5. کیا میں اجازت اور ممانعت سے آگے AI استعمال کی پالیسی بیان کر سکتا ہوں؟
  6. تبدیلیوں میں کتنا وقت لگتا ہے، اور میں انہیں کیسے جانچوں؟

AI کرالرز robots.txt کے کون سے ٹوکن استعمال کرتے ہیں؟

یہ وہ ٹوکن ہیں جن کی کمپنیاں دستاویزات دیتی ہیں۔ RFC 9309 کے تحت ملان بڑے چھوٹے حروف سے آزاد ہے۔

اچھا AI robots.txt کیسا دکھتا ہے؟

یہ مثال AI سرچ اور یوزر fetches کو آنے دیتی ہے، اہم ٹریننگ ٹوکنز سے opt out کرتی ہے اور ایک نجی حصہ سب کے لیے بند رکھتی ہے:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

لگاتار کئی User-agent لائنیں ایک گروپ بناتی ہیں، اس لیے ان کے نیچے کے اصول ان میں سے ہر کرالر پر لاگو ہوتے ہیں۔ اگر آپ چاہتے ہیں کہ آپ کا مواد ٹریننگ میں استعمال ہو تو دوسرا گروپ بس ہٹا دیں۔ Google-Extended بلاک کرنے سے Google Search پر اثر نہیں پڑتا: Google کہتا ہے کہ اس کا Search میں شمولیت پر اثر نہیں اور یہ رینکنگ سگنل نہیں۔ اسی طرح Apple کہتا ہے کہ Applebot-Extended کو ممنوع کرنے والے صفحات پھر بھی اس کے سرچ نتائج میں آ سکتے ہیں۔

کرالرز کیسے چنتے ہیں کہ کون سے اصول ان پر لاگو ہوتے ہیں؟

RFC 9309 اسے ٹھیک ٹھیک بیان کرتا ہے، اور یہی تفصیلات زیادہ تر حیرانیوں کی وضاحت کرتی ہیں:

robots.txt کی سب سے عام غلطیاں کیا ہیں؟

کیا میں اجازت اور ممانعت سے آگے AI استعمال کی پالیسی بیان کر سکتا ہوں؟

Cloudflare نے robots.txt کے لیے Content-Signal لائن تجویز کی ہے جس میں تین سگنلز ہیں: search (سرچ انڈیکس بنانا اور لنکس اور مختصر اقتباسات دکھانا)، ai-input (AI جوابات کے لیے مواد کو فوری استعمال کرنا) اور ai-train (ماڈلز کی ٹریننگ یا fine-tuning)۔ Cloudflare کا managed robots.txt اسے آپ کے لیے شامل کر سکتا ہے۔

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt کی ہر چیز کی طرح یہ ترجیحات ہیں، تکنیکی کنٹرول نہیں۔ Cloudflare خود بتاتا ہے کہ robots.txt کی پابندی رضاکارانہ ہے۔ یہ لائن اختیاری ہے اور نقصان نہیں کرتی، لیکن اوپر کے ہر کرالر کے گروپس کی جگہ نہیں لیتی۔

تبدیلیوں میں کتنا وقت لگتا ہے، اور میں انہیں کیسے جانچوں؟

RFC 9309 کہتا ہے کہ کرالرز کو کیش شدہ robots.txt 24 گھنٹے سے زیادہ استعمال نہیں کرنا چاہیے، اور OpenAI اور Perplexity دونوں کہتے ہیں کہ تبدیلیاں لاگو ہونے میں تقریباً ایک دن لگ سکتا ہے۔ یہ بھی یاد رکھیں کہ robots.txt رسائی کا کنٹرول نہیں: فائر وال پھر بھی اس کرالر کو بلاک کر سکتا ہے جسے آپ کے اصول اجازت دیتے ہیں۔

AISeeWhy ہر جانچے گئے کرالر کے لیے آپ کا robots.txt، RFC 9309 کے مطابق پارس کرتا ہے، ان فائلوں کی نشاندہی کرتا ہے جن تک پہنچا نہ جا سکے یا جو HTML کے طور پر دی جائیں، دکھاتا ہے کہ آپ کے اصول اور آپ کا سرور کہاں متفق نہیں، اور تبدیلی کے لیے تیار diff دیتا ہے۔

اس مسئلے کے حل

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

کیا GPTBot یا ClaudeBot بلاک کرنے سے AI جوابات میں میرا نظر آنا متاثر ہوتا ہے؟

براہ راست نہیں۔ دونوں کمپنیاں سرچ کے لیے الگ سرچ کرالرز، OAI-SearchBot اور Claude-SearchBot، استعمال کرتی ہیں۔ ٹریننگ کرالر بلاک کرنا پالیسی کا فیصلہ ہے۔

کیا Google-Extended، AI Overviews کو روکتا ہے؟

نہیں۔ Google کہتا ہے کہ Search کے AI فیچرز Googlebot اور Search کے عام کنٹرولز، جیسے nosnippet اور noindex، استعمال کرتے ہیں۔ Google-Extended دوسری Google پروڈکٹس میں Gemini ٹریننگ اور grounding کا احاطہ کرتا ہے اور Search پر اثر نہیں ڈالتا۔

کیا AI کرالرز Crawl-delay کو سپورٹ کرتے ہیں؟

یہ RFC 9309 کا حصہ نہیں۔ Anthropic کہتا ہے کہ وہ Crawl-delay کو غیر معیاری توسیع کے طور پر سپورٹ کرتا ہے؛ دوسری کمپنیوں کے لیے ان کی دستاویزات دیکھیں۔

robots.txt کہاں ہونا چاہیے؟

ہر ہوسٹ کی جڑ میں، مثلاً https://example.com/robots.txt۔ کسی ذیلی فولڈر میں رکھی فائل نظر انداز ہوتی ہے، اور ہر سب ڈومین کو اپنی فائل چاہیے۔

ماخذ

مزید مضامین