AI کرالرز کے لیے robots.txt: کسے اجازت دیں، کسے بلاک کریں
جس AI کرالر کی آپ کو پروا ہے اسے اس کا اپنا User-agent گروپ دیں۔ اگر آپ حوالہ چاہتے ہیں تو OAI-SearchBot، Claude-SearchBot اور PerplexityBot جیسے سرچ کرالرز کو اجازت دیں، اور GPTBot، ClaudeBot، Google-Extended اور Applebot-Extended جیسے ٹریننگ ٹوکنز کا فیصلہ الگ سے کریں۔ نام والا گروپ اس کرالر کے لیے * گروپ کی جگہ لے لیتا ہے۔
robots.txt ایک سادہ متنی فائل ہے جو 1994 سے چلی آ رہی ہے اور 2022 میں باقاعدہ معیار، RFC 9309، بنی۔ زیادہ تر AI کمپنیاں کہتی ہیں کہ ان کے کرالرز اس کی پابندی کرتے ہیں، اور کئی سرچ اور ٹریننگ کے لیے الگ ٹوکن شائع کرتی ہیں۔ اس سے robots.txt، AI پالیسی بیان کرنے کی سب سے آسان جگہ بن جاتا ہے، بشرطیکہ اصولوں کا مطلب وہی ہو جو آپ سمجھتے ہیں۔
اس صفحے پر
- AI کرالرز robots.txt کے کون سے ٹوکن استعمال کرتے ہیں؟
- اچھا AI robots.txt کیسا دکھتا ہے؟
- کرالرز کیسے چنتے ہیں کہ کون سے اصول ان پر لاگو ہوتے ہیں؟
- robots.txt کی سب سے عام غلطیاں کیا ہیں؟
- کیا میں اجازت اور ممانعت سے آگے AI استعمال کی پالیسی بیان کر سکتا ہوں؟
- تبدیلیوں میں کتنا وقت لگتا ہے، اور میں انہیں کیسے جانچوں؟
AI کرالرز robots.txt کے کون سے ٹوکن استعمال کرتے ہیں؟
یہ وہ ٹوکن ہیں جن کی کمپنیاں دستاویزات دیتی ہیں۔ RFC 9309 کے تحت ملان بڑے چھوٹے حروف سے آزاد ہے۔
- OpenAI:
OAI-SearchBot(ChatGPT سرچ)،GPTBot(ٹریننگ)،ChatGPT-User(یوزر کی درخواست پر وزٹس؛ OpenAI کہتا ہے کہ robots.txt شاید لاگو نہ ہو)۔ - Anthropic:
Claude-SearchBot(سرچ)،ClaudeBot(ٹریننگ)،Claude-User(یوزر کی درخواست پر وزٹس)۔ - Perplexity:
PerplexityBot(سرچ)،Perplexity-User(یوزر کی درخواست پر وزٹس؛ Perplexity کہتا ہے کہ یہ عام طور پر robots.txt کو نظر انداز کرتا ہے)۔ - Google:
Googlebot(Search، بشمول اس کے AI فیچرز) اورGoogle-Extended، ایک ٹوکن جس کا اپنا کوئی کرالر نہیں اور جو Gemini ٹریننگ اور grounding میں استعمال کو کنٹرول کرتا ہے۔ - Apple:
Applebot(Spotlight، Siri، Safari سرچ) اورApplebot-Extended، جو کرال نہیں کرتا لیکن Apple کے فاؤنڈیشن ماڈلز کی ٹریننگ میں استعمال کو کنٹرول کرتا ہے۔ - Meta:
meta-externalagent(ٹریننگ اور پروڈکٹ انڈیکسنگ) اورmeta-webindexer(Meta AI سرچ)۔ - Common Crawl:
CCBot، جو Common Crawl کا مفت عوامی ویب ڈیٹا آرکائیو بناتا ہے۔
اچھا AI robots.txt کیسا دکھتا ہے؟
یہ مثال AI سرچ اور یوزر fetches کو آنے دیتی ہے، اہم ٹریننگ ٹوکنز سے opt out کرتی ہے اور ایک نجی حصہ سب کے لیے بند رکھتی ہے:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml لگاتار کئی User-agent لائنیں ایک گروپ بناتی ہیں، اس لیے ان کے نیچے کے اصول ان میں سے ہر کرالر پر لاگو ہوتے ہیں۔ اگر آپ چاہتے ہیں کہ آپ کا مواد ٹریننگ میں استعمال ہو تو دوسرا گروپ بس ہٹا دیں۔ Google-Extended بلاک کرنے سے Google Search پر اثر نہیں پڑتا: Google کہتا ہے کہ اس کا Search میں شمولیت پر اثر نہیں اور یہ رینکنگ سگنل نہیں۔ اسی طرح Apple کہتا ہے کہ Applebot-Extended کو ممنوع کرنے والے صفحات پھر بھی اس کے سرچ نتائج میں آ سکتے ہیں۔
کرالرز کیسے چنتے ہیں کہ کون سے اصول ان پر لاگو ہوتے ہیں؟
RFC 9309 اسے ٹھیک ٹھیک بیان کرتا ہے، اور یہی تفصیلات زیادہ تر حیرانیوں کی وضاحت کرتی ہیں:
- کرالر وہ گروپ تلاش کرتا ہے جس کا
User-agentاس کے پروڈکٹ ٹوکن سے ملے، بڑے چھوٹے حروف کو نظر انداز کر کے۔ اگر کئی گروپ ملیں تو ان کے اصول ایک میں جوڑ دیے جاتے ہیں۔ - صرف تب جب کوئی گروپ نہ ملے، کرالر
User-agent: *گروپ پر چلتا ہے۔ نام والا گروپ*سے کچھ وراثت میں نہیں لیتا۔ - گروپ کے اندر سب سے لمبے میل کھانے والے پاتھ کا اصول جیتتا ہے۔
/blog/postکے لیےAllow: /blog/،Disallow: /پر غالب ہے۔ - اگر
AllowاورDisallowاصول برابر لمبائی سے ملیں توAllowاستعمال ہونا چاہیے۔ - پاتھ میں
*کسی بھی حروف سے ملتا ہے اور$آخر کو باندھتا ہے، اس لیےDisallow: /*.pdf$ہر PDF پر لاگو ہوتا ہے۔
robots.txt کی سب سے عام غلطیاں کیا ہیں؟
- یہ توقع کہ نام والا گروپ
*سے وراثت لے گا۔OAI-SearchBotکا گروپ جس میں صرفAllow: /ہو ہر پاتھ کھول دیتا ہے، ان پاتھس سمیت جنہیں آپ نے*کے تحت ممنوع کیا تھا۔ - robots.txt کا ایسا پتہ جو HTML صفحہ لوٹائے، اکثر اسٹیٹس 200 کے ساتھ 404 صفحہ۔ کرالرز کو اس میں کوئی درست اصول نہیں ملتا۔
- robots.txt جو سرور کی خرابی لوٹائے۔ RFC 9309 کہتا ہے کہ پھر کرالر کو پوری سائٹ ممنوع سمجھنی چاہیے۔ 404 مختلف ہے: اس کا مطلب ہے کوئی پابندی نہیں۔
- ٹریننگ بلاک کرنے کے ارادے سے سرچ ٹوکن بلاک کرنا، مثلاً ماڈل ٹریننگ سے بچنے کے لیے
PerplexityBotیاClaude-SearchBotکو ممنوع کرنا۔ - یوزر کی درخواست پر fetches روکنے کے لیے robots.txt پر بھروسہ کرنا۔ OpenAI اور Perplexity دونوں کہتے ہیں کہ ان کے یوزر ایجنٹس شاید اس کی پابندی نہ کریں۔
- سب ڈومینز کو بھول جانا۔ ہر ہوسٹ کا اپنا robots.txt ہوتا ہے؛ Anthropic کی دستاویزات سائٹ مالکان کو ہر سب ڈومین کے لیے اصول شامل کرنے کی یاد دلاتی ہیں۔
کیا میں اجازت اور ممانعت سے آگے AI استعمال کی پالیسی بیان کر سکتا ہوں؟
Cloudflare نے robots.txt کے لیے Content-Signal لائن تجویز کی ہے جس میں تین سگنلز ہیں: search (سرچ انڈیکس بنانا اور لنکس اور مختصر اقتباسات دکھانا)، ai-input (AI جوابات کے لیے مواد کو فوری استعمال کرنا) اور ai-train (ماڈلز کی ٹریننگ یا fine-tuning)۔ Cloudflare کا managed robots.txt اسے آپ کے لیے شامل کر سکتا ہے۔
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt کی ہر چیز کی طرح یہ ترجیحات ہیں، تکنیکی کنٹرول نہیں۔ Cloudflare خود بتاتا ہے کہ robots.txt کی پابندی رضاکارانہ ہے۔ یہ لائن اختیاری ہے اور نقصان نہیں کرتی، لیکن اوپر کے ہر کرالر کے گروپس کی جگہ نہیں لیتی۔
تبدیلیوں میں کتنا وقت لگتا ہے، اور میں انہیں کیسے جانچوں؟
RFC 9309 کہتا ہے کہ کرالرز کو کیش شدہ robots.txt 24 گھنٹے سے زیادہ استعمال نہیں کرنا چاہیے، اور OpenAI اور Perplexity دونوں کہتے ہیں کہ تبدیلیاں لاگو ہونے میں تقریباً ایک دن لگ سکتا ہے۔ یہ بھی یاد رکھیں کہ robots.txt رسائی کا کنٹرول نہیں: فائر وال پھر بھی اس کرالر کو بلاک کر سکتا ہے جسے آپ کے اصول اجازت دیتے ہیں۔
AISeeWhy ہر جانچے گئے کرالر کے لیے آپ کا robots.txt، RFC 9309 کے مطابق پارس کرتا ہے، ان فائلوں کی نشاندہی کرتا ہے جن تک پہنچا نہ جا سکے یا جو HTML کے طور پر دی جائیں، دکھاتا ہے کہ آپ کے اصول اور آپ کا سرور کہاں متفق نہیں، اور تبدیلی کے لیے تیار diff دیتا ہے۔
اس مسئلے کے حل
- robots.txt GPTBot کو اجازت دیتا ہے، لیکن سرور اسے بلاک کرتا ہے
- robots.txt میں OAI-SearchBot ممنوع ہے
- robots.txt ایک HTML صفحہ ہے
- robots.txt میں Content-Signal نہیں
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کیا GPTBot یا ClaudeBot بلاک کرنے سے AI جوابات میں میرا نظر آنا متاثر ہوتا ہے؟
براہ راست نہیں۔ دونوں کمپنیاں سرچ کے لیے الگ سرچ کرالرز، OAI-SearchBot اور Claude-SearchBot، استعمال کرتی ہیں۔ ٹریننگ کرالر بلاک کرنا پالیسی کا فیصلہ ہے۔
کیا Google-Extended، AI Overviews کو روکتا ہے؟
نہیں۔ Google کہتا ہے کہ Search کے AI فیچرز Googlebot اور Search کے عام کنٹرولز، جیسے nosnippet اور noindex، استعمال کرتے ہیں۔ Google-Extended دوسری Google پروڈکٹس میں Gemini ٹریننگ اور grounding کا احاطہ کرتا ہے اور Search پر اثر نہیں ڈالتا۔
کیا AI کرالرز Crawl-delay کو سپورٹ کرتے ہیں؟
یہ RFC 9309 کا حصہ نہیں۔ Anthropic کہتا ہے کہ وہ Crawl-delay کو غیر معیاری توسیع کے طور پر سپورٹ کرتا ہے؛ دوسری کمپنیوں کے لیے ان کی دستاویزات دیکھیں۔
robots.txt کہاں ہونا چاہیے؟
ہر ہوسٹ کی جڑ میں، مثلاً https://example.com/robots.txt۔ کسی ذیلی فولڈر میں رکھی فائل نظر انداز ہوتی ہے، اور ہر سب ڈومین کو اپنی فائل چاہیے۔
ماخذ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI کرالرز کا جائزہ
- Google: عام کرالرز، بشمول Google-Extended
- Apple: Applebot کے بارے میں
- Cloudflare: Managed robots.txt اور Content Signals