کیسے جانچیں کہ کوئی سائٹ AI کرالرز کو بلاک کرتی ہے یا نہیں
کوئی بھی ایڈریس پیسٹ کریں اور دیکھیں کہ وہ GPTBot، ClaudeBot، PerplexityBot اور دوسرے AI کرالرز کو بلاک کرتا ہے یا نہیں: robots.txt میں، فائر وال میں، یا دونوں میں۔
مفت · سائن اپ کے بغیر · نتیجہ 30 سیکنڈ میں
کون سے کرالرز بلاک ہیں
ٹریننگ، سرچ اور صارف کے کرالرز الگ الگ دکھائے جاتے ہیں، کیونکہ GPTBot کو بلاک کرنے سے OAI-SearchBot بلاک نہیں ہوتا، اور ClaudeBot کو بلاک کرنے سے Claude-SearchBot بلاک نہیں ہوتا۔
فیصلہ کرنے والی سطر
ہر کرالر کے لیے robots.txt کو RFC 9309 کے اصولوں کے مطابق پڑھا جاتا ہے: وہ گروپ جس میں اس کا نام ہو، یا اس کے نہ ہونے پر User-agent: *، اور وہ اصول جو غالب آتا ہے۔
فائر وال کا انکار
صفحہ 14 کرالرز کے طور پر اور ایک عام براؤزر کے طور پر منگوایا جاتا ہے۔ بلاکس اور چیلنج صفحات کی نشاندہی کی جاتی ہے اور جواب دینے والے فائر وال کا نام بتایا جاتا ہے۔
ہر نتیجے کا حل
ہر نتیجے کے ساتھ وہ تبدیلی دی جاتی ہے جو کرنی ہے۔ مفت جانچ آپ کا اسکور اور پہلا نتیجہ دکھاتی ہے؛ مکمل رپورٹ $29 میں ہے، صرف ایک بار۔
سائٹ AI کرالرز کو دو جگہ بلاک کر سکتی ہے: robots.txt میں، جو کرالرز سے دور رہنے کی درخواست کرتا ہے، اور سرور یا فائر وال میں، جو انہیں واقعی رد کر دیتا ہے۔ robots.txt میں ہر کرالر کا ٹوکن تلاش کریں، اور اگر نہ ملے تو User-agent: * گروپ دیکھیں، پھر صفحہ کرالر بن کر منگوائیں اور براؤزر کو ملنے والے صفحے سے موازنہ کریں۔ ایک براؤزر ایکسٹینشن robots.txt والا حصہ 16 AI کرالرز کے لیے ایک کلک میں کر دیتی ہے۔
3 مراحل میں خود جانچیں
- کرالر چنیں
ہر AI کمپنی الگ الگ کرالرز چلاتی ہے۔ ٹریننگ:
GPTBot،ClaudeBot۔ سرچ:OAI-SearchBot،Claude-SearchBot،PerplexityBot۔ کسی شخص کی درخواست پر:ChatGPT-User،Claude-User،Perplexity-User۔ - اس کے لیے robots.txt پڑھیں
https://example.com/robots.txtکھولیں اور وہ گروپ تلاش کریں جس میں کرالر کا نام ہو۔ اگر کسی گروپ میں نام نہ ہو توUser-agent: *والا گروپ لاگو ہوتا ہے؛ اگر دونوں نہ ہوں تو سب کچھ مباح ہے۔ - صفحہ کرالر بن کر منگوائیں
کرالر کے یوزر ایجنٹ سے صفحہ منگوائیں اور اسٹیٹس اور سائز کا براؤزر سے موازنہ کریں۔ 403، چیلنج صفحہ یا بہت چھوٹا 200 ظاہر کرتا ہے کہ فائر وال اسے رد کر رہا ہے۔
اکثر پوچھے جانے والے سوالات
کیا robots.txt کے بغیر سائٹ AI کرالرز کے لیے کھلی ہے؟
ہاں، جہاں تک robots.txt کا تعلق ہے۔ robots.txt کے لیے 404 کا مطلب ہے کہ کوئی اصول نہیں، اس لیے ہر کرالر ہر صفحہ منگوا سکتا ہے۔ پھر بھی فائر وال کرالرز کو بلاک کر سکتا ہے۔
کیا ایکسٹینشن فائر وال کی بلاکنگ دکھاتی ہے؟
نہیں۔ یہ آپ کے براؤزر سے robots.txt پڑھتی ہے، جس سے پتا چلتا ہے کہ سائٹ کرالرز سے کیا چاہتی ہے۔ فائر وال اور بوٹ پروٹیکشن کی بلاکنگ دیکھنے کے لیے ایسی درخواست چاہیے جو کرالر بن کر بھیجی جائے، اور یہ کام aiseewhy.com پر مکمل جانچ کرتی ہے۔
کیا میں ایسی سائٹ جانچ سکتا ہوں جو میری نہیں؟
ہاں۔ robots.txt عوامی ہے، اور ایکسٹینشن صرف وہ robots.txt اور llms.txt فائلیں پڑھتی ہے جو سائٹ شائع کرتی ہے، یعنی وہی فائلیں جو ہر کرالر پڑھتا ہے۔
مکمل گائیڈ پڑھیں
چاہے آپ کسی تبدیلی کے بعد اپنی سائٹ جانچ رہے ہوں یا کسی اور کی سائٹ پر بھروسا کرنے سے پہلے اسے دیکھ رہے ہوں، اس سوال کا کہ “کیا یہ سائٹ AI کرالرز کو بلاک کرتی ہے؟” ایک واضح جواب ہے۔ جواب اس پر منحصر ہے کہ آپ کون سا کرالر مراد لے رہے ہیں، کیونکہ AI کمپنیاں ٹریننگ، سرچ اور براہ راست وزٹس کے لیے الگ الگ کرالرز چلاتی ہیں، اور سائٹ ہر ایک کے ساتھ مختلف سلوک کر سکتی ہے۔ یہ گائیڈ تین جانچیں دکھاتی ہے، سب سے تیز سے لے کر سب سے مکمل تک۔
سائٹ AI کرالرز کو کہاں بلاک کر سکتی ہے؟
تین سطحیں ہیں، اور کسی صفحے کو استعمال کرنے کے لیے کرالر کو ان سب سے گزرنا ہوتا ہے۔
- robots.txt: اصولوں کی ایک عوامی فائل جسے اصولوں کے پابند کرالرز کچھ بھی منگوانے سے پہلے پڑھتے ہیں۔ یہ درخواست ہے، تالا نہیں۔
- سرور، CDN یا فائر وال: یہی طے کرتا ہے کہ اصل میں کیا واپس بھیجا جائے۔ بوٹ پروٹیکشن کا کوئی اصول کرالر کو 403، 429 یا چیلنج صفحے سے جواب دے سکتا ہے، چاہے robots.txt اسے اجازت دیتا ہو۔
- خود صفحہ: اگر مرکزی متن صرف JavaScript چلنے کے بعد ظاہر ہوتا ہے تو ابتدائی HTML پڑھنے والے کرالر کو تقریباً خالی صفحہ ملتا ہے، حالانکہ اسے کسی چیز نے بلاک نہیں کیا۔
زیادہ تر فوری جانچیں صرف پہلی سطح دیکھتی ہیں۔ یہ اچھی شروعات ہے، بشرطیکہ آپ باقی دو کو یاد رکھیں۔
ایک AI کرالر کے لیے robots.txt کیسے پڑھیں؟
براؤزر میں https://example.com/robots.txt کھولیں اور وہ گروپ تلاش کریں جو کرالر پر لاگو ہوتا ہے۔ گروپ ایک یا زیادہ User-agent لائنوں سے شروع ہوتا ہے۔ کرالر وہ گروپ استعمال کرتا ہے جس میں اس کے ٹوکن کا نام ہو، جیسے GPTBot؛ ملان بڑے چھوٹے حروف سے آزاد ہے۔ اگر کسی گروپ میں اس کا نام نہ ہو تو وہ User-agent: * گروپ استعمال کرتا ہے۔ اگر دونوں میں سے کوئی نہ ہو تو سب کچھ اجازت یافتہ ہے۔
گروپ کے اندر سب سے لمبے ملتے جلتے پاتھ والا اصول جیتتا ہے، اور جب Allow اور Disallow برابر لمبے ہوں تو Allow جیتتا ہے۔ اس لیے نیچے دی گئی فائل GPTBot کو پوری سائٹ سے بلاک کرتی ہے لیکن باقی سب کرالرز کو اندر آنے دیتی ہے:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / یہ بھی دیکھیں کہ فائل کیسے جواب دیتی ہے۔ RFC 9309 کے تحت 404 کا مطلب ہے کہ کوئی اصول نہیں، یعنی سب کچھ اجازت یافتہ ہے۔ سرور ایرر (5xx) یا کوئی جواب نہ آنے کا مطلب ہے کہ کرالر کو پوری سائٹ ممنوع سمجھنی چاہیے۔ robots.txt کا ایسا پتہ جو HTML صفحہ لوٹائے، ایک عام غلطی ہے: کرالرز کو اس میں کوئی درست اصول نہیں ملتا۔
تمام AI کرالرز کو ایک ساتھ کیسے جانچیں؟
جب آپ کو ایک سے زیادہ کرالرز کی پروا ہو تو فائل ہاتھ سے پڑھنا سست کام بن جاتا ہے۔ ہر AI کمپنی کئی کرالرز چلاتی ہے، جن کے کام مختلف ہیں:
- ٹریننگ کرالرز ماڈل ٹریننگ کے لیے مواد جمع کرتے ہیں:
GPTBot،ClaudeBot،CCBot،Bytespider،meta-externalagent، اور ساتھ میںGoogle-ExtendedاورApplebot-Extendedٹوکنز، جو صرف robots.txt میں نظر آتے ہیں۔ - سرچ کرالرز صفحات کو انڈیکس کرتے ہیں تاکہ AI جوابات ان کا حوالہ دے سکیں:
OAI-SearchBot،Claude-SearchBot،PerplexityBot۔ - یوزر کرالرز اس وقت صفحہ منگواتے ہیں جب کوئی شخص اسسٹنٹ سے کہے:
ChatGPT-User،Claude-User،Perplexity-User۔
Chrome کے لیے مفت AI کرالر چیکر ایکسٹینشن یہ کام ایک کلک میں کرتی ہے۔ کوئی بھی صفحہ کھولیں، آئیکن پر کلک کریں، اور یہ اس سائٹ کا robots.txt پڑھ کر 16 کرالرز میں سے ہر ایک کے لیے دکھاتی ہے کہ صفحے کی اجازت ہے یا نہیں اور کون سی لائن اس کا فیصلہ کرتی ہے۔ یہ Content-Signal ترجیحات بھی دکھاتی ہے، یہ بھی کہ سائٹ پر llms.txt ہے یا نہیں، اور robots.txt میں درج سائٹ میپس بھی۔ یہ آپ کے براؤزر میں چلتی ہے، کسی اکاؤنٹ کی ضرورت نہیں، اور صرف وہی سائٹ پڑھتی ہے جس پر آپ اسے کلک کرتے ہیں۔
Chrome کے بغیر، aiseewhy.com پر مفت robots.txt چیکر آپ کے پیسٹ کیے گئے URL کے لیے یہی جواب دیتا ہے۔
کیسے جانچیں کہ فائر وال انہیں گزرنے دیتا ہے یا نہیں؟
robots.txt دکھاتا ہے کہ سائٹ کیا چاہتی ہے۔ یہ دیکھنے کے لیے کہ کرالر کو اصل میں کیا ملتا ہے، صفحہ دو بار منگوائیں، ایک بار براؤزر بن کر اور ایک بار کرالر کے user agent کے ساتھ، اور اسٹیٹس کوڈ اور جواب کے سائز کا موازنہ کریں:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page اگر براؤزر کو 200 ملے اور کرالر کو 403، 429 یا 503، یا بہت چھوٹا صفحہ، تو کوئی فائر وال یا بوٹ پروٹیکشن کرالر کے ساتھ مختلف سلوک کر رہا ہے۔ ہر بیرونی ٹیسٹ کی ایک حد ہے: درخواست آپ کے نیٹ ورک سے آتی ہے، AI کمپنی کے نیٹ ورک سے نہیں۔ جو فائر وال کرالرز پر ان کے شائع شدہ IP پتوں کی بنیاد پر بھروسا کرتا ہے، وہ اصل کرالر کے ساتھ مختلف سلوک کر سکتا ہے، اس لیے آخری فیصلہ آپ کے سرور لاگز کا ہے۔
aiseewhy.com پر مکمل جانچ صفحے کو ایک اصل براؤزر کے ساتھ ساتھ تمام 16 کرالرز بن کر منگواتی ہے، کرالر کو بلاک کرنے والے فائر وال یا اصول کا نام بتاتی ہے، اور ہر ایک کو ملنے والے متن کا موازنہ کرتی ہے۔
مجھے کس نتیجے کا ہدف رکھنا چاہیے؟
یہ اس پر منحصر ہے کہ آپ کیا چاہتے ہیں۔ اگر آپ ChatGPT سرچ، Claude اور Perplexity میں حوالہ چاہتے ہیں تو سرچ اور یوزر کرالرز کو robots.txt میں اجازت ہونی چاہیے اور انہیں سرور سے اصل صفحہ ملنا چاہیے۔ اگر آپ نہیں چاہتے کہ آپ کا مواد ٹریننگ میں استعمال ہو تو صرف ٹریننگ ٹوکنز کو بلاک کریں۔ یہ الگ الگ فیصلے ہیں: GPTBot کو بلاک کرنے سے OAI-SearchBot بلاک نہیں ہوتا، اور ClaudeBot کو بلاک کرنے سے Claude-SearchBot بلاک نہیں ہوتا۔
بہت سی سائٹس انہیں آپس میں ملا دیتی ہیں۔ 1,000 سب سے مقبول ڈومینز پر ہماری نومبر 2026 کی رپورٹ میں، جو سائٹس کسی ٹریننگ کرالر کو بلاک کرتی ہیں ان میں سے 63% کم از کم ایک AI سرچ یا یوزر کرالر کو بھی بلاک کرتی ہیں، جس سے ان کے صفحات ان AI جوابات سے باہر رہ جاتے ہیں۔
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- llms.txt چیکر اور ویلیڈیٹر
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
ماخذ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: AI کرالر رسائی رپورٹ، 2026-11