دس میں سے چار کاروباری ویب سائٹس AI کرالرز کو واپس بھیج دیتی ہیں
امریکا، برطانیہ اور فرانس کی 165 کاروباری ویب سائٹس کے ہمارے آڈٹ میں، 38% نے سرور پر کم از کم ایک AI کرالر کو واپس کر دیا، اور تقریباً ہمیشہ وہ ٹریننگ یا اسکریپر بوٹ تھا۔ تقریباً ہر دسویں سائٹ نے کسی AI سرچ کرالر کو بھی رد کیا، جیسے PerplexityBot یا OAI-SearchBot، یعنی وہ کرالر جو حوالے تک لے جا سکتے ہیں۔ اپنی سائٹ کو ہر کرالر کے لیے ایک درخواست سے جانچیں۔
آپ ChatGPT سے اپنی ہی پروڈکٹ کے بارے میں پوچھتے ہیں اور وہ کسی حریف، ایک ریویو سائٹ اور فورم کے ایک تھریڈ کا نام لیتا ہے۔ کبھی یہ مواد کا مسئلہ ہوتا ہے۔ اکثر یہ ایک فائر وال ہوتا ہے جو AI کرالرز کو انکار میں جواب دیتا ہے، اور آپ کی ٹیم میں کسی نے اسے نہیں دیکھا کیونکہ سائٹ براؤزر میں ٹھیک چلتی ہے۔
اس صفحے پر
ہم نے کیا ٹیسٹ کیا؟
ہم ایک ہی ایڈریس سے ایک صفحہ کئی بار منگواتے ہیں: ایک بار عام براؤزر کے طور پر، اور ایک ایک بار 14 AI اور سرچ کرالرز کے طور پر، جن میں OpenAI کے GPTBot، OAI-SearchBot اور ChatGPT-User، Anthropic کے ClaudeBot اور Claude-SearchBot، اور Perplexity کا PerplexityBot شامل ہیں۔ اگر براؤزر کو صفحہ ملے اور کرالر کو 401، 403، 406، 429، 451، 503 یا چیلنج صفحہ ملے، تو سائٹ اس کرالر کو واپس بھیج رہی ہے۔
نمونہ امریکا، برطانیہ اور فرانس کی 218 کاروباری ویب سائٹس ہیں، جن کا آڈٹ 18 سے 21 نومبر 2026 کے درمیان کیا گیا۔ ہم 165 پر مکمل ٹیسٹ چلا سکے۔ باقی 53 نے ہماری سادہ براؤزر کی درخواست بھی رد کی یا جواب نہیں دیا، اس لیے ہم نے اندازہ لگانے کے بجائے انہیں چھوڑ دیا۔
ہمیں کیا ملا؟
- ٹیسٹ ہو سکنے والی سائٹس میں سے 38% (165 میں سے 63) نے کم از کم ایک AI کرالر کو واپس کر دیا۔
- ان میں سے ہر سائٹ نے کم از کم ایک ٹریننگ یا اسکریپر کرالر کو رد کیا۔
Bytespiderکو تمام سائٹس میں سے 35% نے رد کیا،ClaudeBotکو 13% نے اورGPTBotکو 11% نے۔ - 10% سائٹس (16) نے کم از کم ایک AI سرچ کرالر کو بھی رد کیا، اور 5% (8) نے ایسے کرالر کو رد کیا جو کسی شخص کے اسسٹنٹ سے پوچھنے پر صفحہ اسی وقت کھولتا ہے۔
- سب سے اہم سرچ کرالرز
PerplexityBot(11 سائٹس) اورOAI-SearchBot(5 سائٹس) تھے۔ - جن 66 سائٹس نے ہمارے ٹیسٹ کیے گئے کسی بھی کرالر کو رد کیا، ان میں سے 32 کے پیچھے Cloudflare تھا۔ مزید 30 کے بارے میں ہم نہیں بتا سکے کہ کون سا فائر وال جواب دے رہا تھا۔
ایسا کیوں ہوتا ہے، اور یہ کب ایک انتخاب ہوتا ہے؟
اس میں سے بہت کچھ غالباً جان بوجھ کر ہے۔ بہت سے مالکان نہیں چاہتے کہ ان کا مواد ماڈلز کی ٹریننگ میں استعمال ہو، اور اسکریپرز کو روکنے والی بوٹ پروٹیکشن سیٹنگز آن کرنا آسان ہے۔ یہ ایک جائز انتخاب ہے۔
مسئلہ یہ ہے کہ AI کمپنیاں ٹریننگ اور سرچ کے لیے الگ الگ کرالر چلاتی ہیں۔ ٹریننگ کرالر کو روکنے کے لیے سرچ کرالر کو روکنا ضروری نہیں، اور سرچ کرالر ہی وہ ہے جو جواب میں آپ کے صفحے کے حوالے تک لے جا سکتا ہے۔
کیا سب سے بڑی سائٹس بہتر ہیں؟
واقعی نہیں۔ سب سے مقبول 1,000 ڈومینز پر ہماری robots.txt رپورٹ میں، robots.txt والی سائٹس میں سے 29.9% کم از کم ایک AI ٹریننگ کرالر کو بلاک کرتی ہیں، اور ان میں سے 63.2% کم از کم ایک AI سرچ یا یوزر کرالر کو بھی بلاک کرتی ہیں۔ صرف 11.0% ٹریننگ کو بلاک کرتی ہیں اور ہر AI سرچ کرالر کو اجازت دیتی ہیں، جو غالباً وہ ترتیب ہے جو ان میں سے اکثر چاہتی تھیں۔
میں اپنی سائٹ کو دس منٹ میں کیسے جانچوں؟
yoursite.com/robots.txtکھولیں۔ ہر اس AI کرالر کے لیے جس کی آپ کو پروا ہو، دیکھیں کہ کوئی گروپ اس کا نام لیتا ہے یا نہیں اور گروپ کیا کہتا ہے۔ جو گروپ کسی کرالر کا نام لیتا ہے وہ عمومی*گروپ کی جگہ مکمل طور پر لے لیتا ہے۔- یہ ٹیسٹ کریں کہ سرور کیا کرتا ہے، یہ نہیں کہ فائل کیا کہتی ہے۔ اپنا اہم صفحہ براؤزر کے طور پر اور کرالر کے طور پر منگوائیں۔ 403، 429،
Just a moment...عنوان والا صفحہ، یا براؤزر کے جواب سے بہت چھوٹا جواب فائر وال کی بلاکنگ کی نشانی ہے۔ - اسسٹنٹ سے پوچھیں۔ سرچ آن کر کے ChatGPT یا Perplexity سے وہی سوال پوچھیں جو آپ کے خریدار پوچھتے ہیں اور دیکھیں کہ وہ کن سائٹس کا حوالہ دیتا ہے۔ اگر رسائی ٹھیک ہے اور پھر بھی آپ غائب ہیں، تو مسئلہ مواد کا ہے، رسائی کا نہیں۔
یہ اعداد و شمار کتنے قابل اعتماد ہیں؟
انہیں ایک رجحان سمجھیں، مردم شماری نہیں۔ نمونہ بے ترتیب نہیں ہے: یہ وہ کمپنیاں ہیں جو ہمیں اشتہاری لائبریریوں، ملازمت کے پورٹلز اور نقشے کی فہرستوں سے ملیں۔ ہم ایک ایڈریس سے user agent کے ذریعے ٹیسٹ کرتے ہیں، جبکہ اصل کرالرز ان ایڈریسز سے آتے ہیں جو ان کے وینڈرز شائع کرتے ہیں، اس لیے کچھ فائر وال اصل کرالرز کے ساتھ مختلف سلوک کریں گے۔ اور بلاک ہمیشہ غلطی نہیں ہوتا۔
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کتنی ویب سائٹس AI کرالرز کو بلاک کرتی ہیں؟
ہمارے آڈٹ میں ٹیسٹ ہو سکنے والی 165 کاروباری ویب سائٹس میں سے 38% نے سرور پر کم از کم ایک AI کرالر کو واپس کر دیا، زیادہ تر ٹریننگ اور اسکریپر بوٹس کو۔ تقریباً 10% نے کسی AI سرچ کرالر کو بھی رد کیا۔
کیا GPTBot کو بلاک کرنے سے میری سائٹ ChatGPT سرچ سے باہر ہو جاتی ہے؟
نہیں۔ OpenAI کے مطابق اس کے کرالرز کی ہر robots.txt سیٹنگ الگ ہے: GPTBot کا تعلق ٹریننگ سے ہے، OAI-SearchBot کا ChatGPT سرچ سے۔ ایک کو بلاک کرنے سے دوسرا بلاک نہیں ہوتا۔
کوئی سائٹ robots.txt کے بغیر کرالر کو کیسے بلاک کر سکتی ہے؟
فائر وال، CDN یا بوٹ پروٹیکشن کا اصول کرالر کو 403، 429 یا چیلنج صفحے کے ساتھ جواب دے سکتا ہے۔ robots.txt میں یہ کبھی نظر نہیں آتا، اس لیے اسے جانچنے کے لیے صفحہ کرالر کے طور پر منگوا کر دیکھنا پڑتا ہے۔
کیا کرالر کو واپس بھیجنا ہمیشہ غلطی ہوتی ہے؟
نہیں۔ بہت سے مالکان ٹریننگ کرالرز اور اسکریپرز کو باہر رکھنا چاہتے ہیں۔ غلطی تب ہے جب سرچ کرالرز غلطی سے بلاک ہو جائیں، کیونکہ وہی آپ کے صفحے کا حوالہ دے سکتے ہیں۔
ماخذ
- AISeeWhy: AI کرالر رسائی رپورٹ، 2026-11
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI کرالرز کا جائزہ
- Perplexity: Perplexity کے کرالرز
- Cloudflare: AI کرالرز کا انتظام (AI Crawl Control)