میری سائٹ اچانک AI کرالرز کو بلاک کیوں کرنے لگی؟

شائع شدہ

مختصر جواب

جو سائٹ AI کرالرز کو بلاک کرنے لگے اس میں تقریباً ہمیشہ ان پانچ میں سے کسی ایک جگہ تبدیلی آئی ہوتی ہے: اصل میں بھیجا جانے والا robots.txt، Cloudflare کی AI کرالر پالیسیوں جیسی کوئی CDN سیٹنگ، بوٹ پروٹیکشن یا ریٹ لمٹ، ہوسٹنگ کی ڈیفالٹ سیٹنگ، یا ایسا robots.txt جو اب خرابی لوٹاتا ہے۔ آج کا robots.txt اور ایک صفحہ ہر کرالر کی طرح منگوائیں، ان کا براؤزر اور اپنی پچھلی حالت سے موازنہ کریں، اور یہ پرتیں اسی ترتیب سے جانچیں۔

کوئی بھی AI جوابات سے غائب ہونے کا فیصلہ نہیں کرتا۔ یہ کسی تھیم اپ ڈیٹ، سیکیورٹی سیٹنگ، مائیگریشن یا کسی فراہم کنندہ کے ہاں بدلی ہوئی ڈیفالٹ سیٹنگ کے ضمنی اثر کے طور پر ہوتا ہے۔ براؤزر میں سائٹ معمول کے مطابق نظر آتی رہتی ہے، اس لیے تبدیلی تب تک نظر نہیں آتی جب تک کوئی ChatGPT یا Perplexity سے پروڈکٹ کے بارے میں نہ پوچھے اور جواب میں کوئی حریف نہ ملے۔ ہر پرت ایسے نشان چھوڑتی ہے جو آپ باہر سے یا اپنے لاگز میں جانچ سکتے ہیں۔

اس صفحے پر
  1. کیا کرالرز کو ملنے والا robots.txt بدل گیا؟
  2. کیا Cloudflare کی 2026 کی AI کرالر پالیسیوں نے بدل دیا کہ میری سائٹ کیا اجازت دیتی ہے؟
  3. کیا بوٹ پروٹیکشن یا ریٹ لمٹ کرالرز کو پکڑ رہی ہے؟
  4. کیا میرے ہوسٹنگ فراہم کنندہ نے اپنی ڈیفالٹ سیٹنگز بدل دیں؟
  5. کیا robots.txt خرابی لوٹا رہا ہے؟
  6. کیسے پتہ کروں کہ یہ کب شروع ہوا؟
  7. اگلی بار اسے جلدی کیسے پکڑوں؟

کیا کرالرز کو ملنے والا robots.txt بدل گیا؟

https://yourdomain.com/robots.txt منگوائیں اور اس کا اپنی repository یا بیک اپ والی فائل سے موازنہ کریں۔ بھیجی جانے والی فائل دیکھیں، ڈسک والی نہیں، کیونکہ راستے میں کئی پرتیں اسے بدل سکتی ہیں:

Google Search Console کی robots.txt رپورٹ پچھلے 30 دنوں میں Google کے منگوائے گئے ورژن دکھاتی ہے، اور ہر بار فائل یا منگوانے کا نتیجہ بدلنے پر نئی اندراج ہوتی ہے۔ یہ صرف وہی دکھاتی ہے جو Google نے دیکھا، لیکن جب تک آپ کا سرور یوزر ایجنٹ کے لحاظ سے robots.txt نہ بدلے، AI کرالرز کو بھی وہی فائل ملی۔

کیا Cloudflare کی 2026 کی AI کرالر پالیسیوں نے بدل دیا کہ میری سائٹ کیا اجازت دیتی ہے؟

Cloudflare نے اپنے AI کرالر کنٹرولز کئی بار بدلے ہیں، اور کچھ تبدیلیاں کسی کے ترمیم کیے بغیر zone کا رویہ بدل دیتی ہیں۔ 1 جولائی 2025 کو اس نے نئے ڈومینز سے سائن اپ پر پوچھنا شروع کیا کہ AI کرالرز کو اجازت دیں یا نہیں، جس میں بلاک کرنا ابتدائی حالت تھی۔ 1 جولائی 2026 کو اس نے Block AI bots کا واحد سوئچ الگ الگ Search، Agent اور Training پالیسیوں سے بدل دیا، Free سمیت تمام پلانز کے لیے۔

زیادہ تر سائٹس ملے جلے مقصد والے کرالرز پر پھنستی ہیں۔ Cloudflare کی دستاویزات کہتی ہیں کہ Training ایکشنز ان کرالرز پر بھی لاگو ہوتے ہیں جو سرچ اور ٹریننگ دونوں کے لیے استعمال ہوتے ہیں۔ اس کے جولائی 2026 کے اعلان میں کہا گیا کہ 15 ستمبر 2026 سے Googlebot، Applebot اور BingBot جیسے کثیر مقصدی کرالرز ان صارفین کے لیے بلاک ہوں گے جنہوں نے Training بلاک کرنے کا انتخاب کیا، چاہے نئے آپشنز سے یا پرانی Block AI bots سیٹنگ سے۔ اس لیے ایک سال پہلے لگایا گیا ٹریننگ opt-out اب سرچ کرالرز تک پہنچ سکتا ہے۔

نئے ڈومینز کی ڈیفالٹ سیٹنگز وقت کے ساتھ مختلف بیان کی گئی ہیں۔ اسی اعلان میں کہا گیا کہ 15 ستمبر 2026 سے نئے ڈومینز پر اشتہار دکھانے والے صفحات پر Training اور Agent بلاک ہوں گے، جبکہ 2 نومبر 2026 کو اپ ڈیٹ ہونے والی پالیسی دستاویزات کہتی ہیں کہ نئے ڈومینز تینوں کے لیے Allow سے شروع ہوتے ہیں۔ Security کھولیں، پھر Settings، Bot traffic سے فلٹر کریں اور اپنے zone کے لیے AI Crawler and Agent access policies پڑھیں۔ Cloudflare AI Crawl Control پر ہماری گائیڈ ہر سیٹنگ سمجھاتی ہے۔

کیا بوٹ پروٹیکشن یا ریٹ لمٹ کرالرز کو پکڑ رہی ہے؟

بوٹ پروٹیکشن ہر درخواست کو پرکھتی ہے، اور کرالرز ڈیٹا سینٹرز سے تیزی سے بہت سے صفحات منگواتے ہیں، جو بوٹس کا ہی کام ہے۔ جو کرالر پچھلے مہینے گزر جاتا تھا اسے اپنے آپریٹر کے IP رینجز یا کرال کی رفتار بدلنے کے بعد، یا پروٹیکشن کے اصول اپ ڈیٹ ہونے کے بعد چیلنج صفحات ملنے لگ سکتے ہیں۔ Cloudflare کا Bot Fight Mode ایک عام وجہ ہے، اور Cloudflare کہتا ہے کہ اسے WAF custom rules یا Page Rules سے بائی پاس یا اسکپ نہیں کیا جا سکتا، اس لیے بعد میں شامل کیا گیا اجازت کا اصول اس کے آن رہتے مدد نہیں کرے گا۔ نئی ریٹ لمٹ جو درخواستوں کی بوچھاڑ کو 429 دیتی ہے، مصروف کرالر پر یہی اثر ڈالتی ہے۔

باہر سے ٹیسٹ کریں: ایک صفحہ براؤزر کی طرح اور دو AI سرچ کرالرز کی طرح منگوائیں، پھر robots.txt کرالر کی طرح منگوائیں۔

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

صرف کرالر کے لیے 403، 429 یا 503، Just a moment... عنوان والا صفحہ، یا براؤزر والے سے بہت چھوٹی باڈی کا مطلب ہے کہ کرالر کے ساتھ مختلف سلوک ہو رہا ہے۔ ٹیسٹ آپ کے IP سے آتا ہے، کمپنی کے IP سے نہیں، اس لیے تصدیق شدہ بوٹ اسٹیٹس پر مبنی اصول پھر بھی اصل کرالر کے ساتھ مختلف سلوک کر سکتے ہیں۔ فائر وال کا ایونٹ لاگ دکھاتا ہے کہ کس اصول نے جواب دیا۔

کیا میرے ہوسٹنگ فراہم کنندہ نے اپنی ڈیفالٹ سیٹنگز بدل دیں؟

کچھ ہوسٹس آپ کے اپنے اصول چلنے سے پہلے ہی سرور پر AI ٹریفک فلٹر کرتے ہیں۔ مثال کے طور پر SiteGround نے اگست 2025 میں لکھا کہ وہ ڈیفالٹ طور پر ٹریننگ ڈیٹا جمع کرنے کے لیے بنے AI کرالرز کو بلاک کرتا ہے اور ان کرالرز کو اجازت دیتا ہے جو تب آتے ہیں جب کوئی شخص کسی AI اسسٹنٹ سے کسی صفحے کے بارے میں پوچھے۔ ایسے اصول آپ کے robots.txt میں نظر نہیں آتے، اور ہوسٹ کی بوٹ فہرستیں اپ ڈیٹ ہونے پر بدل سکتے ہیں۔

اگر ایک ہی ہوسٹ والی کئی سائٹس پر بیک وقت بلاک ظاہر ہو، یا ایسے جوابات میں جو کبھی آپ کی ایپلیکیشن کے لاگز تک نہیں پہنچتے، تو ہوسٹ سے پوچھیں کہ آپ کے اکاؤنٹ پر بوٹس کے کون سے اصول لاگو ہیں اور کیا آپ ان کرالرز کو مستثنیٰ کر سکتے ہیں جنہیں رکھنا چاہتے ہیں۔

کیا robots.txt خرابی لوٹا رہا ہے؟

ناکام ہونے والا robots.txt کسی بھی Disallow لائن سے زیادہ بلاک کر سکتا ہے۔ RFC 9309 کے تحت 4xx جواب کا مطلب ہے کہ کرالر سب کچھ منگوا سکتا ہے، لیکن سرور کی خرابی (5xx) یا بالکل کوئی جواب نہ ہونے کا مطلب ہے کہ اسے پوری سائٹ ممنوع سمجھنی ہوگی۔ Google ایسی خرابیوں کے پہلے 12 گھنٹے کرالنگ روک دیتا ہے اور پھر 30 دن تک اپنی آخری درست کاپی استعمال کرتا ہے۔

اسی طرح لوڈ میں اچانک اضافہ، /robots.txt پر چیلنج دینے والا فائر وال اصول، یا اسے شامل کرنے والی ریٹ لمٹ کوئی ایک اصول بدلے بغیر اچھا برتاؤ کرنے والے کرالرز کو باہر کر سکتی ہے۔ اوپر والے ٹیسٹ کی آخری کمانڈ کو 200 اور text/plain لوٹانا چاہیے۔ وہاں 5xx، ٹائم آؤٹ یا چیلنج صفحہ سب سے پہلے ٹھیک کرنے والی چیز ہے۔

کیسے پتہ کروں کہ یہ کب شروع ہوا؟

ایک تاریخ معمے کو diff میں بدل دیتی ہے۔ اپنے access لاگز میں AI کرالر یوزر ایجنٹس کی درخواستیں فلٹر کریں اور وہ دن ڈھونڈیں جب ان کے اسٹیٹس کوڈ 200 سے 403، 429 یا 503 ہو گئے، یا وہ دن جب robots.txt پڑھنے کے بعد انہوں نے صفحات مانگنا بند کر دیا؛ AI کرالرز کے لیے سرور لاگز جانچنے پر ہماری گائیڈ میں کمانڈز ہیں۔ جو درخواستیں آپ کے CDN نے بلاک کیں وہ origin تک کبھی نہیں پہنچتیں، اس لیے CDN بھی جانچیں۔ Cloudflare پر AI Crawl Control وقت کے ساتھ اسٹیٹس کوڈز کی تقسیم دکھاتا ہے جسے آپ کرالر کے لحاظ سے فلٹر کر سکتے ہیں۔

پھر اس تاریخ کو deploys، پلگ ان اور تھیم اپ ڈیٹس، CDN سیٹنگ کی تبدیلیوں اور فراہم کنندگان کے اعلانات سے ملائیں۔ کچھ کرنے سے پہلے تصدیق کریں کہ ماخذ IPs کمپنی کے ہیں، تاکہ آپ اصل کرالر کو دیکھ رہے ہوں، اس کا نام استعمال کرنے والے کسی جعل ساز کو نہیں۔

اگلی بار اسے جلدی کیسے پکڑوں؟

رسائی ہر deploy، CDN تبدیلی اور پلگ ان اپ ڈیٹ کے بعد جانچیں، صرف ٹریفک گرنے پر نہیں۔ مفت AISeeWhy جانچ صفحہ ایک اصل براؤزر کے ساتھ 16 AI اور سرچ کرالرز کی طرح منگواتی ہے، ہر کرالر پر آپ کا robots.txt لاگو کرتی ہے اور فائر وال کے چیلنج صفحات پہچانتی ہے۔ مفت robots.txt چیکر ہر کرالر کے لیے دکھاتا ہے کہ آج لائیو فائل کے تحت کوئی صفحہ منگوایا جا سکتا ہے یا نہیں۔

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

ChatGPT نے میری سائٹ دکھانا کیوں بند کر دیا؟

اکثر اس لیے کہ OAI-SearchBot، جو ChatGPT سرچ کے پیچھے کا کرالر ہے، robots.txt کی تبدیلی، CDN پالیسی یا بوٹ پروٹیکشن سے بلاک ہو گیا۔ OpenAI کہتا ہے کہ جو سائٹس اسے بلاک کرتی ہیں وہ ChatGPT سرچ کے جوابات میں نظر نہیں آئیں گی۔ اس کرالر کے لیے ہر پرت جانچیں، اور robots.txt ٹھیک کرنے کے بعد تقریباً 24 گھنٹے دیں، جتنا وقت OpenAI کے مطابق اس کے سسٹمز کو ایڈجسٹ ہونے میں لگتا ہے۔

کیا Cloudflare نے میری سائٹ پر Googlebot کو بلاک کرنا شروع کر دیا؟

ایسا ہو سکتا ہے۔ Cloudflare نے کہا کہ 15 ستمبر 2026 سے جو صارفین Training بلاک کرتے ہیں وہ Googlebot، Applebot اور BingBot جیسے کثیر مقصدی کرالرز کو بھی بلاک کرتے ہیں۔ اس کی دستاویزات کہتی ہیں کہ Training Disallow آپشن ٹریننگ کرالرز کو edge پر بلاک کرتا ہے لیکن ملے جلے استعمال والے کرالرز کو چھوڑ دیتا ہے، اس لیے دیکھیں کہ آپ کا zone کون سا آپشن استعمال کرتا ہے۔

کیا ویب سائٹ بلڈر یا پلگ ان میرے لیے robots.txt بدل سکتا ہے؟

ہاں۔ سائٹ بلڈرز اور SEO یا سیکیورٹی پلگ انز robots.txt میں AI کرالر کے اصول لکھ سکتے ہیں، اور کچھ وقت کے ساتھ اپنی بوٹ فہرستیں بڑھاتے رہتے ہیں۔ ہر اپ ڈیٹ کے بعد لائیو فائل منگوائیں اور وہ گروپس پڑھیں جو آپ کے لیے اہم سرچ کرالرز پر لاگو ہوتے ہیں۔

میرا لائیو robots.txt میرے سرور والی فائل سے مختلف کیوں ہے؟

آپ کے سرور کے آگے کوئی چیز اسے بدل رہی ہے۔ مثال کے طور پر Cloudflare کا managed robots.txt اسی جواب میں آپ کی فائل کے شروع میں اپنے اصول اور content signals جوڑ دیتا ہے۔ درخواست پر robots.txt بنانے والا CMS، یا ہوسٹ کی سطح کی کوئی سیٹنگ بھی اسے بدل یا بڑھا سکتی ہے۔

ٹھیک کرنے کے بعد AI کرالرز کتنی دیر میں واپس آتے ہیں؟

RFC 9309 کہتا ہے کہ کرالرز کو کیش شدہ robots.txt کو 24 گھنٹے سے زیادہ استعمال نہیں کرنا چاہیے، OpenAI تقریباً 24 گھنٹے اور Perplexity زیادہ سے زیادہ 24 گھنٹے بتاتا ہے۔ فائر وال کی تبدیلیاں فراہم کنندہ کے نافذ کرتے ہی لاگو ہو جاتی ہیں، لیکن کرالرز اپنے شیڈول پر واپس آتے ہیں۔

ماخذ

مزید مضامین