کیا Cloudflare، AI کرالرز کو بلاک کر رہا ہے؟ کیسے پتہ کریں اور ٹھیک کریں
تقریباً 30 سیکنڈ میں دیکھیں کہ Cloudflare یا کوئی اور فائر وال AI کرالرز کو بلاک سے جواب دیتا ہے یا نہیں، اور وہ اصول حاصل کریں جو صحیح کرالرز کو گزرنے دے۔
مفت · سائن اپ کے بغیر · نتیجہ 30 سیکنڈ میں
403، 429 اور چیلنج صفحات
کرالرز کو بلاک یا Just a moment... صفحہ مل سکتا ہے جبکہ آپ کے براؤزر کو اصل صفحہ ملتا ہے۔ آپ کا صفحہ دونوں طرح منگوایا جاتا ہے اور فرق کی نشاندہی کی جاتی ہے۔
robots.txt بمقابلہ فائر وال
جب robots.txt کسی کرالر کو اجازت دے مگر سرور اسے رد کر دے تو رپورٹ تضاد دکھاتی ہے، تاکہ آپ جان لیں کون سی سیٹنگ بدلنی ہے۔
فائر وال کا نام
جواب دینے والے CDN یا فائر وال کا نام بتایا جاتا ہے، Cloudflare سمیت، تاکہ آپ کو اندازہ نہ لگانا پڑے کہ کہاں دیکھنا ہے۔
لاگو کرنے کا اصول
ہر نتیجے کے ساتھ حل دیا جاتا ہے، جیسے Cloudflare کا اصول یا اجازت فہرست کا مرحلہ۔ مفت جانچ آپ کا اسکور اور پہلا نتیجہ دکھاتی ہے؛ مکمل رپورٹ $29 میں ہے، صرف ایک بار۔
Cloudflare اور دوسرے فائر وال AI کرالرز کو 403، 429 یا "Just a moment..." چیلنج صفحہ دے سکتے ہیں جبکہ براؤزرز کو اصل صفحہ ملتا ہے، چاہے robots.txt کرالر کو اجازت دیتا ہو۔ کرالر کے یوزر ایجنٹ سے صفحہ منگوا کر جانچیں، پھر AI Crawl Control میں یا WAF skip اصول سے AI سرچ کرالرز کو اجازت دیں۔
3 مراحل میں تلاش کریں اور ٹھیک کریں
- صفحہ دو بار منگوائیں
ایک بار براؤزر کے یوزر ایجنٹ سے، ایک بار کرالر کے یوزر ایجنٹ سے۔ صرف کرالر کو 403، 429 یا 503 ملنا،
Just a moment...صفحہ، یا بہت چھوٹا 200 فائر وال کے بلاک کی علامت ہے۔ - سرچ کرالرز کو اجازت دیں
Cloudflare میں AI Crawl Control کھولیں، Crawlers کی فہرست میں جائیں اور جن کرالرز کو چاہتے ہیں، جیسے
OAI-SearchBot، ان کے لیے Action کالم میں Allow منتخب کریں۔ - ضرورت ہو تو دوسری حفاظتیں چھوڑ دیں
اگر WAF کا کسٹم اصول، Super Bot Fight Mode یا ریٹ لمٹنگ پھر بھی انہیں بلاک کرے تو سب سے پہلے رکھا ہوا ایسا اصول شامل کریں جو تصدیق شدہ بوٹس کے لیے ان فیچرز کو چھوڑ دے۔ یوزر ایجنٹ کے میل کے بجائے verified bot فیلڈ یا وینڈر کی شائع شدہ IP رینجز کو ترجیح دیں۔
اکثر پوچھے جانے والے سوالات
Cloudflare میں کہاں دیکھوں کہ کون سے AI کرالرز بلاک ہیں؟
Cloudflare ڈیش بورڈ میں AI Crawl Control کھولیں۔ اس کی کرالرز کی فہرست ہر وہ AI کرالر دکھاتی ہے جو Cloudflare نے آپ کے ڈومین پر دیکھا، اس نے کتنی درخواستیں کیں اور اس کا action، Allow ہے یا Block، اور آپ وہیں action بدل سکتے ہیں۔ دوسرے فیچرز، جیسے Bot Fight Mode، اس کرالر کو بھی بلاک کر سکتے ہیں جسے آپ نے اجازت دی، اس لیے کرالر کے یوزر ایجنٹ والی درخواست سے نتیجے کی تصدیق کریں۔
کیا Cloudflare پہلے سے AI کرالرز کو بلاک کرتا ہے؟
یہ آپ کے اکاؤنٹ، پلان اور آپ کے zone کی سیٹنگز پر منحصر ہے، اور Cloudflare وقت کے ساتھ یہ اختیارات بدلتا رہا ہے۔ اندازہ لگانے کے بجائے AI Crawl Control اور اپنی بوٹ سیٹنگز دیکھیں، اور کرالر کے یوزر ایجنٹ سے ٹیسٹ کریں۔
میری سائٹ براؤزر میں چلتی ہے لیکن کرالرز کے لیے کیوں نہیں؟
فائر وال ہر درخواست کو پرکھتے ہیں۔ براؤزر JavaScript چیلنجز پاس کر لیتا ہے اور کوکیز رکھتا ہے؛ کرالر نہیں، اس لیے اسے چیلنج صفحہ یا 403 مل سکتا ہے جو آپ کبھی نہیں دیکھتے۔
کیا WAF سے AI کرالرز کو گزرنے دینا محفوظ ہے؟
اگر آپ نام والے کرالر کی کمپنی کی IP رینجز یا Cloudflare کے verified bot سگنل سے تصدیق کریں تو اسے اجازت دینے میں خطرہ کم ہے۔ جو اصول صرف یوزر ایجنٹ پر بھروسہ کرتے ہیں وہ اسے نقل کرنے والے ہر شخص کو بھی آنے دیتے ہیں۔
کیا Cloudflare کا email obfuscation فیچر AI کرالرز پر اثر ڈالتا ہے؟
یہ ای میل پتوں کی جگہ ایسا لنک رکھ دیتا ہے جسے صرف اسکرپٹ ڈی کوڈ کرتا ہے، اس لیے کرالرز کو پتے کی جگہ ایک placeholder نظر آتا ہے۔ اگر آپ چاہتے ہیں کہ آپ کا رابطہ ای میل پڑھا جا سکے تو Scrape Shield میں Email Address Obfuscation بند کریں اور پتہ سادہ متن میں دکھائیں۔
مکمل گائیڈ پڑھیں
بوٹ پروٹیکشن اسکریپرز اور غلط استعمال روکنے کے لیے ہے، اور وہ یہ کام اچھا کرتی ہے۔ مسئلہ یہ ہے کہ AI سرچ کرالرز بھی بوٹس ہیں۔ برسوں پہلے آن کی گئی کوئی سکیورٹی سیٹنگ، کوئی rate limit، یا نامعلوم یوزر ایجنٹس کے خلاف کوئی وسیع اصول خاموشی سے ان کرالرز کو باہر رکھ سکتا ہے جو آپ کا حوالہ دیتے ہیں، جبکہ آپ کے اپنے وزٹس بالکل معمول کے مطابق دکھتے ہیں۔
فائر وال AI کرالرز کو کیوں بلاک کرے گا؟
فائر وال ہر درخواست کو پرکھتے ہیں۔ کرالر JavaScript چیلنجز نہیں چلاتا، براؤزر کی طرح کوکیز نہیں رکھتا اور اکثر لگاتار بہت سے صفحات منگواتا ہے، اس لیے وہ بالکل اسی ٹریفک جیسا لگ سکتا ہے جسے روکنے کے لیے بوٹ پروٹیکشن بنی ہے۔ عام وجوہات یہ ہیں:
- بوٹ پروٹیکشن فیچرز جو معلوم بوٹ پیٹرنز سے میل کھانے والی ٹریفک کو چیلنج کرتے ہیں۔ مثلاً Cloudflare کا Bot Fight Mode بوٹس کو کمپیوٹنگ کے لحاظ سے مہنگے چیلنج دیتا ہے۔
- WAF custom rules جو "bot" یا "crawler" جیسے الفاظ والے یوزر ایجنٹس کو بلاک یا چیلنج کرتے ہیں، یا صرف سرچ انجنوں کی ایک مختصر فہرست کو اجازت دیتے ہیں۔
- ایسی سیٹنگز جو AI کرالرز کو ایک زمرے کے طور پر بلاک کرتی ہیں۔ Cloudflare آپ کو Search، Agent اور Training کرالرز کے لیے پالیسیاں سیٹ کرنے دیتا ہے، اور وہاں Block سیٹنگ ان سب پر لاگو ہوتی ہے۔
- rate limiting جو کرالر کی تیز رفتار درخواستوں کا جواب 429 سے دیتی ہے۔
- ملک یا ASN کے بلاک جو اتفاقاً ان نیٹ ورکس پر بھی لاگو ہو جاتے ہیں جہاں سے کرالرز چلتے ہیں۔
فائر وال بلاک اور robots.txt بلاک میں فرق کیسے کروں؟
robots.txt بلاک ایک شائستہ درخواست ہے: کرالر آپ کے اصول پڑھتا ہے اور صفحہ نہیں منگواتا۔ فائر وال بلاک ایک جواب ہے: کرالر صفحہ منگواتا ہے اور اسے کچھ اور ملتا ہے۔ دوسری قسم آپ براہ راست دیکھ سکتے ہیں۔ صفحہ دو بار منگوائیں، ایک بار براؤزر کے یوزر ایجنٹ سے اور ایک بار کرالر کے، اور موازنہ کریں۔
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done فائر وال بلاک کی نشانیاں: صرف کرالر کے لیے اسٹیٹس 403، 429 یا 503؛ Just a moment... یا Attention Required! | Cloudflare عنوان والا صفحہ؛ ایسا body جس میں /cdn-cgi/challenge-platform ہو؛ یا 200 جواب جو براؤزر والے سے بہت چھوٹا ہو۔ یاد رکھیں کہ آپ کا ٹیسٹ آپ کے اپنے IP سے آتا ہے، کرالر کی تصدیق شدہ IP رینج سے نہیں، اس لیے یہ دکھاتا ہے کہ فائر وال یوزر ایجنٹ کے ساتھ کیسا سلوک کرتا ہے، اصل کرالر کے ساتھ اس کے سلوک کی ہر تفصیل نہیں۔
Cloudflare میں AI سرچ کرالرز کو اجازت کیسے دوں؟
Cloudflare کا AI Crawl Control، جو تمام پلانز پر دستیاب ہے، آپ کے ڈومین پر آنے والے AI کرالرز کی فہرست دیتا ہے اور ہر ایک کے لیے action سیٹ کرنے دیتا ہے۔ ڈیش بورڈ میں AI Crawl Control کھولیں، Crawlers فہرست پر جائیں اور ہر کرالر کے لیے Action کالم میں Allow یا Block چنیں۔ Cloudflare کہتا ہے کہ وہاں بلاک کرنے سے آپ کے zone پر WAF custom rule بنتا یا اپ ڈیٹ ہوتا ہے۔
اگر کرالر کو WAF custom rule، Super Bot Fight Mode یا rate limiting بلاک کر رہا ہے تو ایک custom rule شامل کریں جو verified bots اور کرالر کے ٹوکن کے لیے ان فیچرز کو skip کرے:
Security → WAF → Custom rules → Create rule
Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow اصول کو سب سے پہلے رکھیں۔ دھیان رہے کہ یوزر ایجنٹ سے ملانا ہر اس شخص کو بھی گزرنے دیتا ہے جو وہ یوزر ایجنٹ نقل کرے۔ جہاں ممکن ہو، verified bot فیلڈ (cf.client.bot) یا کمپنی کی شائع شدہ IP رینجز کو ترجیح دیں۔
Bot Fight Mode کا کیا؟
Cloudflare کی دستاویزات صاف کہتی ہیں کہ Bot Fight Mode کو WAF custom rules یا Page Rules سے bypass یا skip نہیں کیا جا سکتا۔ اگر یہی فیچر کرالرز کو چیلنج کر رہا ہے تو skip اصول مدد نہیں کرے گا۔ اختیارات یہ ہیں کہ Bot Fight Mode بند کریں، یا جس پلان میں دستیاب ہو اس پر Super Bot Fight Mode استعمال کریں، جو Ruleset Engine پر چلتا ہے اور skip اصولوں کو سپورٹ کرتا ہے۔
مجھے کون سے کرالرز کو گزرنے دینا چاہیے؟
کرالرز کو ان کے کام کے لحاظ سے الگ کریں۔ سرچ اور یوزر fetch کرالرز طے کرتے ہیں کہ AI جوابات آپ کو ڈھونڈ کر حوالہ دے سکتے ہیں یا نہیں۔ ٹریننگ کرالرز ماڈلز کے لیے ڈیٹا جمع کرتے ہیں، اور انہیں بلاک کرنا ایک جائز انتخاب ہے جو آپ کو AI سرچ سے نہیں نکالتا۔
- سرچ:
OAI-SearchBot،Claude-SearchBot،PerplexityBot،Googlebot،bingbot،Applebot۔ - یوزر fetches:
ChatGPT-User،Claude-User،Perplexity-User۔ - ٹریننگ:
GPTBot،ClaudeBot،CCBot،meta-externalagent،Bytespider۔
Cloudflare کی اپنی پالیسی سیٹنگز بھی یہی تقسیم Search، Agent اور Training میں استعمال کرتی ہیں، اس لیے آپ پہلی دو کو اجازت دے کر تیسری کا فیصلہ الگ سے کر سکتے ہیں۔ اگر آپ کوئی دوسرا فائر وال یا CDN استعمال کرتے ہیں تو اصول وہی ہے: کرالر کے ٹوکن کو allowlist میں ڈالیں، جہاں ممکن ہو کمپنی کی شائع شدہ IP رینجز یا reverse DNS سے تصدیق کے ساتھ، تاکہ اسے وہی جواب ملے جو براؤزر کو ملتا ہے۔
AISeeWhy فائر وال بلاک کیسے پہچانتا ہے؟
AISeeWhy آپ کا صفحہ 14 کرالرز اور ایک عام براؤزر کے طور پر منگواتا ہے، اسٹیٹس، سائز اور ری ڈائریکٹس کا موازنہ کرتا ہے، چیلنج صفحات پہچانتا ہے اور جواب دینے والے فائر وال یا CDN کا نام بتاتا ہے۔ جب robots.txt کسی کرالر کو اجازت دے لیکن سرور اسے بلاک کرے تو رپورٹ یہ تضاد دکھاتی ہے اور اسے ٹھیک کرنے کے لیے Cloudflare اصول یا allowlist کا قدم دیتی ہے۔
اس مسئلے کے حل
- ہماری جانچ بلاک ہو گئی، نتیجہ غیر حتمی
- OAI-SearchBot بلاک ہے
- GPTBot کہیں اور ری ڈائریکٹ ہوتا ہے
- GPTBot کو ادھورا صفحہ ملتا ہے
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- AI کرالر IP جانچ
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
ماخذ
- Cloudflare: AI Crawl Control
- Cloudflare: AI کرالرز کا انتظام (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- Cloudflare: AI کرالرز اور ایجنٹس کی رسائی کی پالیسیاں
- OpenAI: OpenAI کرالرز کا جائزہ