Cloudflare کی AI Crawl Control رپورٹ کیسے پڑھیں اور دیکھیں کہ کون سے AI کرالرز اندر آتے ہیں

شائع شدہ

مختصر جواب

اپنے Cloudflare ڈیش بورڈ میں AI Crawl Control کھولیں: کرالرز کی فہرست ہر وہ AI کرالر دکھاتی ہے جو Cloudflare نے آپ کے ڈومین پر دیکھا، اس کی درخواستیں، اس کی robots.txt خلاف ورزیاں اور یہ کہ اس کا action، Allow ہے یا Block۔ ٹریننگ سے انکار کرتے ہوئے AI سرچ برقرار رکھنے کے لیے سرچ اور ایجنٹ کرالرز کو اجازت دیں اور ٹریننگ کرالرز کو وہاں یا AI Crawler and Agent access policies کے تحت بلاک یا ممنوع کریں۔ پھر curl سے باہر سے تصدیق کریں، کیونکہ Cloudflare کے دوسرے فیچرز اس کرالر کو بھی بلاک کر سکتے ہیں جسے آپ نے اجازت دی۔

Cloudflare میں اب دو جگہیں ہیں جو طے کرتی ہیں کہ AI کرالرز کو کیا ملتا ہے: AI Crawl Control، یعنی ہر کرالر کی رپورٹ اور سوئچ بورڈ جسے پہلے AI Audit کہا جاتا تھا، اور Security settings کے تحت پورے زون کی AI Crawler and Agent access policies۔ دونوں Free پلان پر دستیاب ہیں، دونوں 2026 میں بدلیں، اور ان میں سے کوئی بھی ان دوسرے فیچرز کے بارے میں نہیں بتاتا جو کرالر کو پھر بھی 403 دے سکتے ہیں۔ یہ گائیڈ رپورٹ کو کالم بہ کالم سمجھاتی ہے، دکھاتی ہے کہ allow اور block کہاں سیٹ کریں، اور ایک ایسی جانچ پر ختم ہوتی ہے جو آپ اپنی مشین سے چلا سکتے ہیں۔

اس صفحے پر
  1. Cloudflare میں AI کرالر رپورٹ کہاں ہے؟
  2. AI Crawl Control رپورٹ میں ہر کالم اور میٹرک کا کیا مطلب ہے؟
  3. Cloudflare میں AI سرچ کرالرز کو اجازت اور ٹریننگ کرالرز کو بلاک کیسے کروں؟
  4. Cloudflare کی AI کرالر ڈیفالٹ سیٹنگز میں کیا بدلا؟
  5. اجازت دینے کے بعد بھی Cloudflare، AI کرالرز کو کیوں بلاک کر رہا ہے؟
  6. باہر سے کیسے تصدیق کروں کہ Cloudflare کن AI کرالرز کو اندر آنے دیتا ہے؟
  7. AISeeWhy کیسے جانچتا ہے کہ Cloudflare، AI کرالرز کو کیا بھیجتا ہے؟

Cloudflare میں AI کرالر رپورٹ کہاں ہے؟

ڈیش بورڈ میں اپنا اکاؤنٹ اور ڈومین منتخب کریں، پھر AI Crawl Control کھولیں۔ Cloudflare کہتا ہے کہ یہ کنفیگریشن کے بغیر کام کرتا ہے اور تمام پلانز پر دستیاب ہے، بشرطیکہ آپ کے ڈومین کا ٹریفک Cloudflare کے ذریعے proxy ہو۔ اس کے چار حصے ہیں:

اعداد پڑھتے وقت دو پلان حدود اہم ہیں۔ Free پلان پر AI Crawl Control کرالرز کو صرف ان کی یوزر ایجنٹ اسٹرنگ سے پہچانتا ہے، اس لیے یہ صرف اپنا اعلان کرنے والے کرالرز دیکھتا ہے، اور Metrics ٹیب پچھلے 24 گھنٹوں کا احاطہ کرتا ہے۔ ادا شدہ پلانز Bot Management detection ID کے ذریعے پہچان شامل کرتے ہیں، اور Bot Management والے Enterprise کو قابل ترتیب وقت کی حدیں ملتی ہیں۔

AI Crawl Control رپورٹ میں ہر کالم اور میٹرک کا کیا مطلب ہے؟

Cloudflare فیلڈز کی دستاویز یوں دیتا ہے۔ تعریفیں اہم ہیں، کیونکہ کئی اعداد آپ کی توقع سے زیادہ گنتے ہیں۔

رپورٹ اپنے چنے ہوئے action سے پڑھیں۔ Allow پر سیٹ کرالر کو زیادہ تر اجازت یافتہ درخواستیں اور 2xx کوڈز دکھانے چاہئیں۔ اگر بہت سی ناکام درخواستیں دکھیں تو اس کرالر کے لیے فلٹر کی گئی status code کی تقسیم کھولیں، اور جواب دینے والا اصول تلاش کرنے کے لیے Security Analytics دیکھیں۔

Cloudflare میں AI سرچ کرالرز کو اجازت اور ٹریننگ کرالرز کو بلاک کیسے کروں؟

آپ یہ ہر کرالر کے حساب سے یا رویے کے حساب سے کر سکتے ہیں۔ ہر کرالر کے حساب سے: AI Crawl Control کھولیں اور ہر قطار کا Action سیٹ کریں۔ Cloudflare کہتا ہے کہ وہاں بلاک کرنے سے آپ کے زون پر WAF custom rule بنتا یا اپ ڈیٹ ہوتا ہے، جسے آپ path کی استثنا کے لیے WAF میں بڑھا سکتے ہیں۔ ادا شدہ پلانز پر آپ چن سکتے ہیں کہ بلاک شدہ کرالرز کو 403 ملے یا 402، اور سادہ متن کا body سیٹ کر سکتے ہیں۔

رویے کے حساب سے: Security، پھر Settings میں جائیں، Bot traffic سے فلٹر کریں اور AI Crawler and Agent access policies کھولیں۔ Cloudflare، AI ٹریفک کو تین رویوں میں تقسیم کرتا ہے، اور ہر پالیسی اس رویے والے verified بوٹس اور ملتے جلتے unverified بوٹس پر لاگو ہوتی ہے:

ہر رویے کو Block، Block on pages with ads یا Allow (do not block) پر سیٹ کیا جا سکتا ہے۔ Training میں Disallow بھی ہے، جو صرف robots.txt کے ذریعے کرالرز سے درخواست کرتا ہے۔ Bot Preference Sync آن ہو تو Cloudflare آپ کے robots.txt کے شروع میں managed اصول شامل کرتا ہے جو Amazonbot، Applebot-Extended، Bytespider، CCBot، ClaudeBot، Google-Extended، GPTBot اور meta-externalagent کو ممنوع کرتے ہیں، ایک Content Signals لائن شامل کرتا ہے، اور AI ٹریننگ کرالرز کو edge پر بھی بلاک کرتا ہے، سوائے ان کرالرز کے جو سرچ اور ٹریننگ دونوں کے لیے استعمال ہوتے ہیں۔

AI حوالے چاہنے والی زیادہ تر سائٹس کے لیے محفوظ مجموعہ یہ ہے: Search اور Agent کو Allow پر، Training کو Disallow پر، پھر ان ٹریننگ والے کرالرز کے لیے AI Crawl Control میں الگ Block actions جنہیں آپ edge پر روکنا چاہتے ہیں۔

Cloudflare کی AI کرالر ڈیفالٹ سیٹنگز میں کیا بدلا؟

1 جولائی 2025 کو Cloudflare نے اعلان کیا کہ وہ ڈیفالٹ بدل کر AI کرالرز کو بلاک کر رہا ہے جب تک وہ تخلیق کاروں کو ادائیگی نہ کریں۔ 1 جولائی 2026 کو اس نے واحد Block AI bots سوئچ کی جگہ اوپر بیان کردہ الگ Search، Agent اور Training پالیسیاں لائیں، Free سمیت تمام پلانز کے لیے۔ اسی اعلان میں کہا گیا کہ 15 ستمبر 2026 سے شامل ہونے والے نئے ڈومینز پر اشتہارات دکھانے والے صفحات پر Training اور Agent بلاک ہوں گے، اور Search کی اجازت ہوگی۔

Cloudflare کی موجودہ پالیسی دستاویزات، جو آخری بار 2 نومبر 2026 کو اپ ڈیٹ ہوئیں، کہتی ہیں کہ نئے ڈومینز پر تینوں رویوں کا ڈیفالٹ Allow (do not block) ہے۔ چونکہ Cloudflare کے اپنے صفحات نے مختلف اوقات میں مختلف ڈیفالٹس بیان کیے ہیں، اپنے زون کے لیے ان میں سے کسی پر بھروسہ نہ کریں: پالیسی صفحہ کھولیں اور پڑھیں کہ کیا سیٹ ہے۔

اجازت دینے کے بعد بھی Cloudflare، AI کرالرز کو کیوں بلاک کر رہا ہے؟

AI Crawl Control میں Allow action صرف AI Crawl Control کو بلاک کرنے سے روکتا ہے۔ دوسرے فیچرز پھر بھی درخواست پر عمل کرتے ہیں۔ عام وجوہات:

باہر سے کیسے تصدیق کروں کہ Cloudflare کن AI کرالرز کو اندر آنے دیتا ہے؟

ایک ہی صفحہ براؤزر کے یوزر ایجنٹ سے اور ہر کرالر کے یوزر ایجنٹ سے منگوائیں، پھر status اور سائز کا موازنہ کریں۔ نیچے OpenAI، Perplexity اور Google کی اسٹرنگز وہی ہیں جو ان کمپنیوں نے شائع کی ہیں۔

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

اگر کسی کرالر کی لائن میں 403، 429 یا 503 ہو، یا سائز براؤزر کی لائن سے بہت کم ہو، تو آپ کے origin کے سامنے کسی چیز نے مختلف جواب دیا۔ Free پلان پر AI Crawl Control کرالرز کو یوزر ایجنٹ سے پہچانتا ہے، اس لیے یہ جانچ اس کے بلاکس کی معقول پرکھ ہے۔ verified bot حالت یا bot scores پر مبنی اصول آپ کی درخواست کو اصل کرالر سے مختلف سمجھ سکتے ہیں، کیونکہ یہ آپریٹر کی شائع شدہ رینجز سے نہیں بلکہ آپ کے IP ایڈریس سے آتی ہے۔ جانچ کے بعد Security Analytics میں اپنی درخواستیں تلاش کریں تاکہ دیکھیں کون سا اصول ملا۔

AISeeWhy کیسے جانچتا ہے کہ Cloudflare، AI کرالرز کو کیا بھیجتا ہے؟

مفت AISeeWhy جانچ آپ کا صفحہ ایک اصل براؤزر کے ساتھ 16 AI اور سرچ کرالرز کی طرح منگواتی ہے، ہر کرالر پر آپ کا robots.txt لاگو کرتی ہے اور فائر وال کے چیلنج صفحات پہچانتی ہے، تاکہ آپ دیکھ سکیں کہ Cloudflare ڈیش بورڈ کا نتیجہ اس سے میل کھاتا ہے یا نہیں جو کرالرز کو واقعی ملتا ہے۔

اس مسئلے کے حل

مفت ٹولز

اگلے قدم

اس مضمون کے کرالرز

اکثر پوچھے جانے والے سوالات

کیا Cloudflare AI Crawl Control مفت ہے؟

ہاں۔ Cloudflare کے مطابق AI Crawl Control تمام پلانز پر دستیاب ہے۔ Free پلان کرالرز کو صرف یوزر ایجنٹ سے پہچانتا ہے اور Metrics میں پچھلے 24 گھنٹے دکھاتا ہے؛ ریفرل ڈیٹا اور حسب ضرورت بلاک responses کے لیے ادا شدہ پلان چاہیے۔

Cloudflare AI Audit کا کیا ہوا؟

اس کا نام بدل گیا۔ Cloudflare کی دستاویزات AI Crawl Control کو پہلے کا AI Audit بتاتی ہیں، مقصد وہی ہے: دیکھنا کہ کون سے AI کرالرز آتے ہیں اور ہر ایک کے لیے action سیٹ کرنا۔

کیا AI Crawl Control میں کرالر بلاک کرنے سے میرا robots.txt بدلتا ہے؟

نہیں۔ Block action ایک WAF custom rule بناتا یا اپ ڈیٹ کرتا ہے۔ robots.txt صرف تب بدلتا ہے جب آپ Bot Preference Sync کے ساتھ Training کے لیے Disallow آپشن استعمال کریں، جو آپ کی فائل کے شروع میں Cloudflare کے managed اصول شامل کرتا ہے۔

Cloudflare میں robots.txt خلاف ورزی کسے کہتے ہیں؟

کسی AI کرالر کی ایسے path کی درخواست جسے آپ کا robots.txt ممنوع کرتا ہے۔ Cloudflare پچھلی درخواستوں کا موازنہ آپ کے موجودہ اصولوں سے کرتا ہے، اس لیے نیا اصول ان پرانی درخواستوں کو نشان زد کر سکتا ہے جو اس وقت جائز تھیں۔

pay per crawl کیا ہے؟

ایک Charge action جو AI کرالرز سے ہر درخواست پر ادائیگی مانگتا ہے، ورنہ HTTP 402 اور قیمت کے ساتھ جواب دیتا ہے۔ Cloudflare اسے بند بیٹا بتاتا ہے، اور WAF یا Bot Management کے بلاکس کو اس پر ترجیح ہوتی ہے۔

ماخذ

مزید مضامین