Cloudflare کی AI Crawl Control رپورٹ کیسے پڑھیں اور دیکھیں کہ کون سے AI کرالرز اندر آتے ہیں
اپنے Cloudflare ڈیش بورڈ میں AI Crawl Control کھولیں: کرالرز کی فہرست ہر وہ AI کرالر دکھاتی ہے جو Cloudflare نے آپ کے ڈومین پر دیکھا، اس کی درخواستیں، اس کی robots.txt خلاف ورزیاں اور یہ کہ اس کا action، Allow ہے یا Block۔ ٹریننگ سے انکار کرتے ہوئے AI سرچ برقرار رکھنے کے لیے سرچ اور ایجنٹ کرالرز کو اجازت دیں اور ٹریننگ کرالرز کو وہاں یا AI Crawler and Agent access policies کے تحت بلاک یا ممنوع کریں۔ پھر curl سے باہر سے تصدیق کریں، کیونکہ Cloudflare کے دوسرے فیچرز اس کرالر کو بھی بلاک کر سکتے ہیں جسے آپ نے اجازت دی۔
Cloudflare میں اب دو جگہیں ہیں جو طے کرتی ہیں کہ AI کرالرز کو کیا ملتا ہے: AI Crawl Control، یعنی ہر کرالر کی رپورٹ اور سوئچ بورڈ جسے پہلے AI Audit کہا جاتا تھا، اور Security settings کے تحت پورے زون کی AI Crawler and Agent access policies۔ دونوں Free پلان پر دستیاب ہیں، دونوں 2026 میں بدلیں، اور ان میں سے کوئی بھی ان دوسرے فیچرز کے بارے میں نہیں بتاتا جو کرالر کو پھر بھی 403 دے سکتے ہیں۔ یہ گائیڈ رپورٹ کو کالم بہ کالم سمجھاتی ہے، دکھاتی ہے کہ allow اور block کہاں سیٹ کریں، اور ایک ایسی جانچ پر ختم ہوتی ہے جو آپ اپنی مشین سے چلا سکتے ہیں۔
اس صفحے پر
- Cloudflare میں AI کرالر رپورٹ کہاں ہے؟
- AI Crawl Control رپورٹ میں ہر کالم اور میٹرک کا کیا مطلب ہے؟
- Cloudflare میں AI سرچ کرالرز کو اجازت اور ٹریننگ کرالرز کو بلاک کیسے کروں؟
- Cloudflare کی AI کرالر ڈیفالٹ سیٹنگز میں کیا بدلا؟
- اجازت دینے کے بعد بھی Cloudflare، AI کرالرز کو کیوں بلاک کر رہا ہے؟
- باہر سے کیسے تصدیق کروں کہ Cloudflare کن AI کرالرز کو اندر آنے دیتا ہے؟
- AISeeWhy کیسے جانچتا ہے کہ Cloudflare، AI کرالرز کو کیا بھیجتا ہے؟
Cloudflare میں AI کرالر رپورٹ کہاں ہے؟
ڈیش بورڈ میں اپنا اکاؤنٹ اور ڈومین منتخب کریں، پھر AI Crawl Control کھولیں۔ Cloudflare کہتا ہے کہ یہ کنفیگریشن کے بغیر کام کرتا ہے اور تمام پلانز پر دستیاب ہے، بشرطیکہ آپ کے ڈومین کا ٹریفک Cloudflare کے ذریعے proxy ہو۔ اس کے چار حصے ہیں:
- Overview: کل درخواستوں، حجم میں تبدیلی، سب سے عام status code، سب سے مقبول path اور زیادہ حجم والے کرالرز کا خلاصہ، یہ کہ آیا Cloudflare کا managed robots.txt آن ہے، اور OpenAI، Microsoft، Google، ByteDance، Anthropic اور Meta جیسے آپریٹرز کے حساب سے کرالرز۔
- کرالرز کی فہرست: ہر AI کرالر کی ایک قطار، Action کالم کے ساتھ جہاں آپ Allow یا Block چنتے ہیں۔ Cloudflare کی دستاویزات اس ٹیب کو ایک صفحے پر Crawlers اور دوسرے پر Security کہتی ہیں، اس لیے Action کالم والی ٹیبل تلاش کریں۔
- Metrics: وقت کے ساتھ درخواستیں، status code کی تقسیم، مواد کا فارمیٹ، مقبول ترین paths اور، ادا شدہ پلانز پر، ریفرلز۔ فلٹرز میں تاریخ کی حد، کرالر، آپریٹر، hostname اور path شامل ہیں، اور آپ CSV ایکسپورٹ کر سکتے ہیں۔
- Directives: آپ کی robots.txt فائل کی صحت اور robots.txt خلاف ورزیوں کی فہرست۔
اعداد پڑھتے وقت دو پلان حدود اہم ہیں۔ Free پلان پر AI Crawl Control کرالرز کو صرف ان کی یوزر ایجنٹ اسٹرنگ سے پہچانتا ہے، اس لیے یہ صرف اپنا اعلان کرنے والے کرالرز دیکھتا ہے، اور Metrics ٹیب پچھلے 24 گھنٹوں کا احاطہ کرتا ہے۔ ادا شدہ پلانز Bot Management detection ID کے ذریعے پہچان شامل کرتے ہیں، اور Bot Management والے Enterprise کو قابل ترتیب وقت کی حدیں ملتی ہیں۔
AI Crawl Control رپورٹ میں ہر کالم اور میٹرک کا کیا مطلب ہے؟
Cloudflare فیلڈز کی دستاویز یوں دیتا ہے۔ تعریفیں اہم ہیں، کیونکہ کئی اعداد آپ کی توقع سے زیادہ گنتے ہیں۔
- Crawler اور Category: کرالر کا نام، اس کا آپریٹر، اور اس کا زمرہ، جیسے AI crawler، AI assistant یا archiver۔
- Requests: اجازت یافتہ اور ناکام درخواستیں ملا کر، رجحان کے چارٹ کے ساتھ۔ ناکام درخواستیں صرف AI Crawl Control کے بلاک سے نہیں بلکہ کسی بھی اصول یا response error سے آ سکتی ہیں، اس لیے جس کرالر کو آپ نے اجازت دی اس کا زیادہ عدد کسی دوسرے اصول یا آپ کے origin پر errors کی طرف اشارہ کرتا ہے۔
- Allowed requests: وہ درخواستیں جنہیں 200 سے 299 کے درمیان status ملا۔ ڈیٹا ٹرانسفر ان بائٹس سے ناپا جاتا ہے جو Cloudflare نے اجازت یافتہ درخواستوں کے لیے بھیجے۔
- Robots.txt violations: کرالر نے کتنی بار ایسا path مانگا جسے آپ کا robots.txt ممنوع کرتا ہے۔ Cloudflare پچھلی درخواستوں کا موازنہ آپ کے موجودہ اصولوں سے کرتا ہے، اس لیے آج شامل کیا گیا اصول ان درخواستوں کو نشان زد کر سکتا ہے جو اپنے وقت پر جائز تھیں۔
- Action: Allow، Block، یا pay per crawl بیٹا والے اکاؤنٹس کے لیے Charge۔
- Status code کی تقسیم: 2xx، 3xx، 4xx اور 5xx۔ 4xx گروپ میں بلاکس سے آنے والا 403 اور pay per crawl سے آنے والا 402 شامل ہے۔
- Referrals اور top referrers، صرف ادا شدہ پلانز پر: AI سروسز سے آنے والے وزٹس، مثلاً chatgpt.com سے، اور وہ صفحات جن پر وہ پہنچے۔
رپورٹ اپنے چنے ہوئے action سے پڑھیں۔ Allow پر سیٹ کرالر کو زیادہ تر اجازت یافتہ درخواستیں اور 2xx کوڈز دکھانے چاہئیں۔ اگر بہت سی ناکام درخواستیں دکھیں تو اس کرالر کے لیے فلٹر کی گئی status code کی تقسیم کھولیں، اور جواب دینے والا اصول تلاش کرنے کے لیے Security Analytics دیکھیں۔
Cloudflare میں AI سرچ کرالرز کو اجازت اور ٹریننگ کرالرز کو بلاک کیسے کروں؟
آپ یہ ہر کرالر کے حساب سے یا رویے کے حساب سے کر سکتے ہیں۔ ہر کرالر کے حساب سے: AI Crawl Control کھولیں اور ہر قطار کا Action سیٹ کریں۔ Cloudflare کہتا ہے کہ وہاں بلاک کرنے سے آپ کے زون پر WAF custom rule بنتا یا اپ ڈیٹ ہوتا ہے، جسے آپ path کی استثنا کے لیے WAF میں بڑھا سکتے ہیں۔ ادا شدہ پلانز پر آپ چن سکتے ہیں کہ بلاک شدہ کرالرز کو 403 ملے یا 402، اور سادہ متن کا body سیٹ کر سکتے ہیں۔
رویے کے حساب سے: Security، پھر Settings میں جائیں، Bot traffic سے فلٹر کریں اور AI Crawler and Agent access policies کھولیں۔ Cloudflare، AI ٹریفک کو تین رویوں میں تقسیم کرتا ہے، اور ہر پالیسی اس رویے والے verified بوٹس اور ملتے جلتے unverified بوٹس پر لاگو ہوتی ہے:
- Search: مواد جمع یا انڈیکس کرنا تاکہ بعد میں سوالات کے جواب دیے جا سکیں۔
- Agent: کسی شخص کی طرف سے فوری طور پر کام کرنا، جیسے چیٹ fetches اور براؤزر ایجنٹس۔
- Training: ماڈلز کی ٹریننگ یا fine-tuning کے لیے مواد جمع کرنا، بشمول ان کرالرز کے جو ٹریننگ اور سرچ دونوں کے لیے استعمال ہوتے ہیں۔
ہر رویے کو Block، Block on pages with ads یا Allow (do not block) پر سیٹ کیا جا سکتا ہے۔ Training میں Disallow بھی ہے، جو صرف robots.txt کے ذریعے کرالرز سے درخواست کرتا ہے۔ Bot Preference Sync آن ہو تو Cloudflare آپ کے robots.txt کے شروع میں managed اصول شامل کرتا ہے جو Amazonbot، Applebot-Extended، Bytespider، CCBot، ClaudeBot، Google-Extended، GPTBot اور meta-externalagent کو ممنوع کرتے ہیں، ایک Content Signals لائن شامل کرتا ہے، اور AI ٹریننگ کرالرز کو edge پر بھی بلاک کرتا ہے، سوائے ان کرالرز کے جو سرچ اور ٹریننگ دونوں کے لیے استعمال ہوتے ہیں۔
AI حوالے چاہنے والی زیادہ تر سائٹس کے لیے محفوظ مجموعہ یہ ہے: Search اور Agent کو Allow پر، Training کو Disallow پر، پھر ان ٹریننگ والے کرالرز کے لیے AI Crawl Control میں الگ Block actions جنہیں آپ edge پر روکنا چاہتے ہیں۔
Cloudflare کی AI کرالر ڈیفالٹ سیٹنگز میں کیا بدلا؟
1 جولائی 2025 کو Cloudflare نے اعلان کیا کہ وہ ڈیفالٹ بدل کر AI کرالرز کو بلاک کر رہا ہے جب تک وہ تخلیق کاروں کو ادائیگی نہ کریں۔ 1 جولائی 2026 کو اس نے واحد Block AI bots سوئچ کی جگہ اوپر بیان کردہ الگ Search، Agent اور Training پالیسیاں لائیں، Free سمیت تمام پلانز کے لیے۔ اسی اعلان میں کہا گیا کہ 15 ستمبر 2026 سے شامل ہونے والے نئے ڈومینز پر اشتہارات دکھانے والے صفحات پر Training اور Agent بلاک ہوں گے، اور Search کی اجازت ہوگی۔
Cloudflare کی موجودہ پالیسی دستاویزات، جو آخری بار 2 نومبر 2026 کو اپ ڈیٹ ہوئیں، کہتی ہیں کہ نئے ڈومینز پر تینوں رویوں کا ڈیفالٹ Allow (do not block) ہے۔ چونکہ Cloudflare کے اپنے صفحات نے مختلف اوقات میں مختلف ڈیفالٹس بیان کیے ہیں، اپنے زون کے لیے ان میں سے کسی پر بھروسہ نہ کریں: پالیسی صفحہ کھولیں اور پڑھیں کہ کیا سیٹ ہے۔
اجازت دینے کے بعد بھی Cloudflare، AI کرالرز کو کیوں بلاک کر رہا ہے؟
AI Crawl Control میں Allow action صرف AI Crawl Control کو بلاک کرنے سے روکتا ہے۔ دوسرے فیچرز پھر بھی درخواست پر عمل کرتے ہیں۔ عام وجوہات:
- Training بلاک کرنے سے وہ سرچ کرالرز بھی بلاک ہوتے ہیں جو دونوں کام کرتے ہیں۔ Cloudflare کی دستاویزات کہتی ہیں کہ Training actions ملے جلے مقصد والے کرالرز پر لاگو ہوتے ہیں، اور اس کا جولائی 2026 کا اعلان Googlebot، Applebot اور bingbot کو ان کرالرز میں گنتا ہے جنہیں Training بلاک کرنے والے گاہک 15 ستمبر 2026 سے بلاک کریں گے۔ Disallow محدود انتخاب ہے، کیونکہ اس کا edge بلاک ملے جلے مقصد والے کرالرز کو چھوڑ دیتا ہے۔
- Bot Fight Mode آن ہے۔ Cloudflare کہتا ہے کہ آپ WAF custom rules یا Page Rules سے Bot Fight Mode کو bypass یا skip نہیں کر سکتے۔ اگر یہ کسی کرالر کو چیلنج کرتا ہے تو اسے بند کریں، یا جس پلان میں دستیاب ہو وہاں Super Bot Fight Mode استعمال کریں، جو skip rules کی حمایت کرتا ہے۔
- کوئی پرانا WAF custom rule
botوالے یوزر ایجنٹس کو بلاک کرتا ہے، یا rate limiting rule درخواستوں کی بوچھاڑ کو 429 دیتا ہے۔ یہ AI Crawl Control کے Action سے قطع نظر چلتے ہیں۔ - بلاک اصول ہاتھ سے بدلا گیا۔ اگر AI Crawl Control کے پیچھے والا WAF اصول کسی اور response code پر بدل دیا جائے تو ڈیش بورڈ آپ کا انتخاب نافذ نہیں کر سکتا۔
- robots.txt اب بھی کرالر کو ممنوع کرتا ہے۔ Cloudflare کا Allow آپ کا robots.txt نہیں بدلتا، اس لیے مہذب کرالر پھر بھی دور رہتا ہے۔ 1,000 مقبول ترین ڈومینز کے ہمارے مطالعے میں، robots.txt میں AI ٹریننگ کرالر بلاک کرنے والی 155 سائٹس میں سے 98 نے کم از کم ایک AI سرچ یا یوزر کرالر کو بھی بلاک کیا۔
باہر سے کیسے تصدیق کروں کہ Cloudflare کن AI کرالرز کو اندر آنے دیتا ہے؟
ایک ہی صفحہ براؤزر کے یوزر ایجنٹ سے اور ہر کرالر کے یوزر ایجنٹ سے منگوائیں، پھر status اور سائز کا موازنہ کریں۔ نیچے OpenAI، Perplexity اور Google کی اسٹرنگز وہی ہیں جو ان کمپنیوں نے شائع کی ہیں۔
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" اگر کسی کرالر کی لائن میں 403، 429 یا 503 ہو، یا سائز براؤزر کی لائن سے بہت کم ہو، تو آپ کے origin کے سامنے کسی چیز نے مختلف جواب دیا۔ Free پلان پر AI Crawl Control کرالرز کو یوزر ایجنٹ سے پہچانتا ہے، اس لیے یہ جانچ اس کے بلاکس کی معقول پرکھ ہے۔ verified bot حالت یا bot scores پر مبنی اصول آپ کی درخواست کو اصل کرالر سے مختلف سمجھ سکتے ہیں، کیونکہ یہ آپریٹر کی شائع شدہ رینجز سے نہیں بلکہ آپ کے IP ایڈریس سے آتی ہے۔ جانچ کے بعد Security Analytics میں اپنی درخواستیں تلاش کریں تاکہ دیکھیں کون سا اصول ملا۔
AISeeWhy کیسے جانچتا ہے کہ Cloudflare، AI کرالرز کو کیا بھیجتا ہے؟
مفت AISeeWhy جانچ آپ کا صفحہ ایک اصل براؤزر کے ساتھ 16 AI اور سرچ کرالرز کی طرح منگواتی ہے، ہر کرالر پر آپ کا robots.txt لاگو کرتی ہے اور فائر وال کے چیلنج صفحات پہچانتی ہے، تاکہ آپ دیکھ سکیں کہ Cloudflare ڈیش بورڈ کا نتیجہ اس سے میل کھاتا ہے یا نہیں جو کرالرز کو واقعی ملتا ہے۔
اس مسئلے کے حل
اگلے قدم
- AI کرالرز کے لیے robots.txt ٹیسٹر اور چیکر
- AI کرالر IP جانچ
- مکمل رپورٹ کی ایک مثال دیکھیں
- AI کرالر نگرانی
- پلان اور قیمتیں
اس مضمون کے کرالرز
اکثر پوچھے جانے والے سوالات
کیا Cloudflare AI Crawl Control مفت ہے؟
ہاں۔ Cloudflare کے مطابق AI Crawl Control تمام پلانز پر دستیاب ہے۔ Free پلان کرالرز کو صرف یوزر ایجنٹ سے پہچانتا ہے اور Metrics میں پچھلے 24 گھنٹے دکھاتا ہے؛ ریفرل ڈیٹا اور حسب ضرورت بلاک responses کے لیے ادا شدہ پلان چاہیے۔
Cloudflare AI Audit کا کیا ہوا؟
اس کا نام بدل گیا۔ Cloudflare کی دستاویزات AI Crawl Control کو پہلے کا AI Audit بتاتی ہیں، مقصد وہی ہے: دیکھنا کہ کون سے AI کرالرز آتے ہیں اور ہر ایک کے لیے action سیٹ کرنا۔
کیا AI Crawl Control میں کرالر بلاک کرنے سے میرا robots.txt بدلتا ہے؟
نہیں۔ Block action ایک WAF custom rule بناتا یا اپ ڈیٹ کرتا ہے۔ robots.txt صرف تب بدلتا ہے جب آپ Bot Preference Sync کے ساتھ Training کے لیے Disallow آپشن استعمال کریں، جو آپ کی فائل کے شروع میں Cloudflare کے managed اصول شامل کرتا ہے۔
Cloudflare میں robots.txt خلاف ورزی کسے کہتے ہیں؟
کسی AI کرالر کی ایسے path کی درخواست جسے آپ کا robots.txt ممنوع کرتا ہے۔ Cloudflare پچھلی درخواستوں کا موازنہ آپ کے موجودہ اصولوں سے کرتا ہے، اس لیے نیا اصول ان پرانی درخواستوں کو نشان زد کر سکتا ہے جو اس وقت جائز تھیں۔
pay per crawl کیا ہے؟
ایک Charge action جو AI کرالرز سے ہر درخواست پر ادائیگی مانگتا ہے، ورنہ HTTP 402 اور قیمت کے ساتھ جواب دیتا ہے۔ Cloudflare اسے بند بیٹا بتاتا ہے، اور WAF یا Bot Management کے بلاکس کو اس پر ترجیح ہوتی ہے۔
ماخذ
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI کرالرز کی رسائی کی رپورٹ، 2026-11