چطور گزارش AI Crawl Control در Cloudflare را بخوانیم و ببینیم کدام خزندههای هوش مصنوعی وارد میشوند
AI Crawl Control را در داشبورد Cloudflare باز کنید: فهرست خزندهها هر خزنده هوش مصنوعی را که Cloudflare روی دامنه شما دیده، همراه با درخواستها، تخلفهایش از robots.txt و اینکه اقدام آن Allow است یا Block نشان میدهد. برای حفظ جستجوی هوش مصنوعی و رد کردن آموزش، خزندههای جستجو و عامل را مجاز کنید و خزندههای آموزشی را همانجا یا در AI Crawler and Agent access policies مسدود یا ممنوع کنید. سپس از بیرون با curl تأیید کنید، چون قابلیتهای دیگر Cloudflare هنوز میتوانند خزندهای را که مجاز کردهاید مسدود کنند.
Cloudflare اکنون دو جا دارد که تعیین میکنند خزندههای هوش مصنوعی چه دریافت کنند: AI Crawl Control، یعنی گزارش و پنل کنترل بهازای هر خزنده که قبلاً AI Audit نام داشت، و AI Crawler and Agent access policies در سطح کل zone در تنظیمات Security. هر دو در پلن Free در دسترساند، هر دو در سال 2026 تغییر کردهاند و هیچکدام درباره همه قابلیتهای دیگری که هنوز میتوانند به خزنده خطای 403 بدهند چیزی نمیگویند. این راهنما گزارش را ستونبهستون مرور میکند، نشان میدهد مجاز و مسدود کردن را کجا تنظیم کنید و با تستی تمام میشود که میتوانید از رایانه خودتان اجرا کنید.
در این صفحه
- گزارش خزندههای هوش مصنوعی در Cloudflare کجاست؟
- هر ستون و معیار در گزارش AI Crawl Control چه معنایی دارد؟
- چطور در Cloudflare خزندههای جستجوی هوش مصنوعی را مجاز و خزندههای آموزشی را مسدود کنم؟
- در پیشفرضهای Cloudflare برای خزندههای هوش مصنوعی چه تغییری ایجاد شد؟
- چرا Cloudflare با اینکه خزندههای هوش مصنوعی را مجاز کردهام هنوز آنها را مسدود میکند؟
- چطور از بیرون تأیید کنم Cloudflare کدام خزندههای هوش مصنوعی را راه میدهد؟
- AISeeWhy چطور بررسی میکند Cloudflare چه چیزی به خزندههای هوش مصنوعی میفرستد؟
گزارش خزندههای هوش مصنوعی در Cloudflare کجاست؟
در داشبورد، حساب و دامنه خود را انتخاب کنید و سپس AI Crawl Control را باز کنید. Cloudflare میگوید بدون پیکربندی کار میکند و در همه پلنها در دسترس است، به شرطی که ترافیک دامنه شما از طریق پروکسی Cloudflare عبور کند. چهار بخش دارد:
- Overview: خلاصهای مدیریتی با کل درخواستها، تغییر حجم، رایجترین کد وضعیت، پربازدیدترین مسیر و خزندههای پرحجم، بهعلاوه اینکه robots.txt مدیریتشده Cloudflare روشن است یا نه، و خزندهها به تفکیک گرداننده مثل OpenAI، Microsoft، Google، ByteDance، Anthropic و Meta.
- فهرست خزندهها: یک ردیف برای هر خزنده هوش مصنوعی، با ستون Action که در آن Allow یا Block را انتخاب میکنید. مستندات Cloudflare این زبانه را در یک صفحه Crawlers و در صفحه دیگر Security مینامد، پس دنبال جدولی با ستون Action بگردید.
- Metrics: درخواستها در طول زمان، توزیع کدهای وضعیت، قالب محتوا، پربازدیدترین مسیرها و در پلنهای پولی، ارجاعها. فیلترها بازه تاریخ، خزنده، گرداننده، نام هاست و مسیر را پوشش میدهند و میتوانید خروجی CSV بگیرید.
- Directives: سلامت فایل robots.txt شما و فهرست تخلفها از robots.txt.
هنگام خواندن اعداد، دو محدودیت پلن مهم است. در پلن Free، AI Crawl Control خزندهها را فقط از روی رشته user agent تشخیص میدهد، پس فقط خزندههایی را میبیند که خودشان را معرفی میکنند، و زبانه Metrics فقط 24 ساعت گذشته را پوشش میدهد. پلنهای پولی تشخیص از طریق detection ID در Bot Management را اضافه میکنند، و Enterprise همراه با Bot Management بازههای زمانی قابل تنظیم دارد.
هر ستون و معیار در گزارش AI Crawl Control چه معنایی دارد؟
Cloudflare فیلدها را اینطور مستند کرده است. تعریفها مهماند، چون چند عدد بیش از آنچه انتظار دارید را میشمارند.
- Crawler و Category: نام خزنده، گرداننده آن و دستهاش، مثل AI crawler، AI assistant یا archiver.
- Requests: درخواستهای مجاز بهعلاوه درخواستهای ناموفق، با نمودار روند. درخواستهای ناموفق ممکن است از هر قانون یا خطای پاسخی باشند، نه فقط از مسدودسازی AI Crawl Control، پس عدد بالا برای خزندهای که مجاز کردهاید به قانونی دیگر یا خطاهایی در سرور مبدأ شما اشاره دارد.
- Allowed requests: درخواستهایی که وضعیتی بین 200 و 299 گرفتهاند. انتقال داده از روی بایتهایی اندازهگیری میشود که Cloudflare برای درخواستهای مجاز فرستاده است.
- Robots.txt violations: تعداد دفعاتی که خزنده مسیری را درخواست کرده که robots.txt شما ممنوع کرده است. Cloudflare درخواستهای گذشته را با قوانین فعلی شما مقایسه میکند، پس قانونی که امروز اضافه میکنید ممکن است درخواستهایی را علامت بزند که هنگام انجامشان مجاز بودهاند.
- Action: گزینههای Allow، Block یا برای حسابهای عضو نسخه بتای pay per crawl، Charge.
- توزیع کدهای وضعیت: 2xx، 3xx، 4xx و 5xx. گروه 4xx شامل 403 ناشی از مسدودسازی و 402 ناشی از pay per crawl است.
- ارجاعها و ارجاعدهندگان برتر، فقط در پلنهای پولی: بازدیدهایی که از سرویسهای هوش مصنوعی آمدهاند، مثلاً از chatgpt.com، و صفحههایی که در آنها فرود آمدهاند.
گزارش را از روی اقدامی که انتخاب کردهاید بخوانید. خزندهای که روی Allow تنظیم شده باید بیشتر درخواستهای مجاز و کدهای 2xx نشان دهد. اگر درخواستهای ناموفق زیادی دارد، توزیع کدهای وضعیت را با فیلتر همان خزنده باز کنید و Security Analytics را بررسی کنید تا قانونی را که پاسخ داده پیدا کنید.
چطور در Cloudflare خزندههای جستجوی هوش مصنوعی را مجاز و خزندههای آموزشی را مسدود کنم؟
میتوانید این کار را بهازای هر خزنده یا بر اساس رفتار انجام دهید. بهازای هر خزنده، AI Crawl Control را باز کنید و Action را برای هر ردیف تنظیم کنید. Cloudflare میگوید مسدود کردن در آنجا یک قانون سفارشی WAF در zone شما میسازد یا بهروز میکند که میتوانید آن را در WAF با استثنا برای مسیرها گسترش دهید. در پلنهای پولی میتوانید انتخاب کنید خزندههای مسدودشده 403 بگیرند یا 402 و یک متن ساده برای بدنه پاسخ تعیین کنید.
بر اساس رفتار، به Security و سپس Settings بروید، بر اساس Bot traffic فیلتر کنید و AI Crawler and Agent access policies را باز کنید. Cloudflare ترافیک هوش مصنوعی را در سه رفتار دستهبندی میکند و هر سیاست روی رباتهای تأییدشده با آن رفتار و رباتهای تأییدنشده منطبق اعمال میشود:
- Search: جمعآوری یا ایندکس کردن محتوا تا بعداً بتواند به پرسشها پاسخ دهد.
- Agent: عمل کردن همزمان از طرف یک فرد، مثل دریافتهای چت و عاملهای مرورگر.
- Training: جمعآوری محتوا برای آموزش یا تنظیم دقیق مدلها، از جمله خزندههایی که هم برای آموزش و هم برای جستجو استفاده میشوند.
هر رفتار را میتوان روی Block، Block on pages with ads یا Allow (do not block) تنظیم کرد. Training گزینه Disallow هم دارد که فقط از طریق robots.txt از خزندهها درخواست میکند. با روشن بودن Bot Preference Sync، Cloudflare قوانین مدیریتشدهای را به ابتدای robots.txt شما اضافه میکند که Amazonbot، Applebot-Extended، Bytespider، CCBot، ClaudeBot، Google-Extended، GPTBot و meta-externalagent را ممنوع میکنند، یک خط Content Signals اضافه میکند و خزندههای آموزش هوش مصنوعی را در لبه شبکه هم مسدود میکند، بهجز خزندههایی که هم برای جستجو و هم برای آموزش استفاده میشوند.
برای بیشتر سایتهایی که استناد هوش مصنوعی میخواهند، ترکیب امن این است: Search و Agent روی Allow و Training روی Disallow، و سپس اقدامهای Block جداگانه در AI Crawl Control برای خزندههای صرفاً آموزشی که میخواهید در لبه شبکه متوقف شوند.
در پیشفرضهای Cloudflare برای خزندههای هوش مصنوعی چه تغییری ایجاد شد؟
در 1 ژوئیه 2025، Cloudflare اعلام کرد پیشفرض را به مسدود کردن خزندههای هوش مصنوعی تغییر میدهد مگر اینکه به تولیدکنندگان محتوا پول بدهند. در 1 ژوئیه 2026، کلید واحد Block AI bots را با سیاستهای جداگانه Search، Agent و Training که در بالا آمد جایگزین کرد، برای همه پلنها از جمله Free. همان اطلاعیه گفت دامنههای جدیدی که از 15 سپتامبر 2026 اضافه میشوند، Training و Agent را در صفحههای دارای تبلیغ مسدود و Search را مجاز خواهند داشت.
مستندات فعلی سیاستهای Cloudflare که آخرین بار در 2 نوامبر 2026 بهروز شده، میگوید دامنههای جدید بهطور پیشفرض برای هر سه رفتار روی Allow (do not block) هستند. چون صفحههای خود Cloudflare در زمانهای مختلف پیشفرضهای متفاوتی را توصیف کردهاند، برای zone خود به هیچکدام تکیه نکنید: صفحه سیاست را باز کنید و ببینید چه چیزی تنظیم شده است.
چرا Cloudflare با اینکه خزندههای هوش مصنوعی را مجاز کردهام هنوز آنها را مسدود میکند؟
اقدام Allow در AI Crawl Control فقط جلوی مسدودسازی توسط خود AI Crawl Control را میگیرد. قابلیتهای دیگر همچنان روی درخواست اثر میگذارند. دلیلهای رایج:
- مسدود کردن Training خزندههای جستجویی را هم که هر دو کار را میکنند مسدود میکند. مستندات Cloudflare میگوید اقدامهای Training روی خزندههای چندمنظوره اعمال میشوند، و اطلاعیه ژوئیه 2026 آن Googlebot، Applebot و bingbot را خزندههایی نام میبرد که مشتریانی که Training را مسدود کردهاند از 15 سپتامبر 2026 مسدود خواهند کرد. Disallow گزینه محدودتری است، چون مسدودسازی لبه آن خزندههای چندمنظوره را نادیده میگیرد.
- Bot Fight Mode روشن است. Cloudflare میگوید نمیتوانید Bot Fight Mode را با قوانین سفارشی WAF یا Page Rules دور بزنید یا از آن رد شوید. اگر خزندهای را با چالش روبهرو میکند، آن را خاموش کنید، یا در پلنی که Super Bot Fight Mode دارد از آن استفاده کنید که از قوانین skip پشتیبانی میکند.
- یک قانون سفارشی قدیمی WAF، user agentهای حاوی
botرا مسدود میکند، یا یک قانون محدودیت نرخ به هجوم درخواستها با 429 پاسخ میدهد. اینها مستقل از Action انتخابشده در AI Crawl Control اجرا میشوند. - قانون مسدودسازی دستی ویرایش شده است. اگر قانون WAF پشت AI Crawl Control به کد پاسخ دیگری تغییر کرده باشد، داشبورد دیگر نمیتواند انتخاب شما را اعمال کند.
- robots.txt هنوز خزنده را ممنوع کرده است. Allow در Cloudflare فایل robots.txt شما را تغییر نمیدهد، پس یک خزنده مؤدب به هر حال دور میماند. در مطالعه ما روی 1,000 دامنه پربازدید، 98 سایت از 155 سایتی که یک خزنده آموزش هوش مصنوعی را در robots.txt مسدود کرده بودند، دستکم یک خزنده جستجو یا کاربر هوش مصنوعی را هم مسدود کرده بودند.
چطور از بیرون تأیید کنم Cloudflare کدام خزندههای هوش مصنوعی را راه میدهد؟
یک صفحه را یک بار با user agent مرورگر و یک بار با user agent هر خزنده درخواست کنید، سپس وضعیت و اندازه را مقایسه کنید. رشتههای OpenAI، Perplexity و Google در زیر همانهایی هستند که این شرکتها منتشر کردهاند.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" خط خزندهای با 403، 429 یا 503، یا اندازهای بسیار کوچکتر از خط مرورگر، یعنی چیزی جلوی سرور مبدأ شما پاسخ متفاوتی داده است. در پلن Free، AI Crawl Control خزندهها را از روی user agent تشخیص میدهد، پس این تست بررسی معقولی از مسدودسازیهای آن است. قوانینی که بر وضعیت ربات تأییدشده یا امتیاز ربات تکیه دارند ممکن است با درخواست شما متفاوت از خزنده واقعی رفتار کنند، چون درخواست از نشانی IP شما میآید، نه از بازههای منتشرشده گرداننده. پس از تست، درخواستهای خود را در Security Analytics پیدا کنید تا ببینید کدام قانون منطبق شده است.
AISeeWhy چطور بررسی میکند Cloudflare چه چیزی به خزندههای هوش مصنوعی میفرستد؟
بررسی رایگان AISeeWhy صفحه شما را در نقش 16 خزنده هوش مصنوعی و جستجو در کنار یک مرورگر واقعی درخواست میکند، robots.txt شما را برای هر خزنده اعمال میکند و صفحههای چالش فایروال را تشخیص میدهد، تا ببینید نتیجه داشبورد Cloudflare با آنچه خزندهها واقعاً دریافت میکنند یکی است یا نه.
راهحلهای این مشکل
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا Cloudflare AI Crawl Control رایگان است؟
بله. Cloudflare میگوید AI Crawl Control در همه پلنها در دسترس است. پلن Free خزندهها را فقط با user agent تشخیص میدهد و در Metrics فقط 24 ساعت گذشته را نشان میدهد؛ داده ارجاع و پاسخهای سفارشی مسدودسازی به پلن پولی نیاز دارند.
Cloudflare AI Audit چه شد؟
نامش تغییر کرد. مستندات Cloudflare، AI Crawl Control را همان AI Audit سابق توصیف میکند، با همان هدف: دیدن اینکه کدام خزندههای هوش مصنوعی سر میزنند و تعیین اقدام برای هر کدام.
آیا مسدود کردن یک خزنده در AI Crawl Control فایل robots.txt من را تغییر میدهد؟
نه. اقدام Block یک قانون سفارشی WAF میسازد یا بهروز میکند. robots.txt فقط وقتی تغییر میکند که از گزینه Disallow برای Training همراه با Bot Preference Sync استفاده کنید که قوانین مدیریتشده Cloudflare را به ابتدای فایل شما اضافه میکند.
در Cloudflare چه چیزی تخلف از robots.txt حساب میشود؟
درخواست یک خزنده هوش مصنوعی به مسیری که robots.txt شما ممنوع کرده است. Cloudflare درخواستهای گذشته را با قوانین فعلی شما مقایسه میکند، پس یک قانون جدید ممکن است درخواستهای قدیمیتری را که در آن زمان مجاز بودهاند علامت بزند.
pay per crawl چیست؟
اقدام Charge که از خزندههای هوش مصنوعی میخواهد بهازای هر درخواست پول بدهند و در غیر این صورت با HTTP 402 و یک قیمت پاسخ میدهد. Cloudflare آن را نسخه بتای بسته توصیف میکند و مسدودسازیهای WAF یا Bot Management بر آن اولویت دارند.
منابع
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: گزارش دسترسی خزندههای هوش مصنوعی، 2026-11