چطور گزارش AI Crawl Control در Cloudflare را بخوانیم و ببینیم کدام خزنده‌های هوش مصنوعی وارد می‌شوند

تاریخ انتشار

پاسخ کوتاه

AI Crawl Control را در داشبورد Cloudflare باز کنید: فهرست خزنده‌ها هر خزنده هوش مصنوعی را که Cloudflare روی دامنه شما دیده، همراه با درخواست‌ها، تخلف‌هایش از robots.txt و اینکه اقدام آن Allow است یا Block نشان می‌دهد. برای حفظ جستجوی هوش مصنوعی و رد کردن آموزش، خزنده‌های جستجو و عامل را مجاز کنید و خزنده‌های آموزشی را همان‌جا یا در AI Crawler and Agent access policies مسدود یا ممنوع کنید. سپس از بیرون با curl تأیید کنید، چون قابلیت‌های دیگر Cloudflare هنوز می‌توانند خزنده‌ای را که مجاز کرده‌اید مسدود کنند.

Cloudflare اکنون دو جا دارد که تعیین می‌کنند خزنده‌های هوش مصنوعی چه دریافت کنند: AI Crawl Control، یعنی گزارش و پنل کنترل به‌ازای هر خزنده که قبلاً AI Audit نام داشت، و AI Crawler and Agent access policies در سطح کل zone در تنظیمات Security. هر دو در پلن Free در دسترس‌اند، هر دو در سال 2026 تغییر کرده‌اند و هیچ‌کدام درباره همه قابلیت‌های دیگری که هنوز می‌توانند به خزنده خطای 403 بدهند چیزی نمی‌گویند. این راهنما گزارش را ستون‌به‌ستون مرور می‌کند، نشان می‌دهد مجاز و مسدود کردن را کجا تنظیم کنید و با تستی تمام می‌شود که می‌توانید از رایانه خودتان اجرا کنید.

در این صفحه
  1. گزارش خزنده‌های هوش مصنوعی در Cloudflare کجاست؟
  2. هر ستون و معیار در گزارش AI Crawl Control چه معنایی دارد؟
  3. چطور در Cloudflare خزنده‌های جستجوی هوش مصنوعی را مجاز و خزنده‌های آموزشی را مسدود کنم؟
  4. در پیش‌فرض‌های Cloudflare برای خزنده‌های هوش مصنوعی چه تغییری ایجاد شد؟
  5. چرا Cloudflare با اینکه خزنده‌های هوش مصنوعی را مجاز کرده‌ام هنوز آن‌ها را مسدود می‌کند؟
  6. چطور از بیرون تأیید کنم Cloudflare کدام خزنده‌های هوش مصنوعی را راه می‌دهد؟
  7. AISeeWhy چطور بررسی می‌کند Cloudflare چه چیزی به خزنده‌های هوش مصنوعی می‌فرستد؟

گزارش خزنده‌های هوش مصنوعی در Cloudflare کجاست؟

در داشبورد، حساب و دامنه خود را انتخاب کنید و سپس AI Crawl Control را باز کنید. Cloudflare می‌گوید بدون پیکربندی کار می‌کند و در همه پلن‌ها در دسترس است، به شرطی که ترافیک دامنه شما از طریق پروکسی Cloudflare عبور کند. چهار بخش دارد:

هنگام خواندن اعداد، دو محدودیت پلن مهم است. در پلن Free، AI Crawl Control خزنده‌ها را فقط از روی رشته user agent تشخیص می‌دهد، پس فقط خزنده‌هایی را می‌بیند که خودشان را معرفی می‌کنند، و زبانه Metrics فقط 24 ساعت گذشته را پوشش می‌دهد. پلن‌های پولی تشخیص از طریق detection ID در Bot Management را اضافه می‌کنند، و Enterprise همراه با Bot Management بازه‌های زمانی قابل تنظیم دارد.

هر ستون و معیار در گزارش AI Crawl Control چه معنایی دارد؟

Cloudflare فیلدها را این‌طور مستند کرده است. تعریف‌ها مهم‌اند، چون چند عدد بیش از آنچه انتظار دارید را می‌شمارند.

گزارش را از روی اقدامی که انتخاب کرده‌اید بخوانید. خزنده‌ای که روی Allow تنظیم شده باید بیشتر درخواست‌های مجاز و کدهای 2xx نشان دهد. اگر درخواست‌های ناموفق زیادی دارد، توزیع کدهای وضعیت را با فیلتر همان خزنده باز کنید و Security Analytics را بررسی کنید تا قانونی را که پاسخ داده پیدا کنید.

چطور در Cloudflare خزنده‌های جستجوی هوش مصنوعی را مجاز و خزنده‌های آموزشی را مسدود کنم؟

می‌توانید این کار را به‌ازای هر خزنده یا بر اساس رفتار انجام دهید. به‌ازای هر خزنده، AI Crawl Control را باز کنید و Action را برای هر ردیف تنظیم کنید. Cloudflare می‌گوید مسدود کردن در آنجا یک قانون سفارشی WAF در zone شما می‌سازد یا به‌روز می‌کند که می‌توانید آن را در WAF با استثنا برای مسیرها گسترش دهید. در پلن‌های پولی می‌توانید انتخاب کنید خزنده‌های مسدودشده 403 بگیرند یا 402 و یک متن ساده برای بدنه پاسخ تعیین کنید.

بر اساس رفتار، به Security و سپس Settings بروید، بر اساس Bot traffic فیلتر کنید و AI Crawler and Agent access policies را باز کنید. Cloudflare ترافیک هوش مصنوعی را در سه رفتار دسته‌بندی می‌کند و هر سیاست روی ربات‌های تأییدشده با آن رفتار و ربات‌های تأییدنشده منطبق اعمال می‌شود:

هر رفتار را می‌توان روی Block، Block on pages with ads یا Allow (do not block) تنظیم کرد. Training گزینه Disallow هم دارد که فقط از طریق robots.txt از خزنده‌ها درخواست می‌کند. با روشن بودن Bot Preference Sync، Cloudflare قوانین مدیریت‌شده‌ای را به ابتدای robots.txt شما اضافه می‌کند که Amazonbot، Applebot-Extended، Bytespider، CCBot، ClaudeBot، Google-Extended، GPTBot و meta-externalagent را ممنوع می‌کنند، یک خط Content Signals اضافه می‌کند و خزنده‌های آموزش هوش مصنوعی را در لبه شبکه هم مسدود می‌کند، به‌جز خزنده‌هایی که هم برای جستجو و هم برای آموزش استفاده می‌شوند.

برای بیشتر سایت‌هایی که استناد هوش مصنوعی می‌خواهند، ترکیب امن این است: Search و Agent روی Allow و Training روی Disallow، و سپس اقدام‌های Block جداگانه در AI Crawl Control برای خزنده‌های صرفاً آموزشی که می‌خواهید در لبه شبکه متوقف شوند.

در پیش‌فرض‌های Cloudflare برای خزنده‌های هوش مصنوعی چه تغییری ایجاد شد؟

در 1 ژوئیه 2025، Cloudflare اعلام کرد پیش‌فرض را به مسدود کردن خزنده‌های هوش مصنوعی تغییر می‌دهد مگر اینکه به تولیدکنندگان محتوا پول بدهند. در 1 ژوئیه 2026، کلید واحد Block AI bots را با سیاست‌های جداگانه Search، Agent و Training که در بالا آمد جایگزین کرد، برای همه پلن‌ها از جمله Free. همان اطلاعیه گفت دامنه‌های جدیدی که از 15 سپتامبر 2026 اضافه می‌شوند، Training و Agent را در صفحه‌های دارای تبلیغ مسدود و Search را مجاز خواهند داشت.

مستندات فعلی سیاست‌های Cloudflare که آخرین بار در 2 نوامبر 2026 به‌روز شده، می‌گوید دامنه‌های جدید به‌طور پیش‌فرض برای هر سه رفتار روی Allow (do not block) هستند. چون صفحه‌های خود Cloudflare در زمان‌های مختلف پیش‌فرض‌های متفاوتی را توصیف کرده‌اند، برای zone خود به هیچ‌کدام تکیه نکنید: صفحه سیاست را باز کنید و ببینید چه چیزی تنظیم شده است.

چرا Cloudflare با اینکه خزنده‌های هوش مصنوعی را مجاز کرده‌ام هنوز آن‌ها را مسدود می‌کند؟

اقدام Allow در AI Crawl Control فقط جلوی مسدودسازی توسط خود AI Crawl Control را می‌گیرد. قابلیت‌های دیگر همچنان روی درخواست اثر می‌گذارند. دلیل‌های رایج:

چطور از بیرون تأیید کنم Cloudflare کدام خزنده‌های هوش مصنوعی را راه می‌دهد؟

یک صفحه را یک بار با user agent مرورگر و یک بار با user agent هر خزنده درخواست کنید، سپس وضعیت و اندازه را مقایسه کنید. رشته‌های OpenAI، Perplexity و Google در زیر همان‌هایی هستند که این شرکت‌ها منتشر کرده‌اند.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

خط خزنده‌ای با 403، 429 یا 503، یا اندازه‌ای بسیار کوچک‌تر از خط مرورگر، یعنی چیزی جلوی سرور مبدأ شما پاسخ متفاوتی داده است. در پلن Free، AI Crawl Control خزنده‌ها را از روی user agent تشخیص می‌دهد، پس این تست بررسی معقولی از مسدودسازی‌های آن است. قوانینی که بر وضعیت ربات تأییدشده یا امتیاز ربات تکیه دارند ممکن است با درخواست شما متفاوت از خزنده واقعی رفتار کنند، چون درخواست از نشانی IP شما می‌آید، نه از بازه‌های منتشرشده گرداننده. پس از تست، درخواست‌های خود را در Security Analytics پیدا کنید تا ببینید کدام قانون منطبق شده است.

AISeeWhy چطور بررسی می‌کند Cloudflare چه چیزی به خزنده‌های هوش مصنوعی می‌فرستد؟

بررسی رایگان AISeeWhy صفحه شما را در نقش 16 خزنده هوش مصنوعی و جستجو در کنار یک مرورگر واقعی درخواست می‌کند، robots.txt شما را برای هر خزنده اعمال می‌کند و صفحه‌های چالش فایروال را تشخیص می‌دهد، تا ببینید نتیجه داشبورد Cloudflare با آنچه خزنده‌ها واقعاً دریافت می‌کنند یکی است یا نه.

راه‌حل‌های این مشکل

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

آیا Cloudflare AI Crawl Control رایگان است؟

بله. Cloudflare می‌گوید AI Crawl Control در همه پلن‌ها در دسترس است. پلن Free خزنده‌ها را فقط با user agent تشخیص می‌دهد و در Metrics فقط 24 ساعت گذشته را نشان می‌دهد؛ داده ارجاع و پاسخ‌های سفارشی مسدودسازی به پلن پولی نیاز دارند.

Cloudflare AI Audit چه شد؟

نامش تغییر کرد. مستندات Cloudflare، AI Crawl Control را همان AI Audit سابق توصیف می‌کند، با همان هدف: دیدن اینکه کدام خزنده‌های هوش مصنوعی سر می‌زنند و تعیین اقدام برای هر کدام.

آیا مسدود کردن یک خزنده در AI Crawl Control فایل robots.txt من را تغییر می‌دهد؟

نه. اقدام Block یک قانون سفارشی WAF می‌سازد یا به‌روز می‌کند. robots.txt فقط وقتی تغییر می‌کند که از گزینه Disallow برای Training همراه با Bot Preference Sync استفاده کنید که قوانین مدیریت‌شده Cloudflare را به ابتدای فایل شما اضافه می‌کند.

در Cloudflare چه چیزی تخلف از robots.txt حساب می‌شود؟

درخواست یک خزنده هوش مصنوعی به مسیری که robots.txt شما ممنوع کرده است. Cloudflare درخواست‌های گذشته را با قوانین فعلی شما مقایسه می‌کند، پس یک قانون جدید ممکن است درخواست‌های قدیمی‌تری را که در آن زمان مجاز بوده‌اند علامت بزند.

pay per crawl چیست؟

اقدام Charge که از خزنده‌های هوش مصنوعی می‌خواهد به‌ازای هر درخواست پول بدهند و در غیر این صورت با HTTP 402 و یک قیمت پاسخ می‌دهد. Cloudflare آن را نسخه بتای بسته توصیف می‌کند و مسدودسازی‌های WAF یا Bot Management بر آن اولویت دارند.

منابع

مقاله‌های دیگر