آیا Cloudflare خزنده‌های هوش مصنوعی را مسدود می‌کند؟ روش تشخیص و رفع

در حدود 30 ثانیه ببینید Cloudflare یا فایروال دیگری به خزنده‌های هوش مصنوعی پاسخ مسدودکننده می‌دهد یا نه، و قاعده‌ای را بگیرید که خزنده‌های درست را عبور دهد.

رایگان · بدون ثبت‌نام · نتیجه در 30 ثانیه

خطاهای 403 و 429 و صفحه‌های چالش

خزنده‌ها ممکن است پاسخ مسدودکننده یا صفحه Just a moment... بگیرند در حالی که مرورگر شما صفحه واقعی را می‌گیرد. صفحه شما به هر دو روش درخواست می‌شود و تفاوت علامت‌گذاری می‌شود.

robots.txt در برابر فایروال

وقتی robots.txt خزنده‌ای را مجاز کرده اما سرور آن را رد می‌کند، گزارش این تضاد را نشان می‌دهد، تا بدانید کدام تنظیم را باید تغییر دهید.

نام فایروال

CDN یا فایروالی که پاسخ داده نام برده می‌شود، از جمله Cloudflare، تا مجبور نباشید حدس بزنید کجا را نگاه کنید.

قاعده‌ای که باید اعمال شود

هر یافته همراه راه‌حل می‌آید، مثل قاعده Cloudflare یا مرحله افزودن به فهرست مجاز. بررسی رایگان امتیاز و اولین یافته را نشان می‌دهد؛ گزارش کامل 29$ است، یک‌بار پرداخت.

پاسخ کوتاه

Cloudflare و فایروال‌های دیگر ممکن است به خزنده‌های هوش مصنوعی خطای 403، 429 یا صفحه چالش «Just a moment...» بدهند در حالی که مرورگرها صفحه واقعی را می‌گیرند، حتی وقتی robots.txt خزنده را مجاز کرده است. برای بررسی، صفحه را با user agent خزنده درخواست کنید؛ سپس خزنده‌های جستجوی هوش مصنوعی را در AI Crawl Control یا با یک قانون skip در WAF مجاز کنید.

پیدا کردن و رفع آن در 3 مرحله

  1. صفحه را دو بار درخواست کنید

    یک بار با user agent مرورگر و یک بار با user agent خزنده. خطای 403، 429 یا 503 فقط برای خزنده، صفحه Just a moment... یا پاسخ 200 بسیار کوتاه‌تر یعنی فایروال مسدود کرده است.

  2. خزنده‌های جستجو را مجاز کنید

    در Cloudflare، AI Crawl Control را باز کنید، به فهرست Crawlers بروید و در ستون Action برای خزنده‌های موردنظر، مثل OAI-SearchBot، گزینه Allow را بگذارید.

  3. در صورت نیاز از محافظت‌های دیگر عبور دهید

    اگر قاعده سفارشی WAF، Super Bot Fight Mode یا محدودسازی نرخ هنوز آن‌ها را مسدود می‌کند، قاعده‌ای اضافه کنید که اول قرار بگیرد و آن قابلیت‌ها را برای ربات‌های تأییدشده رد کند. فیلد ربات تأییدشده یا بازه‌های IP منتشرشده توسط شرکت را به تطبیق user agent ترجیح دهید.

پرسش‌های متداول

در Cloudflare کجا می‌توانم ببینم کدام خزنده‌های هوش مصنوعی مسدود شده‌اند؟

AI Crawl Control را در داشبورد Cloudflare باز کنید. فهرست خزنده‌های آن هر خزنده هوش مصنوعی را که Cloudflare روی دامنه شما دیده، تعداد درخواست‌هایش و اینکه اقدامش Allow است یا Block نشان می‌دهد، و می‌توانید اقدام را همان‌جا تغییر دهید. قابلیت‌های دیگر مثل Bot Fight Mode همچنان ممکن است خزنده‌ای را که مجاز کرده‌اید مسدود کنند، پس نتیجه را با درخواستی که از user agent خزنده استفاده می‌کند تأیید کنید.

آیا Cloudflare به‌طور پیش‌فرض خزنده‌های هوش مصنوعی را مسدود می‌کند؟

به حساب، پلن و تنظیمات zone شما بستگی دارد و Cloudflare این گزینه‌ها را در طول زمان تغییر داده است. به‌جای حدس زدن، AI Crawl Control و تنظیمات ربات خود را بررسی کنید و با user agent خزنده آزمایش کنید.

چرا سایتم در مرورگر کار می‌کند اما برای خزنده‌ها نه؟

فایروال‌ها درباره تک‌تک درخواست‌ها قضاوت می‌کنند. مرورگر چالش‌های JavaScript را پشت سر می‌گذارد و کوکی نگه می‌دارد؛ خزنده نه، پس ممکن است صفحه چالش یا خطای 403 بگیرد که شما هرگز نمی‌بینید.

آیا راه دادن خزنده‌های هوش مصنوعی از WAF امن است؟

مجاز کردن یک خزنده مشخص اگر آن را با بازه‌های IP شرکت سازنده یا سیگنال ربات تأییدشده Cloudflare تأیید کنید، ریسک کمی دارد. قوانینی که فقط به user agent اعتماد می‌کنند هر کسی را هم که آن را کپی کند راه می‌دهند.

آیا قابلیت پنهان‌سازی ایمیل Cloudflare روی خزنده‌های هوش مصنوعی اثر دارد؟

این قابلیت نشانی‌های ایمیل را با لینکی جایگزین می‌کند که فقط یک اسکریپت آن را رمزگشایی می‌کند؛ پس خزنده‌ها به‌جای نشانی یک متن جایگزین می‌بینند. اگر می‌خواهید ایمیل تماس شما خوانا باشد، Email Address Obfuscation را در بخش Scrape Shield خاموش کنید و نشانی را به‌صورت متن ساده نمایش دهید.

راهنمای کامل را بخوانید

محافظت در برابر ربات برای متوقف کردن اسکریپرها و سوءاستفاده ساخته شده و در این کار خوب است. مشکل اینجاست که خزنده‌های جستجوی هوش مصنوعی هم ربات هستند. یک تنظیم امنیتی که سال‌ها پیش روشن شده، یک محدودیت نرخ درخواست یا یک قانون گسترده علیه user agentهای ناشناخته می‌تواند بی‌صدا خزنده‌هایی را که به شما استناد می‌کنند بیرون نگه دارد، در حالی که بازدیدهای خودتان کاملاً عادی به نظر می‌رسند.

چرا فایروال باید خزنده‌های هوش مصنوعی را مسدود کند؟

فایروال‌ها درباره تک‌تک درخواست‌ها قضاوت می‌کنند. خزنده چالش‌های JavaScript را اجرا نمی‌کند، مثل مرورگر کوکی نگه نمی‌دارد و اغلب صفحه‌های زیادی را پشت سر هم درخواست می‌کند؛ پس می‌تواند دقیقاً شبیه همان ترافیکی باشد که محافظ ربات برای متوقف کردنش ساخته شده است. دلیل‌های رایج:

  • قابلیت‌های محافظت در برابر ربات که برای ترافیک منطبق با الگوهای شناخته‌شده ربات چالش نشان می‌دهند. برای مثال Bot Fight Mode در Cloudflare چالش‌های پرهزینه محاسباتی برای ربات‌ها صادر می‌کند.
  • قوانین سفارشی WAF که user agentهای دارای کلماتی مثل «bot» یا «crawler» را مسدود می‌کنند یا برایشان چالش نشان می‌دهند، یا فقط فهرست کوتاهی از موتورهای جستجو را مجاز می‌کنند.
  • تنظیماتی که خزنده‌های هوش مصنوعی را به‌عنوان یک دسته مسدود می‌کنند. Cloudflare اجازه می‌دهد برای خزنده‌های Search، Agent و Training سیاست تعیین کنید و تنظیم Block در آنجا روی همه آن‌ها اعمال می‌شود.
  • محدودیت نرخ درخواست که به درخواست‌های پشت سر هم یک خزنده با 429 پاسخ می‌دهد.
  • مسدودسازی بر اساس کشور یا ASN که تصادفاً شبکه‌هایی را که خزنده‌ها از آن‌ها کار می‌کنند پوشش می‌دهد.

چطور مسدودسازی فایروال را از مسدودسازی robots.txt تشخیص دهم؟

مسدودسازی robots.txt یک درخواست مؤدبانه است: خزنده قوانین شما را می‌خواند و صفحه را دریافت نمی‌کند. مسدودسازی فایروال یک پاسخ است: خزنده صفحه را درخواست می‌کند و چیز دیگری می‌گیرد. نوع دوم را مستقیماً می‌توانید ببینید. صفحه را دو بار درخواست کنید، یک بار با user agent مرورگر و یک بار با user agent خزنده، و مقایسه کنید.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

نشانه‌های مسدودسازی فایروال: وضعیت 403، 429 یا 503 فقط برای خزنده؛ صفحه‌ای با عنوان Just a moment... یا Attention Required! | Cloudflare؛ بدنه‌ای که /cdn-cgi/challenge-platform دارد؛ یا پاسخ 200 که خیلی کوتاه‌تر از پاسخ مرورگر است. به یاد داشته باشید آزمایش شما از IP خودتان انجام می‌شود، نه از بازه IP تأییدشده خزنده؛ پس نشان می‌دهد فایروال با user agent چطور رفتار می‌کند، نه همه جزئیات رفتارش با خزنده واقعی.

چطور خزنده‌های جستجوی هوش مصنوعی را در Cloudflare مجاز کنم؟

AI Crawl Control در Cloudflare که در همه پلن‌ها در دسترس است، خزنده‌های هوش مصنوعی‌ای را که به دامنه شما سر می‌زنند فهرست می‌کند و اجازه می‌دهد برای هر کدام اقدامی تعیین کنید. در داشبورد، AI Crawl Control را باز کنید، به فهرست Crawlers بروید و در ستون Action برای هر خزنده Allow یا Block را انتخاب کنید. Cloudflare می‌گوید مسدود کردن در آنجا یک قانون سفارشی WAF در zone شما ایجاد یا به‌روزرسانی می‌کند.

اگر چیزی که خزنده را مسدود می‌کند یک قانون سفارشی WAF، Super Bot Fight Mode یا محدودیت نرخ درخواست است، یک قانون سفارشی اضافه کنید که این قابلیت‌ها را برای ربات‌های تأییدشده و برای توکن خزنده رد کند (skip):

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

این قانون را اول از همه قرار دهید. توجه کنید که تطبیق با user agent هر کسی را هم که آن user agent را جعل کند راه می‌دهد. هر جا ممکن است، فیلد ربات تأییدشده (cf.client.bot) یا بازه‌های IP منتشرشده شرکت سازنده را ترجیح دهید.

Bot Fight Mode چه می‌شود؟

مستندات Cloudflare صریح است که Bot Fight Mode را نمی‌توان با قوانین سفارشی WAF یا Page Rules دور زد یا رد کرد. اگر همین قابلیت است که برای خزنده‌ها چالش نشان می‌دهد، قانون skip کمکی نمی‌کند. گزینه‌ها این‌اند: Bot Fight Mode را خاموش کنید، یا در پلنی که آن را دارد از Super Bot Fight Mode استفاده کنید که روی Ruleset Engine اجرا می‌شود و از قوانین skip پشتیبانی می‌کند.

کدام خزنده‌ها را باید راه بدهم؟

خزنده‌ها را بر اساس کارشان جدا کنید. خزنده‌های جستجو و دریافت به درخواست کاربر تعیین می‌کنند که آیا پاسخ‌های هوش مصنوعی می‌توانند شما را پیدا کنند و به شما استناد کنند. خزنده‌های آموزشی برای مدل‌ها داده جمع می‌کنند و مسدود کردنشان انتخابی مشروع است که شما را از جستجوی هوش مصنوعی حذف نمی‌کند.

  • جستجو: OAI-SearchBot، Claude-SearchBot، PerplexityBot، Googlebot، bingbot، Applebot.
  • دریافت به درخواست کاربر: ChatGPT-User، Claude-User، Perplexity-User.
  • آموزش: GPTBot، ClaudeBot، CCBot، meta-externalagent، Bytespider.

تنظیمات سیاست خود Cloudflare هم همین تقسیم‌بندی Search، Agent و Training را دارد؛ پس می‌توانید دو دسته اول را مجاز کنید و درباره سومی جداگانه تصمیم بگیرید. اگر از فایروال یا CDN دیگری استفاده می‌کنید، اصل همین است: توکن خزنده را در فهرست مجاز بگذارید و هر جا امکانش هست آن را با بازه‌های IP منتشرشده شرکت سازنده یا DNS معکوس تأیید کنید، تا همان پاسخی را بگیرد که مرورگر می‌گیرد.

AISeeWhy مسدودسازی فایروال را چطور تشخیص می‌دهد؟

AISeeWhy صفحه شما را به‌عنوان 14 خزنده و یک مرورگر معمولی درخواست می‌کند، وضعیت، اندازه و ریدایرکت‌ها را مقایسه می‌کند، صفحه‌های چالش را تشخیص می‌دهد و فایروال یا CDN پاسخ‌دهنده را نام می‌برد. وقتی robots.txt خزنده‌ای را مجاز کرده اما سرور آن را مسدود می‌کند، گزارش این تعارض را نشان می‌دهد و قانون Cloudflare یا گام افزودن به فهرست مجاز را برای رفع آن ارائه می‌کند.

راه‌حل‌های این مشکل

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

منابع

مقاله‌های دیگر

تاریخ انتشار · به‌روزرسانی