چرا سایت من ناگهان خزندههای هوش مصنوعی را مسدود میکند؟
سایتی که شروع به مسدود کردن خزندههای هوش مصنوعی میکند تقریباً همیشه در یکی از پنج جا تغییر کرده است: robots.txt که واقعاً ارسال میشود، تنظیمی در CDN مثل سیاستهای خزنده هوش مصنوعی Cloudflare، محافظ ربات یا محدودیت نرخ، پیشفرض هاستینگ، یا robots.txt که حالا با خطا پاسخ میدهد. robots.txt امروز و یک صفحه را بهعنوان هر خزنده دریافت کنید، با مرورگر و با آنچه قبلاً داشتید مقایسه کنید و این لایهها را به همین ترتیب بررسی کنید.
هیچکس تصمیم نمیگیرد از پاسخهای هوش مصنوعی ناپدید شود. این اتفاق بهعنوان اثر جانبی بهروزرسانی قالب، تنظیم امنیتی، مهاجرت سایت یا تغییر پیشفرض یک ارائهدهنده رخ میدهد. مرورگر همچنان سایت را عادی میبیند، پس تغییر ممکن است دیده نشود تا وقتی کسی درباره محصول از ChatGPT یا Perplexity بپرسد و به یک رقیب برسد. هر لایه ردی میگذارد که میتوانید از بیرون یا در لاگهایتان بررسی کنید.
در این صفحه
- آیا robots.txt که خزندهها دریافت میکنند تغییر کرده است؟
- آیا سیاستهای خزنده هوش مصنوعی Cloudflare در 2026 دسترسی سایتم را تغییر دادهاند؟
- آیا محافظ ربات یا محدودیت نرخ خزندهها را میگیرد؟
- آیا ارائهدهنده هاستینگ من پیشفرضهایش را تغییر داده است؟
- آیا robots.txt با خطا پاسخ میدهد؟
- چطور بفهمم از کی شروع شده است؟
- چطور دفعه بعد زودتر متوجه شوم؟
آیا robots.txt که خزندهها دریافت میکنند تغییر کرده است؟
https://yourdomain.com/robots.txt را دریافت کنید و با فایل موجود در مخزن یا نسخه پشتیبان مقایسه کنید. به فایل ارسالی نگاه کنید، نه فایل روی دیسک، چون چند لایه میتوانند آن را در مسیر تغییر دهند:
- یک استقرار، robots.txt محیط آزمایشی با
Disallow: /را منتشر میکند، یا مهاجرت یک پیشفرض پلتفرم را سر جایش باقی میگذارد. - تنظیمی در سایتساز قوانینی برای خزندههای هوش مصنوعی اضافه میکند. مثلاً Squarespace گزینهای به نام Block known artificial intelligence crawlers دارد که نام 26 ربات را در robots.txt مینویسد و میگوید ممکن است به مرور موارد بیشتری اضافه شود. این گزینه بهطور پیشفرض خاموش است، پس کسی باید روشنش کند، اما فهرست بعداً میتواند بزرگتر شود.
- بهروزرسانی یک افزونه سئو یا امنیتی قوانین جدیدی مینویسد، یا گزینه جدیدی اضافه میکند که کسی روشنش میکند.
- وقتی Bot Preference Sync روشن باشد و یک سیاست هوش مصنوعی روی Block یا Disallow باشد، Cloudflare فایل robots.txt مدیریتشدهاش را به ابتدای فایل شما اضافه میکند. در این حالت فایل ارسالی با
Disallow: /برایClaudeBot،GPTBotو شش توکن آموزشی دیگر شروع میشود، هرچند فایل خود شما تغییری نکرده است. - قانونی که برای یک خزنده آموزشی بود به خزندههای دیگر هم کپی شده، از جمله خزندههای جستجویی مثل
OAI-SearchBot،Claude-SearchBotیاPerplexityBot.
گزارش robots.txt در Google Search Console نسخههایی را که Google در 30 روز گذشته دریافت کرده نشان میدهد و هر بار که فایل یا نتیجه دریافت تغییر کند ردیف جدیدی میافزاید. این گزارش فقط آنچه Google دیده را پوشش میدهد، اما اگر سرور شما robots.txt را بر اساس user agent تغییر ندهد، خزندههای هوش مصنوعی همان فایل را گرفتهاند.
آیا سیاستهای خزنده هوش مصنوعی Cloudflare در 2026 دسترسی سایتم را تغییر دادهاند؟
Cloudflare کنترلهای خزنده هوش مصنوعیاش را چند بار تغییر داده و برخی تغییرات رفتار یک zone را بدون اینکه کسی آن را ویرایش کند عوض میکنند. از 1 ژوئیه 2025 شروع کرد هنگام ثبتنام از دامنههای جدید بپرسد آیا به خزندههای هوش مصنوعی اجازه دهند، با مسدودسازی بهعنوان حالت آغازین. در 1 ژوئیه 2026 کلید واحد Block AI bots را با سیاستهای جداگانه Search، Agent و Training جایگزین کرد، برای همه طرحها از جمله Free.
نکتهای که بیشتر سایتها را غافلگیر میکند خزندههای چندمنظوره است. مستندات Cloudflare میگوید اقدامهای Training برای خزندههایی که هم برای جستجو و هم برای آموزش استفاده میشوند هم اعمال میشود. اطلاعیه ژوئیه 2026 آن گفت از 15 سپتامبر 2026 خزندههای چندمنظورهای مثل Googlebot، Applebot و BingBot برای مشتریانی که Training را مسدود کردهاند مسدود میشوند، چه از طریق گزینههای جدید و چه با تنظیم قدیمی Block AI bots. بنابراین انصرافی از آموزش که یک سال پیش تنظیم شده حالا میتواند به خزندههای جستجو هم برسد.
پیشفرضهای دامنههای جدید در طول زمان به شکلهای متفاوتی توصیف شدهاند. همان اطلاعیه گفت از 15 سپتامبر 2026 در دامنههای جدید Training و Agent روی صفحههایی که تبلیغ نشان میدهند مسدود میشوند، در حالی که مستندات سیاست که در 2 نوامبر 2026 بهروز شده میگوید دامنههای جدید با هر سه روی Allow شروع میکنند. Security و سپس Settings را باز کنید، بر اساس Bot traffic فیلتر کنید و AI Crawler and Agent access policies را برای zone خودتان بخوانید. راهنمای ما درباره Cloudflare AI Crawl Control هر تنظیم را توضیح میدهد.
آیا محافظ ربات یا محدودیت نرخ خزندهها را میگیرد؟
محافظ ربات هر درخواست را جداگانه میسنجد و خزندهها صفحههای زیادی را سریع و از دیتاسنترها دریافت میکنند، یعنی همان کاری که رباتها میکنند. خزندهای که ماه پیش عبور میکرد ممکن است پس از تغییر محدوده IP یا نرخ خزش توسط سازندهاش، یا پس از بهروزرسانی قوانین محافظت، صفحه چالش بگیرد. Bot Fight Mode در Cloudflare دلیل رایجی است و Cloudflare میگوید نمیتوان آن را با قوانین سفارشی WAF یا Page Rules دور زد یا نادیده گرفت، پس قانون مجازسازی که بعداً اضافه شود تا وقتی روشن است کمکی نمیکند. محدودیت نرخ جدیدی که به درخواستهای انبوه با 429 پاسخ میدهد همین اثر را روی یک خزنده پرکار دارد.
از بیرون آزمایش کنید: یک صفحه را بهعنوان مرورگر و بهعنوان دو خزنده جستجوی هوش مصنوعی درخواست کنید، سپس robots.txt را بهعنوان یک خزنده درخواست کنید.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt کد 403، 429 یا 503 فقط برای یک خزنده، صفحهای با عنوان Just a moment... یا بدنهای خیلی کوچکتر از پاسخ مرورگر یعنی با خزنده رفتار متفاوتی میشود. آزمایش از IP شما انجام میشود، نه IP سازنده، پس قوانینی که بر اساس وضعیت ربات تأییدشده کار میکنند ممکن است همچنان با خزنده واقعی رفتار دیگری داشته باشند. لاگ رویدادهای فایروال نشان میدهد کدام قانون پاسخ داده است.
آیا ارائهدهنده هاستینگ من پیشفرضهایش را تغییر داده است؟
برخی هاستها ترافیک هوش مصنوعی را روی سرور و پیش از اجرای قوانین خود شما فیلتر میکنند. مثلاً SiteGround در اوت 2025 نوشت که خزندههای هوش مصنوعی طراحیشده برای جمعآوری داده آموزشی را بهطور پیشفرض مسدود میکند و به خزندههایی اجازه میدهد که وقتی کسی از یک دستیار هوش مصنوعی درباره صفحهای میپرسد بازدید میکنند. چنین قوانینی در robots.txt شما دیده نمیشوند و وقتی هاست فهرست رباتهایش را بهروز کند میتوانند تغییر کنند.
اگر مسدودسازی همزمان روی چند سایت با یک هاست ظاهر شود، یا در پاسخهایی که هرگز به لاگهای اپلیکیشن شما نمیرسند، از هاست بپرسید کدام قوانین ربات روی حساب شما اعمال میشود و آیا میتوانید خزندههایی را که میخواهید نگه دارید مستثنا کنید.
آیا robots.txt با خطا پاسخ میدهد؟
robots.txt که از کار بیفتد میتواند بیشتر از هر خط Disallow مسدود کند. طبق RFC 9309، پاسخ 4xx یعنی خزنده میتواند همهچیز را دریافت کند، اما خطای سرور (5xx) یا نبود هیچ پاسخی یعنی باید فرض کند کل سایت ممنوع است. Google در 12 ساعت اول چنین خطاهایی خزش را متوقف میکند و سپس تا 30 روز از آخرین نسخه سالم استفاده میکند.
اینطور است که یک جهش بار، قانون فایروالی که برای /robots.txt چالش نشان میدهد، یا محدودیت نرخی که آن را هم شامل میشود، میتواند بدون تغییر حتی یک قانون، خزندههای خوشرفتار را بیرون نگه دارد. آخرین فرمان در آزمایش بالا باید 200 و text/plain برگرداند. 5xx، پایان مهلت یا صفحه چالش در آنجا اولین چیزی است که باید درست شود.
چطور بفهمم از کی شروع شده است؟
یک تاریخ، معما را به یک مقایسه تبدیل میکند. در لاگهای دسترسی، درخواستهای user agentهای خزندههای هوش مصنوعی را فیلتر کنید و دنبال روزی بگردید که کدهای وضعیتشان از 200 به 403، 429 یا 503 تغییر کرد، یا روزی که پس از خواندن robots.txt دیگر صفحهای درخواست نکردند؛ راهنمای ما برای بررسی لاگهای سرور برای خزندههای هوش مصنوعی فرمانها را دارد. درخواستهایی که CDN شما مسدود کرده هرگز به سرور مبدأ نمیرسند، پس CDN را هم بررسی کنید. در Cloudflare، بخش AI Crawl Control توزیع کدهای وضعیت را در طول زمان نشان میدهد که میتوانید بر اساس خزنده فیلترش کنید.
سپس آن تاریخ را با استقرارها، بهروزرسانی افزونهها و قالب، تغییرات تنظیمات CDN و اطلاعیههای ارائهدهندگان تطبیق دهید. پیش از هر اقدامی، تأیید کنید IPهای مبدأ متعلق به سازنده هستند تا مطمئن باشید با خزنده واقعی سروکار دارید، نه جاعلی که از نامش استفاده میکند.
چطور دفعه بعد زودتر متوجه شوم؟
دسترسی را پس از هر استقرار، تغییر CDN و بهروزرسانی افزونه بررسی کنید، نه فقط وقتی ترافیک افت میکند. بررسی رایگان AISeeWhy یک صفحه را بهعنوان 16 خزنده هوش مصنوعی و موتور جستجو در کنار یک مرورگر واقعی دریافت میکند، robots.txt شما را برای هر خزنده اعمال میکند و صفحههای چالش فایروال را تشخیص میدهد. بررسیکننده رایگان robots.txt برای هر خزنده نشان میدهد آیا یک صفحه طبق فایلی که امروز فعال است قابل دریافت است یا نه.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
چرا ChatGPT دیگر سایت من را نشان نمیدهد؟
اغلب چون OAI-SearchBot، خزنده پشت جستجوی ChatGPT، با تغییری در robots.txt، سیاست CDN یا محافظ ربات مسدود شده است. OpenAI میگوید سایتهایی که آن را مسدود کنند در پاسخهای جستجوی ChatGPT ظاهر نمیشوند. هر لایه را برای این خزنده بررسی کنید و پس از اصلاح robots.txt حدود 24 ساعت صبر کنید؛ OpenAI میگوید سیستمهایش همینقدر زمان برای تطبیق لازم دارند.
آیا Cloudflare شروع به مسدود کردن Googlebot در سایتم کرده است؟
ممکن است. Cloudflare گفت از 15 سپتامبر 2026 مشتریانی که Training را مسدود میکنند خزندههای چندمنظورهای مثل Googlebot، Applebot و BingBot را هم مسدود میکنند. مستندات آن میگوید گزینه Training Disallow خزندههای آموزشی را در لبه شبکه مسدود میکند اما خزندههای چندمنظوره را شامل نمیشود، پس بررسی کنید zone شما از کدام گزینه استفاده میکند.
آیا سایتساز یا افزونه میتواند robots.txt را بدون من تغییر دهد؟
بله. سایتسازها و افزونههای سئو یا امنیتی میتوانند قوانین خزنده هوش مصنوعی را در robots.txt بنویسند و برخی فهرست رباتهایشان را به مرور گسترش میدهند. پس از هر بهروزرسانی، فایل زنده را دریافت کنید و گروههایی را که روی خزندههای جستجوی مورد نظرتان اعمال میشوند بخوانید.
چرا robots.txt زنده من با فایل روی سرورم فرق دارد؟
چیزی جلوی سرور شما آن را تغییر میدهد. مثلاً robots.txt مدیریتشده Cloudflare قوانین و سیگنالهای محتوای خودش را در همان پاسخ به ابتدای فایل شما اضافه میکند. CMSی که robots.txt را هنگام درخواست تولید میکند، یا تنظیمی در سطح هاست، هم میتواند آن را جایگزین یا گسترش دهد.
پس از اصلاح، چقدر طول میکشد تا خزندههای هوش مصنوعی برگردند؟
RFC 9309 میگوید خزندهها نباید robots.txt کششده را بیش از 24 ساعت استفاده کنند؛ OpenAI حدود 24 ساعت و Perplexity تا 24 ساعت میگوید. تغییرات فایروال بهمحض اینکه ارائهدهندهتان اعمالشان کند اثر میکنند، اما خزندهها طبق برنامه خودشان برمیگردند.
منابع
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers