آیا مسدود کردن Google-Extended شما را از AI Overviews و AI Mode حذف میکند؟
طبق مستندات Google، نه. Google-Extended استفاده از محتوای شما را برای آموزش مدلهای Gemini و برای grounding در Gemini Apps و Vertex AI کنترل میکند. AI Overviews و AI Mode از صفحههایی استفاده میکنند که Googlebot برای Search میخزد. برای محدود کردن آنها، Google به کنترلهای snippet، noindex و یک تنظیم در Search Console اشاره میکند که سایت را از این قابلیتها کنار میگذارد.
Google-Extended را اغلب راهی برای دور نگه داشتن سایت از هوش مصنوعی Google معرفی میکنند. این فقط تا حدی درست است و همین شکاف در هر دو جهت سردرگمی ایجاد میکند: بعضی سایتها آن را مسدود میکنند تا از AI Overviews ناپدید شوند و هیچ تغییری نمیبینند، بعضی دیگر از ترس از دست دادن ترافیک جستجو سراغش نمیروند. مستندات خود Google نسبتاً دقیق میگوید هر کنترل چه کاری میکند. در ادامه میبینید چه میگوید، کجا صفحههایش کاملاً با هم سازگار نیستند و چه چیزهایی را باید در سایت خود بررسی کنید.
در این صفحه
Google-Extended چیست؟
Google، Google-Extended را یک توکن محصول مستقل توصیف میکند که ناشران میتوانند در robots.txt از آن استفاده کنند. این توکن نه خزندهای دارد و نه رشته user agent مخصوص به خود؛ خزندههای موجود Google صفحهها را دریافت میکنند و توکن تعیین میکند آن محتوا چطور میتواند استفاده شود.
طبق مستندات خزنده Google، این توکن دو کاربرد را پوشش میدهد: آموزش نسلهای آینده مدلهای Gemini که Gemini Apps و Vertex AI API برای Gemini را پشتیبانی میکنند، و grounding، یعنی محتوایی از نمایه Google Search که هنگام پرامپت به مدل داده میشود، در Gemini Apps و در Grounding with Google Search روی Vertex AI. همان صفحه میگوید Google-Extended روی حضور سایت در Google Search اثری ندارد و بهعنوان سیگنال رتبهبندی استفاده نمیشود.
User-agent: Google-Extended
Disallow: / آیا مسدود کردن Google-Extended روی AI Overviews یا AI Mode اثر دارد؟
مستندات Google در میان کاربردهایی که Google-Extended کنترل میکند نامی از AI Overviews یا AI Mode نمیبرد. راهنمای Google درباره قابلیتهای هوش مصنوعی میگوید صفحهای که ایندکس شده و میتواند با snippet در Google Search نمایش داده شود، واجد شرایط ظاهر شدن بهعنوان لینک پشتیبان در AI Overviews یا AI Mode است و الزام فنی دیگری ندارد. این راهنما قوانین robots.txt برای Googlebot را، نه Google-Extended، کنترل خزیدن در Search معرفی میکند.
پس طبق توصیف Google، صفحهای که Googlebot اجازه خزیدن و ایندکس آن را دارد و میتواند snippet نشان دهد، حتی وقتی Google-Extended ممنوع است همچنان میتواند در AI Overviews و AI Mode ظاهر شود.
یک نکته ظریف را باید صریح گفت. صفحه راهنمای Search Console درباره کنترل جدیدتر هوش مصنوعی Google میگوید برای محدود کردن آموزش مدلهایی که پاسخهای قابلیتهای هوش مصنوعی تولیدی Search را میسازند، باید از Google-Extended استفاده کنید. مستندات خزنده Google برای این توکن فقط Gemini Apps و Vertex AI را نام میبرد. این دو صفحه دامنه را متفاوت توصیف میکنند. هیچکدام نمیگوید مسدود کردن توکن سایت را از AI Overviews حذف میکند.
پس چه چیزی تعیین میکند در AI Overviews و AI Mode ظاهر شوید؟
Google این کنترلها را مستند کرده است، از محدودترین تا گستردهترین:
nosnippet: Google میگوید این قانون همچنین مانع استفاده از محتوا بهعنوان ورودی مستقیم AI Overviews و AI Mode میشود. snippet متنی معمولی در نتایج جستجو را هم حذف میکند.max-snippet: محدودیت طول روی مقدار محتوایی هم اعمال میشود که میتواند ورودی مستقیم AI Overviews و AI Mode باشد.data-nosnippet: بخشهای علامتخورده صفحه را از snippetها کنار میگذارد. مستندات Google درباره آن مشخصاً از AI Overviews یا AI Mode نام نمیبرد.- تنظیم Search generative AI در Search Console: یک کنترل برای کل سایت با گزینههای Include، Exclude و برای ویژگیهای فرزند Inherit. محتوای کنارگذاشته در AI Overviews، AI Mode یا قابلیتهای هوش مصنوعی تولیدی در Discover ظاهر نمیشود و از آنها ترافیک یا نمایشی نمیگیرد. Google میگوید این کنترل را از 31 اوت 2026 برای همه وبسایتها در سراسر جهان فعال کرده، کنار گذاشتن معمولاً ظرف 1 تا 2 روز اعمال میشود و برای بقیه Search سیگنال رتبهبندی یا حضور نیست.
noindexیا ممنوع کردنGooglebot: اینها صفحه را کاملاً از Google Search خارج میکنند و در نتیجه از قابلیتهای هوش مصنوعی هم حذفش میکنند.
Google همچنین میگوید برای ظاهر شدن در AI Overviews یا AI Mode به نشانهگذاری خاص schema.org یا بهینهسازی دیگری نیاز نیست.
اگر بهجای آن Googlebot را مسدود کنم چه میشود؟
مسدود کردن Googlebot خشنترین گزینه است. Google میگوید ترجیحات خزیدنی که خطاب به آن باشد روی Google Search، از جمله Discover و همه قابلیتهای Search، اثر میگذارد. سایتی که Googlebot را ممنوع کند، نتایج جستجوی معمولیاش را همراه با استنادهای AI Overviews و AI Mode از دست میدهد.
سایتهای بزرگ کمی این کار را میکنند. در بررسی ما روی فایلهای robots.txt هزار دامنه پربازدید، 94 سایت از 518 سایتی که robots.txt داشتند (18.1%) صفحه اصلی را برای Google-Extended ممنوع کرده بودند، در حالی که فقط 14 سایت (2.7%) همین کار را برای Googlebot کرده بودند. این بررسی فقط قوانین robots.txt برای صفحه اصلی را پوشش میدهد و نمیتواند نشان دهد آن سایتها از این قانون چه انتظاری داشتند.
چطور ببینم Google در سایت من چه میبیند؟
اگر صفحههایتان در AI Overviews یا AI Mode نیستند، همان زنجیرهای را که برای نتایج جستجوی معمولی بررسی میکنید مرور کنید:
- ایندکس: با ابزار URL Inspection در Search Console مطمئن شوید صفحه ایندکس شده و
Googlebotتوانسته آن را دریافت کند. - snippetها: تگ meta robots صفحه و هدر
X-Robots-Tagرا از نظرnosnippet، مقدار کوچکmax-snippetیاnoindexبررسی کنید. - تنظیم Search generative AI در Search Console: آن را برای ویژگی دامنه خود بررسی کنید و به یاد داشته باشید که ویژگیهای فرزند بهطور پیشفرض از والد خود ارث میبرند.
- robots.txt: مطمئن شوید گروه
Googlebot، یا اگر گروهGooglebotوجود ندارد گروه*، صفحه را مجاز میکند. گروهGoogle-Extendedاین را تغییر نمیدهد. - فایروال: مطمئن شوید CDN یا محافظ ربات شما خزندههای Google را مسدود نمیکند یا برایشان چالش نشان نمیدهد. پیش از مجاز کردن Googlebot، آن را با DNS معکوس یا بازههای IP منتشرشده Google تأیید کنید.
- رندر: Google کد JavaScript را رندر میکند، اما متن در HTML اولیه همچنان مطمئنترین انتخاب است و همان چیزی است که بیشتر خزندههای دیگر هوش مصنوعی لازم دارند.
حتی وقتی همه بررسیها موفق باشند، Google تصمیم میگیرد برای هر جستجو کدام صفحهها را نشان دهد. واجد شرایط بودن با نمایش داده شدن یکی نیست.
ترافیک AI Overviews را کجا ببینم؟
Google میگوید ترافیک سایتهایی که در قابلیتهای هوش مصنوعی ظاهر میشوند در کل ترافیک جستجو در گزارش Performance در Search Console گنجانده شده است. همراه با کنترلهای 2026، Google بینشهای هوش مصنوعی تولیدی را هم در Search Console اعلام کرد که نمایشها و صفحههایی را که در پاسخهای هوش مصنوعی ظاهر میشوند نشان میدهد، و گفت معیارهای بیشتری در راه است. Google-Extended را نمیتوانید در لاگهای سرور ببینید، چون user agent مخصوص به خود ندارد.
AISeeWhy فایل robots.txt شما را هم برای Googlebot و هم برای Google-Extended بررسی میکند، میآزماید که آیا خزنده Google همان صفحهای را میگیرد که مرورگر میگیرد، و قوانین nosnippet و noindex را که صفحه را از AI Overviews و AI Mode دور نگه میدارند گزارش میدهد.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا مسدود کردن Google-Extended به رتبه من در Google آسیب میزند؟
Google میگوید Google-Extended روی حضور در Google Search اثری ندارد و بهعنوان سیگنال رتبهبندی استفاده نمیشود.
چطور سایتم را از AI Overviews دور نگه دارم اما در Google Search بمانم؟
Google در Search Console تنظیم Search generative AI را ارائه میدهد که سایت را از AI Overviews، AI Mode و قابلیتهای هوش مصنوعی تولیدی در Discover کنار میگذارد، بدون اینکه روی بقیه Search اثر بگذارد. nosnippet و max-snippet هم استفاده بهعنوان ورودی مستقیم را محدود میکنند، اما snippetهای معمولی را هم تغییر میدهند.
آیا تنظیم هوش مصنوعی Search Console جلوی آموزش هوش مصنوعی را میگیرد؟
نه. صفحه راهنمای Google میگوید این تنظیم آموزش را پوشش نمیدهد و برای آن به Google-Extended ارجاع میدهد.
آیا برای ظاهر شدن در AI Overviews به نشانهگذاری خاصی نیاز دارم؟
Google میگوید هیچ الزام اضافه یا داده ساختاریافته schema.org خاصی لازم نیست. صفحه باید ایندکس شده باشد و بتواند snippet نشان دهد.
آیا Google-Extended خزندهای است که بتوانم در فایروال مسدودش کنم؟
نه. user agent مخصوص به خود ندارد، پس فایروال نمیتواند آن را ببیند. فقط بهعنوان توکن robots.txt کار میکند. مسدود کردن خزندههای واقعی Google در فایروال روی Search اثر میگذارد.
منابع
- Google: خزندههای رایج، از جمله Google-Extended
- Google Search Central: قابلیتهای هوش مصنوعی و وبسایت شما
- Google Search Central: تگ meta robots، data-nosnippet و X-Robots-Tag
- راهنمای Google Search Console: کنترل هوش مصنوعی تولیدی در جستجو
- Google: فرصتها، کنترلها و بینشهای تازه برای صاحبان وبسایت
- Google: تأیید خزندهها و دریافتکنندههای Google
- Google Search Central: مبانی SEO برای JavaScript
- AISeeWhy: گزارش دسترسی خزندههای هوش مصنوعی، 2026-11