آیا مسدود کردن Google-Extended شما را از AI Overviews و AI Mode حذف می‌کند؟

تاریخ انتشار

پاسخ کوتاه

طبق مستندات Google، نه. Google-Extended استفاده از محتوای شما را برای آموزش مدل‌های Gemini و برای grounding در Gemini Apps و Vertex AI کنترل می‌کند. AI Overviews و AI Mode از صفحه‌هایی استفاده می‌کنند که Googlebot برای Search می‌خزد. برای محدود کردن آن‌ها، Google به کنترل‌های snippet، noindex و یک تنظیم در Search Console اشاره می‌کند که سایت را از این قابلیت‌ها کنار می‌گذارد.

Google-Extended را اغلب راهی برای دور نگه داشتن سایت از هوش مصنوعی Google معرفی می‌کنند. این فقط تا حدی درست است و همین شکاف در هر دو جهت سردرگمی ایجاد می‌کند: بعضی سایت‌ها آن را مسدود می‌کنند تا از AI Overviews ناپدید شوند و هیچ تغییری نمی‌بینند، بعضی دیگر از ترس از دست دادن ترافیک جستجو سراغش نمی‌روند. مستندات خود Google نسبتاً دقیق می‌گوید هر کنترل چه کاری می‌کند. در ادامه می‌بینید چه می‌گوید، کجا صفحه‌هایش کاملاً با هم سازگار نیستند و چه چیزهایی را باید در سایت خود بررسی کنید.

در این صفحه
  1. Google-Extended چیست؟
  2. آیا مسدود کردن Google-Extended روی AI Overviews یا AI Mode اثر دارد؟
  3. پس چه چیزی تعیین می‌کند در AI Overviews و AI Mode ظاهر شوید؟
  4. اگر به‌جای آن Googlebot را مسدود کنم چه می‌شود؟
  5. چطور ببینم Google در سایت من چه می‌بیند؟
  6. ترافیک AI Overviews را کجا ببینم؟

Google-Extended چیست؟

Google، Google-Extended را یک توکن محصول مستقل توصیف می‌کند که ناشران می‌توانند در robots.txt از آن استفاده کنند. این توکن نه خزنده‌ای دارد و نه رشته user agent مخصوص به خود؛ خزنده‌های موجود Google صفحه‌ها را دریافت می‌کنند و توکن تعیین می‌کند آن محتوا چطور می‌تواند استفاده شود.

طبق مستندات خزنده Google، این توکن دو کاربرد را پوشش می‌دهد: آموزش نسل‌های آینده مدل‌های Gemini که Gemini Apps و Vertex AI API برای Gemini را پشتیبانی می‌کنند، و grounding، یعنی محتوایی از نمایه Google Search که هنگام پرامپت به مدل داده می‌شود، در Gemini Apps و در Grounding with Google Search روی Vertex AI. همان صفحه می‌گوید Google-Extended روی حضور سایت در Google Search اثری ندارد و به‌عنوان سیگنال رتبه‌بندی استفاده نمی‌شود.

User-agent: Google-Extended
Disallow: /

آیا مسدود کردن Google-Extended روی AI Overviews یا AI Mode اثر دارد؟

مستندات Google در میان کاربردهایی که Google-Extended کنترل می‌کند نامی از AI Overviews یا AI Mode نمی‌برد. راهنمای Google درباره قابلیت‌های هوش مصنوعی می‌گوید صفحه‌ای که ایندکس شده و می‌تواند با snippet در Google Search نمایش داده شود، واجد شرایط ظاهر شدن به‌عنوان لینک پشتیبان در AI Overviews یا AI Mode است و الزام فنی دیگری ندارد. این راهنما قوانین robots.txt برای Googlebot را، نه Google-Extended، کنترل خزیدن در Search معرفی می‌کند.

پس طبق توصیف Google، صفحه‌ای که Googlebot اجازه خزیدن و ایندکس آن را دارد و می‌تواند snippet نشان دهد، حتی وقتی Google-Extended ممنوع است همچنان می‌تواند در AI Overviews و AI Mode ظاهر شود.

یک نکته ظریف را باید صریح گفت. صفحه راهنمای Search Console درباره کنترل جدیدتر هوش مصنوعی Google می‌گوید برای محدود کردن آموزش مدل‌هایی که پاسخ‌های قابلیت‌های هوش مصنوعی تولیدی Search را می‌سازند، باید از Google-Extended استفاده کنید. مستندات خزنده Google برای این توکن فقط Gemini Apps و Vertex AI را نام می‌برد. این دو صفحه دامنه را متفاوت توصیف می‌کنند. هیچ‌کدام نمی‌گوید مسدود کردن توکن سایت را از AI Overviews حذف می‌کند.

پس چه چیزی تعیین می‌کند در AI Overviews و AI Mode ظاهر شوید؟

Google این کنترل‌ها را مستند کرده است، از محدودترین تا گسترده‌ترین:

Google همچنین می‌گوید برای ظاهر شدن در AI Overviews یا AI Mode به نشانه‌گذاری خاص schema.org یا بهینه‌سازی دیگری نیاز نیست.

اگر به‌جای آن Googlebot را مسدود کنم چه می‌شود؟

مسدود کردن Googlebot خشن‌ترین گزینه است. Google می‌گوید ترجیحات خزیدنی که خطاب به آن باشد روی Google Search، از جمله Discover و همه قابلیت‌های Search، اثر می‌گذارد. سایتی که Googlebot را ممنوع کند، نتایج جستجوی معمولی‌اش را همراه با استنادهای AI Overviews و AI Mode از دست می‌دهد.

سایت‌های بزرگ کمی این کار را می‌کنند. در بررسی ما روی فایل‌های robots.txt هزار دامنه پربازدید، 94 سایت از 518 سایتی که robots.txt داشتند (18.1%) صفحه اصلی را برای Google-Extended ممنوع کرده بودند، در حالی که فقط 14 سایت (2.7%) همین کار را برای Googlebot کرده بودند. این بررسی فقط قوانین robots.txt برای صفحه اصلی را پوشش می‌دهد و نمی‌تواند نشان دهد آن سایت‌ها از این قانون چه انتظاری داشتند.

چطور ببینم Google در سایت من چه می‌بیند؟

اگر صفحه‌هایتان در AI Overviews یا AI Mode نیستند، همان زنجیره‌ای را که برای نتایج جستجوی معمولی بررسی می‌کنید مرور کنید:

حتی وقتی همه بررسی‌ها موفق باشند، Google تصمیم می‌گیرد برای هر جستجو کدام صفحه‌ها را نشان دهد. واجد شرایط بودن با نمایش داده شدن یکی نیست.

ترافیک AI Overviews را کجا ببینم؟

Google می‌گوید ترافیک سایت‌هایی که در قابلیت‌های هوش مصنوعی ظاهر می‌شوند در کل ترافیک جستجو در گزارش Performance در Search Console گنجانده شده است. همراه با کنترل‌های 2026، Google بینش‌های هوش مصنوعی تولیدی را هم در Search Console اعلام کرد که نمایش‌ها و صفحه‌هایی را که در پاسخ‌های هوش مصنوعی ظاهر می‌شوند نشان می‌دهد، و گفت معیارهای بیشتری در راه است. Google-Extended را نمی‌توانید در لاگ‌های سرور ببینید، چون user agent مخصوص به خود ندارد.

AISeeWhy فایل robots.txt شما را هم برای Googlebot و هم برای Google-Extended بررسی می‌کند، می‌آزماید که آیا خزنده Google همان صفحه‌ای را می‌گیرد که مرورگر می‌گیرد، و قوانین nosnippet و noindex را که صفحه را از AI Overviews و AI Mode دور نگه می‌دارند گزارش می‌دهد.

ابزارهای رایگان

قدم‌های بعدی

خزنده‌های این مقاله

پرسش‌های متداول

آیا مسدود کردن Google-Extended به رتبه من در Google آسیب می‌زند؟

Google می‌گوید Google-Extended روی حضور در Google Search اثری ندارد و به‌عنوان سیگنال رتبه‌بندی استفاده نمی‌شود.

چطور سایتم را از AI Overviews دور نگه دارم اما در Google Search بمانم؟

Google در Search Console تنظیم Search generative AI را ارائه می‌دهد که سایت را از AI Overviews، AI Mode و قابلیت‌های هوش مصنوعی تولیدی در Discover کنار می‌گذارد، بدون اینکه روی بقیه Search اثر بگذارد. nosnippet و max-snippet هم استفاده به‌عنوان ورودی مستقیم را محدود می‌کنند، اما snippetهای معمولی را هم تغییر می‌دهند.

آیا تنظیم هوش مصنوعی Search Console جلوی آموزش هوش مصنوعی را می‌گیرد؟

نه. صفحه راهنمای Google می‌گوید این تنظیم آموزش را پوشش نمی‌دهد و برای آن به Google-Extended ارجاع می‌دهد.

آیا برای ظاهر شدن در AI Overviews به نشانه‌گذاری خاصی نیاز دارم؟

Google می‌گوید هیچ الزام اضافه یا داده ساختاریافته schema.org خاصی لازم نیست. صفحه باید ایندکس شده باشد و بتواند snippet نشان دهد.

آیا Google-Extended خزنده‌ای است که بتوانم در فایروال مسدودش کنم؟

نه. user agent مخصوص به خود ندارد، پس فایروال نمی‌تواند آن را ببیند. فقط به‌عنوان توکن robots.txt کار می‌کند. مسدود کردن خزنده‌های واقعی Google در فایروال روی Search اثر می‌گذارد.

منابع

مقاله‌های دیگر