آیا Gemini سایت من را میبیند؟ روش بررسی
Gemini فقط وقتی میتواند از صفحه شما در پاسخی با پشتوانه منابع (grounding) استفاده کند که صفحه در ایندکس جستجوی Google باشد و robots.txt شما توکن Google-Extended را ممنوع نکرده باشد. Google میگوید grounding در اپ Gemini محتوای ایندکس جستجوی Google را به مدل میدهد و Google-Extended تعیین میکند آیا محتوای شما برای آن استفاده شود یا نه. پس ایندکس شدن را در Search Console بررسی کنید، robots.txt را برای Googlebot و Google-Extended بخوانید، سپس پرسشهای خریدارانتان را از Gemini بپرسید و منابعش را باز کنید.
Gemini خزندهای ندارد که بتوانید مثل دستیارهای دیگر در لاگهایتان دنبالش بگردید. Google با خزندههای موجود خودش میخزد و یک توکن robots.txt تعیین میکند Gemini با محتوا چه کاری میتواند بکند. به همین دلیل بررسی هم فرق دارد: بیشترش در Google Search Console و robots.txt شما انجام میشود و مرحله آخر در خود Gemini.
در این صفحه
- بررسی 5 دقیقهای، قدم به قدم
- Gemini اطلاعات را چطور از وبسایتها میگیرد؟
- چطور بررسی کنم Google صفحهام را ایندکس کرده است؟
- آیا Google-Extended جلوی استفاده Gemini از سایتم را گرفته است؟
- آیا فایروال میتواند Google را مسدود کند در حالی که مرورگرها عبور میکنند؟
- چطور ببینم Gemini از سایتم استفاده میکند یا به آن استناد میکند؟
- آیا AI Overviews، AI Mode و قوانین snippet روی Gemini اثر دارند؟
- AISeeWhy این را چطور بررسی میکند؟
بررسی 5 دقیقهای، قدم به قدم
- در Google عبارت
site:را همراه با نشانی صفحه جستجو کنید، یا از URL Inspection در Search Console استفاده کنید، تا مطمئن شوید صفحه در ایندکس Google است. - robots.txt خود را باز کنید و مطمئن شوید
Googlebotاجازه دریافت صفحه را دارد وGoogle-Extendedممنوع نشده است، مگر اینکه خودتان انصراف را انتخاب کرده باشید. - صفحه را در AISeeWhy بهصورت رایگان بررسی کنید یا یک درخواست با user agent
Googlebotبفرستید: باید کد وضعیت 200 و همان متن مرورگر را بگیرد. - از Gemini پرسشی بپرسید که صفحه شما به آن پاسخ میدهد و منابعی را که زیر پاسخ نشان میدهد باز کنید.
اگر صفحه ایندکس نشده باشد، Gemini نمیتواند آن را بهعنوان منبع به کار ببرد، پس از قدم 1 شروع کنید. بخشهای زیر هر قدم را توضیح میدهند و میگویند وقتی رد شد چه کنید.
Gemini اطلاعات را چطور از وبسایتها میگیرد؟
مرکز حریم خصوصی Gemini Apps در Google میگوید برخی پاسخهای Gemini بر پایه نتایج جستجو (grounded) هستند. مستندات خزنده Google، grounding را اینطور تعریف میکند: دادن محتوا از ایندکس جستجوی Google به مدل در لحظه پرسش، برای بهتر کردن درستی و مرتبط بودن پاسخ. همان صفحه میگوید Google-Extended تعیین میکند آیا محتوایی که Google میخزد برای آموزش مدلهای Gemini و برای grounding در Gemini Apps و در Grounding with Google Search در Vertex AI استفاده شود یا نه.
Google-Extended رشته user agent خودش را ندارد. Google میگوید خزش با user agentهای موجودش انجام میشود و این توکن فقط بهعنوان کنترل در robots.txt کار میکند. در عمل این یعنی دو شرط برای اینکه Gemini از صفحه شما استفاده کند: Google باید آن را در ایندکس داشته باشد و robots.txt شما نباید Google-Extended را برای آن ممنوع کرده باشد.
Google مستند نکرده که Gemini چطور از میان صفحههای ایندکسشده آنهایی را که استفاده یا به آنها استناد میکند انتخاب میکند. برآوردن هر دو شرط صفحه شما را در دسترس میگذارد؛ تضمین نمیکند که Gemini آن را انتخاب کند.
چطور بررسی کنم Google صفحهام را ایندکس کرده است؟
از ابزار URL Inspection در Google Search Console استفاده کنید. این ابزار برای نسخه ایندکسشده نشان میدهد:
- آیا صفحه ایندکس شده، یا دلیلی مثل «URL is unknown to Google».
- تاریخ آخرین خزش و اینکه Google آن را بهعنوان بازدیدکننده دسکتاپ خزیده یا موبایل.
- آیا دریافت صفحه موفق بوده و آیا robots.txt اجازه خزش داده است.
- canonical اعلامشده شما و canonical انتخابی Google. اگر با هم فرق داشته باشند، Google انتخاب خودش را نسخه معتبر صفحه میداند.
Test live URL صفحه را در لحظه دریافت میکند و View tested page یک تصویر از صفحه و HTML دریافتی Google را نشان میدهد. اگر تصویر یک صفحه چالش باشد یا HTML متن اصلی شما را نداشته باشد، Google و همراه آن Gemini محتوای شما را نمیبینند. Request indexing از Google میخواهد نشانی را دوباره بخزد؛ Google میگوید این کار معمولاً حدود یک روز طول میکشد و ایندکس شدن را تضمین نمیکند.
آیا Google-Extended جلوی استفاده Gemini از سایتم را گرفته است؟
robots.txt خود را باز کنید و دنبال گروهی بگردید که نام Google-Extended را آورده باشد. یک Disallow: / در آنجا به Google میگوید از صفحههای شما برای آموزش Gemini یا grounding در Gemini Apps استفاده نکند. Google میگوید این توکن روی حضور در جستجوی Google اثری ندارد و سیگنال رتبهبندی نیست، پس این مسدودسازی بهراحتی از چشم میافتد: ترافیک جستجوی شما عادی به نظر میرسد، در حالی که Gemini نمیتواند پاسخهایش را بر صفحههای شما استوار کند. مقاله جداگانه ما درباره AI Overviews و Google-Extended توضیح میدهد این توکن در جستجو چه چیزی را کنترل میکند و چه چیزی را نه.
چون این توکن هرگز در درخواستها ظاهر نمیشود، نمیتوانید آن را با curl آزمایش کنید یا در لاگها پیدایش کنید. تنها راه بررسی، خواندن فایل است:
# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"
# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*" تطبیق به بزرگی و کوچکی حروف حساس نیست و اگر هیچ گروهی نام Google-Extended را نیاورده باشد، گروه * برای آن اعمال میشود. بسیاری از سایتها وقتی بحث آموزش هوش مصنوعی تازه مطرح شد این مسدودسازی را اضافه کردند. در بررسی ما روی 1000 دامنه پربازدید، از 518 سایتی که robots.txt داشتند، 114 سایت نام Google-Extended را آورده بودند و 94 سایت (18.1%) صفحه اصلی را برای آن ممنوع کرده بودند. تصمیم بگیرید آیا این هنوز همان چیزی است که میخواهید، با توجه به اینکه grounding را هم شامل میشود.
آیا فایروال میتواند Google را مسدود کند در حالی که مرورگرها عبور میکنند؟
بله. اگر محافظ ربات یا محدودیت نرخ به خزندههای Google خطای 403، 429 یا صفحه چالش بدهد، Google نمیتواند صفحه را بخزد و با گذشت زمان صفحه ممکن است از جستجو و همراه آن از grounding در Gemini بیرون بیفتد. URL Inspection بهترین آزمایش در اینجاست، چون Google از نشانیهای خودش درخواست میفرستد؛ آزمایش curl از رایانه شما فقط نشان میدهد قوانینتان با آن user agent چه میکنند.
برای اینکه Google را با اطمینان مجاز کنید، بهجای اعتماد به نام، بازدیدکننده را تأیید کنید. Google یک جستجوی DNS معکوس و پس از آن یک جستجوی مستقیم را مستند کرده و محدودههای IP خزندههای رایجش را در common-crawlers.json منتشر میکند:
# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1
# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com نشانی نمونه را با یکی از لاگهایتان جایگزین کنید. اگر نتیجه دو جستجو با هم جور نباشد، درخواست فقط ادعا میکند از Google است.
چطور ببینم Gemini از سایتم استفاده میکند یا به آن استناد میکند؟
پرسشهایی را که خریدارانتان میپرسند، بدون نام بردن از سایتتان، از Gemini بپرسید و منابع را باز کنید. مرکز راهنمای Google میگوید دکمه Sources پایین پاسخ یا درون متن ظاهر میشود و پنلی از پیوندهای مرتبط باز میکند که میتواند شامل وبسایتهای عمومی باشد. اگر دکمه Sources نبود، Gemini برای آن پاسخ پیوندی ارائه نکرده و Google یادآوری میکند که همه پاسخها پیوند ندارند. دامنههایی را که ظاهر میشوند یادداشت کنید و همان پرسشها را طی چند هفته تکرار کنید.
توسعهدهندگان میتوانند همین آزمایش را از طریق Gemini API با Grounding with Google Search انجام دهند. Google میگوید این قابلیت مدل را به محتوای لحظهای وب وصل میکند و پاسخهای grounded همراه با منابعی هستند که نشانی و عنوان هر منبع را دارند، پس میتوانید بررسی کنید دامنه شما در آنها هست یا نه. پاسخهای API ممکن است با آنچه اپ Gemini نشان میدهد فرق داشته باشند.
برخی درخواستهای مرتبط با Gemini به سرور شما میرسند. Google دریافتکنندههایی را فهرست میکند که کاربر فعالشان میکند، مثل Google-GeminiNotebook که نشانیهایی را درخواست میکند که کاربران بهعنوان منبع به یک پروژه Gemini Notebook اضافه میکنند، و Google-Agent که عاملهایی روی زیرساخت Google به درخواست کاربر از آن استفاده میکنند. Google میگوید این دریافتکنندهها معمولاً robots.txt را نادیده میگیرند، چون خود کاربر درخواست را داده است. بازدیدهایشان نشان میدهد مردم از طریق این محصولات صفحههای شما را باز میکنند؛ اینها مسیر grounding که در بالا توضیح داده شد نیستند.
آیا AI Overviews، AI Mode و قوانین snippet روی Gemini اثر دارند؟
AI Overviews و AI Mode قابلیتهای جستجوی Google هستند و کنترلهای خودشان را دارند. Google این موارد را راههایی برای محدود کردن آنچه از صفحههای شما نشان داده میشود فهرست میکند: nosnippet، data-nosnippet، max-snippet و noindex. مستندات تگ متای robots میگوید nosnippet همچنین مانع استفاده از محتوا بهعنوان ورودی مستقیم AI Overviews و AI Mode میشود و max-snippet مقدار قابل استفاده را محدود میکند. Search Console هم یک تنظیم سراسری به نام Search generative AI دارد که میتواند سایت را از AI Overviews، AI Mode و قابلیتهای هوش مصنوعی مولد در Discover کنار بگذارد.
هیچکدام از این صفحهها از اپ Gemini نام نمیبرند. فرض نکنید که یک قانون snippet یا تنظیم Search Console روی grounding در Gemini اثر دارد، یا اینکه Google-Extended روی AI Overviews اثر دارد. noindex استثناست: طبق تعریف Google از grounding، صفحهای که خارج از ایندکس جستجوست نمیتواند برای آن استفاده شود. برای پیدا کردن قوانین snippet که شاید فراموششان کرده باشید، HTML و هدرها را بررسی کنید:
# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'
# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag" AISeeWhy این را چطور بررسی میکند؟
بررسی رایگان AISeeWhy صفحه شما را بهعنوان Googlebot و دیگر خزندههای هوش مصنوعی و موتورهای جستجو در کنار یک مرورگر واقعی دریافت میکند، robots.txt شما را برای هر کدام، از جمله توکن Google-Extended، اعمال میکند، صفحههای چالش را تشخیص میدهد و نشان میدهد بدون JavaScript چه مقدار متن میرسد. بررسی دیدهشدن در هوش مصنوعی، در طرحهای پولی، پرسشهای شما را از طریق Gemini API با grounding جستجوی Google و با کلید خودتان میپرسد و نشان میدهد آیا از برند یا دامنه شما نام برده یا به آن استناد شده است. این بررسی AI Overviews یا AI Mode را پرسوجو نمیکند.
قدمهای بعدی
- تست و بررسی robots.txt برای خزندههای هوش مصنوعی
- بررسی IP خزندههای هوش مصنوعی
- نمونهای از گزارش کامل را ببینید
- پایش خزندههای هوش مصنوعی
- پلنها و قیمتها
خزندههای این مقاله
پرسشهای متداول
آیا میتوانم رایگان بررسی کنم که Gemini سایتم را میبیند یا نه؟
بله. Search Console، یک جستجوی site:، robots.txt و یک پرسش در Gemini هزینهای ندارند. بررسی رایگان AISeeWhy Googlebot، قانون Google-Extended و 14 خزنده دیگر را برای یک صفحه در روز میآزماید.
آیا Gemini خزنده مخصوص خودش را دارد؟
برای grounding نه. Google میگوید Google-Extended رشته user agent ندارد و خزش با خزندههای موجودش انجام میشود. دریافتکنندههای جداگانهای که کاربر فعالشان میکند، مثل Google-GeminiNotebook و Google-Agent، وقتی کاربری درخواست کند به صفحهها سر میزنند و Google میگوید معمولاً robots.txt را نادیده میگیرند.
اگر Google-Extended را مسدود کنم، Gemini باز هم میتواند از برندم نام ببرد؟
Google میگوید از محتوای شما برای grounding در Gemini Apps استفاده نمیکند. این قانون صفحههای خود شما را شامل میشود. Google چیزی درباره محتوای سایتهای دیگری که درباره شما مینویسند نمیگوید، پس Gemini ممکن است همچنان از روی آن منابع از برند شما نام ببرد.
تغییر robots.txt چقدر طول میکشد تا به Gemini برسد؟
Google برای Gemini زمانی اعلام نمیکند. مستندات robots.txt آن میگوید Google معمولاً فایل را تا 24 ساعت کش میکند، پس دستکم یک روز صبر کنید و بعد دوباره آزمایش کنید، و برای صفحههایی که Google بهندرت دوباره میخزد بیشتر.
آیا AI Overviews و Gemini از منابع یکسانی استفاده میکنند؟
Google مستند نکرده که این دو چه رابطهای با هم دارند. هر دو از ایندکس Google استفاده میکنند، اما کنترلهایشان متفاوت است: قوانین snippet و تنظیم Search Console برای AI Overviews و AI Mode، و Google-Extended برای grounding در Gemini. آنها را جداگانه بررسی کنید.
چطور پاسخهای Gemini را در طول زمان پیگیری کنم؟
فهرست ثابتی از پرسشهای خریداران داشته باشید، آنها را طبق برنامه از Gemini بپرسید و ثبت کنید کدام دامنهها در منابع ظاهر میشوند. بررسی دیدهشدن در هوش مصنوعی AISeeWhy پرسشهای شما را هر هفته از طریق Gemini API با grounding جستجوی Google میپرسد و نام بردن از شما را در کنار حداکثر چهار رقیب نشان میدهد. نتایج API ممکن است با اپ Gemini فرق داشته باشند.
منابع
- Google: Google's common crawlers (Googlebot, Google-Extended)
- Google: User-triggered fetchers
- Google: Verifying Google crawlers and fetchers
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: URL Inspection tool
- Gemini Apps Help: Gemini Apps Privacy Hub
- Gemini Apps Help: View related sources from Gemini Apps
- Google AI Studio: Grounding with Google Search
- Google Search Central: AI features and your website
- Google Search Central: Robots meta tag, data-nosnippet and X-Robots-Tag
- Google Search Console Help: Search generative AI control
- AISeeWhy: گزارش دسترسی خزندههای هوش مصنوعی، 2026-11