Googlebot
Googlebot خزنده اصلی Google برای ساختن ایندکسهای جستجوی آن است. Google میگوید قوانین robots.txt برای Googlebot ابزار کنترل نحوه خزش سایت برای Search است، از جمله قابلیتهای هوش مصنوعی مانند AI Overviews و AI Mode. مسدود کردن آن صفحههای شما را از Google Search و آن پاسخهای هوش مصنوعی حذف میکند.
چطور به آن اجازه دهید
User-agent: Googlebot
Allow: / چطور آن را مسدود کنید
User-agent: Googlebot
Disallow: / چه کاری میکند
Googlebot برای پیدا کردن اطلاعات برای ساختن ایندکسهای جستجوی Google استفاده میشود. ترجیحات خزشی که خطاب به توکن Googlebot هستند روی Google Search و محصولاتی مانند Google Images، Video، Google News و Discover اثر میگذارند. بهصورت خزنده گوشی هوشمند و دسکتاپ اجرا میشود؛ هر دو از قوانین یکسان Googlebot پیروی میکنند و Google میگوید خزندههای عمومیاش هنگام خزش خودکار همیشه از robots.txt پیروی میکنند.
مستندات Google درباره قابلیتهای هوش مصنوعی، قوانین Googlebot را ابزار کنترل Search، از جمله AI Overviews و AI Mode، توصیف میکند و برای محدود کردن آنچه نمایش داده میشود به nosnippet، data-nosnippet، max-snippet و noindex اشاره میکند. استفاده برای آموزش Gemini جداگانه با Google-Extended کنترل میشود.
در پژوهش 2026-11 ما، 2.7% از سایتهای پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←
توکن robots.txt
Googlebot
رشته user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 چطور بازدیدهای واقعی را تأیید کنید
Google میگوید رشتههای user agent قابل جعل هستند و یک بررسی DNS دومرحلهای را توصیه میکند. روی IP درخواستدهنده جستجوی DNS معکوس اجرا کنید: نام میزبان باید به googlebot.com، google.com یا googleusercontent.com ختم شود. سپس روی آن نام میزبان جستجوی مستقیم اجرا کنید و تأیید کنید که همان IP را برمیگرداند. Google محدودههای IP خزندههای عمومی خود را هم بهصورت JSON منتشر میکند، پس میتوانید نشانیها را خودکار تطبیق دهید.
بررسی کنید که آیا سایت شما به آن اجازه ورود میدهد ←
AEO در برابر SEO: چه چیزی یکسان است و چه چیزی برای پاسخهای هوش مصنوعی تغییر میکند ←