Google-Extended

Google · آموزش هوش مصنوعی

Google-Extended یک توکن robots.txt است، نه یک خزنده جداگانه. کنترل می‌کند که آیا محتوایی که Google خزیده می‌تواند برای آموزش مدل‌های آینده Gemini و برای grounding در Gemini Apps و Vertex AI استفاده شود. Google می‌گوید روی حضور سایت در Google Search اثری ندارد.

چطور به آن اجازه دهید

User-agent: Google-Extended
Allow: /

چطور آن را مسدود کنید

User-agent: Google-Extended
Disallow: /

چه کاری می‌کند

Google-Extended هیچ user agent مخصوص خود ندارد. خزش با user agentهای موجود Google انجام می‌شود و توکن Google-Extended نقش کنترلی دارد: به Google می‌گوید آیا محتوایی که خزیده می‌تواند برای آموزش نسل‌های آینده مدل‌های Gemini و برای grounding در Gemini Apps و Vertex AI استفاده شود.

Google اعلام می‌کند که Google-Extended روی حضور سایت در Google Search اثری ندارد. قابلیت‌های هوش مصنوعی Google در جستجو، مانند AI Overviews، با قوانین Googlebot و کنترل‌های snippet اداره می‌شوند، نه با این توکن.

در پژوهش 2026-11 ما، 18.1% از سایت‌های پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←

توکن robots.txt

Google-Extended

چطور بازدیدهای واقعی را تأیید کنید

در لاگ‌های شما چیزی برای تأیید نیست: Google-Extended هرگز به‌عنوان user agent ظاهر نمی‌شود. درخواست‌های پشت آن از خزنده‌های معمولی Google می‌آیند که می‌توانید آن‌ها را با جستجوی DNS معکوس (googlebot.com، google.com یا googleusercontent.com) و سپس جستجوی DNS مستقیم، یا با محدوده‌های IP منتشرشده Google تأیید کنید.

بررسی کنید که آیا سایت شما به آن اجازه ورود می‌دهد ←

robots.txt برای خزنده‌های هوش مصنوعی: چه چیزی را مجاز و چه چیزی را مسدود کنیم ←