Google-Extended
Google-Extended یک توکن robots.txt است، نه یک خزنده جداگانه. کنترل میکند که آیا محتوایی که Google خزیده میتواند برای آموزش مدلهای آینده Gemini و برای grounding در Gemini Apps و Vertex AI استفاده شود. Google میگوید روی حضور سایت در Google Search اثری ندارد.
چطور به آن اجازه دهید
User-agent: Google-Extended
Allow: / چطور آن را مسدود کنید
User-agent: Google-Extended
Disallow: / چه کاری میکند
Google-Extended هیچ user agent مخصوص خود ندارد. خزش با user agentهای موجود Google انجام میشود و توکن Google-Extended نقش کنترلی دارد: به Google میگوید آیا محتوایی که خزیده میتواند برای آموزش نسلهای آینده مدلهای Gemini و برای grounding در Gemini Apps و Vertex AI استفاده شود.
Google اعلام میکند که Google-Extended روی حضور سایت در Google Search اثری ندارد. قابلیتهای هوش مصنوعی Google در جستجو، مانند AI Overviews، با قوانین Googlebot و کنترلهای snippet اداره میشوند، نه با این توکن.
در پژوهش 2026-11 ما، 18.1% از سایتهای پربازدیدی که robots.txt داشتند آن را مسدود کرده بودند. ←
توکن robots.txt
Google-Extended
چطور بازدیدهای واقعی را تأیید کنید
در لاگهای شما چیزی برای تأیید نیست: Google-Extended هرگز بهعنوان user agent ظاهر نمیشود. درخواستهای پشت آن از خزندههای معمولی Google میآیند که میتوانید آنها را با جستجوی DNS معکوس (googlebot.com، google.com یا googleusercontent.com) و سپس جستجوی DNS مستقیم، یا با محدودههای IP منتشرشده Google تأیید کنید.
بررسی کنید که آیا سایت شما به آن اجازه ورود میدهد ←
robots.txt برای خزندههای هوش مصنوعی: چه چیزی را مجاز و چه چیزی را مسدود کنیم ←