Google-Extended
Ang Google-Extended ay token sa robots.txt, hindi hiwalay na crawler. Kinokontrol nito kung maaaring gamitin ang content na kino-crawl ng Google para sa training ng mga susunod na Gemini model at para sa grounding sa Gemini Apps at Vertex AI. Sinasabi ng Google na hindi nito naaapektuhan ang pagsasama ng site sa Google Search.
Paano ito papayagan
User-agent: Google-Extended
Allow: / Paano ito iba-block
User-agent: Google-Extended
Disallow: / Ano ang ginagawa nito
Walang sariling user agent ang Google-Extended. Ginagawa ang pag-crawl gamit ang mga kasalukuyang user agent ng Google, at ginagamit ang token na Google-Extended bilang kontrol: sinasabi nito sa Google kung maaaring gamitin ang content na na-crawl nito para sa training ng mga susunod na henerasyon ng Gemini model at para sa grounding sa Gemini Apps at Vertex AI.
Isinasaad ng Google na hindi naaapektuhan ng Google-Extended ang pagsasama ng site sa Google Search. Ang mga AI feature ng Google sa Search, gaya ng AI Overviews, ay pinamamahalaan ng mga rule para sa Googlebot at ng mga snippet control, hindi ng token na ito.
Sa pag-aaral namin noong 2026-11, 18.1% ng mga sikat na site na may robots.txt ang nag-block dito. →
Token sa robots.txt
Google-Extended
Paano beripikahin ang totoong pagbisita
Walang dapat beripikahin sa mga log mo: hindi kailanman lumalabas ang Google-Extended bilang user agent. Galing ang mga request sa likod nito sa mga regular na crawler ng Google, na mabeberipika mo sa pamamagitan ng reverse DNS lookup (googlebot.com, google.com o googleusercontent.com) na sinusundan ng forward lookup, o laban sa mga inilathalang IP range ng Google.
Tingnan kung pinapapasok ito ng site mo →
robots.txt para sa mga AI crawler: ano ang papayagan, ano ang iba-block →