Google-Extended
Google-Extended ni tokeni ya robots.txt, si crawler tofauti. Inadhibiti kama maudhui yaliyopitiwa na Google yanaweza kutumika kufunza modeli za Gemini za baadaye na kwa grounding kwenye Gemini Apps na Vertex AI. Google inasema haiathiri kujumuishwa kwa tovuti kwenye Google Search.
Jinsi ya kuiruhusu
User-agent: Google-Extended
Allow: / Jinsi ya kuizuia
User-agent: Google-Extended
Disallow: / Inafanya nini
Google-Extended haina user agent yake. Upitiaji unafanywa kwa user agent zilizopo za Google, na tokeni ya Google-Extended inatumika kama udhibiti: inaiambia Google kama maudhui iliyoyapitia yanaweza kutumika kufunza vizazi vijavyo vya modeli za Gemini na kwa grounding kwenye Gemini Apps na Vertex AI.
Google inaeleza kwamba Google-Extended haiathiri kujumuishwa kwa tovuti kwenye Google Search. Vipengele vya AI vya Google kwenye Search, kama AI Overviews, vinasimamiwa na sheria za Googlebot na udhibiti wa snippet, si na tokeni hii.
Katika utafiti wetu wa 2026-11, 18.1% ya tovuti maarufu zenye robots.txt ziliizuia. →
Tokeni ya robots.txt
Google-Extended
Jinsi ya kuthibitisha ziara halisi
Hakuna cha kuthibitisha kwenye logi zako: Google-Extended haionekani kamwe kama user agent. Maombi yaliyo nyuma yake hutoka kwa crawler za kawaida za Google, ambazo unaweza kuzithibitisha kwa reverse DNS lookup (googlebot.com, google.com au googleusercontent.com) ikifuatiwa na forward lookup, au dhidi ya masafa ya IP yaliyochapishwa na Google.
Kagua kama tovuti yako inairuhusu kuingia →
robots.txt kwa crawler za AI: nini cha kuruhusu, nini cha kuzuia →