Google-Extended
Google-Extended એ robots.txt ટોકન છે, અલગ ક્રૉલર નથી. તે નક્કી કરે છે કે Google દ્વારા ક્રૉલ થયેલું કન્ટેન્ટ ભાવિ Gemini મૉડલની ટ્રેનિંગ માટે અને Gemini Apps તથા Vertex AIમાં grounding માટે વાપરી શકાય કે નહીં. Google કહે છે કે તે Google Searchમાં સાઇટના સમાવેશને અસર કરતું નથી.
તેને કેવી રીતે આવવા દેવો
User-agent: Google-Extended
Allow: / તેને કેવી રીતે બ્લૉક કરવો
User-agent: Google-Extended
Disallow: / તે શું કરે છે
Google-Extendedનો પોતાનો કોઈ યુઝર એજન્ટ નથી. ક્રૉલિંગ Googleના હાલના યુઝર એજન્ટથી થાય છે, અને Google-Extended ટોકન નિયંત્રણ માટે વપરાય છે: તે Googleને જણાવે છે કે તેણે ક્રૉલ કરેલું કન્ટેન્ટ Gemini મૉડલની ભાવિ પેઢીઓની ટ્રેનિંગ માટે અને Gemini Apps તથા Vertex AIમાં grounding માટે વાપરી શકાય કે નહીં.
Google જણાવે છે કે Google-Extended Google Searchમાં સાઇટના સમાવેશને અસર કરતું નથી. Searchમાં Googleનાં AI ફીચર, જેમ કે AI Overviews, Googlebotના નિયમો અને snippet નિયંત્રણોથી ચાલે છે, આ ટોકનથી નહીં.
અમારા 2026-11ના અભ્યાસમાં, robots.txt ધરાવતી લોકપ્રિય સાઇટમાંથી 18.1% સાઇટે તેને બ્લૉક કર્યો હતો. →
robots.txt ટોકન
Google-Extended
સાચી મુલાકાતો કેવી રીતે ચકાસવી
તમારા લૉગમાં ચકાસવા જેવું કંઈ નથી: Google-Extended ક્યારેય યુઝર એજન્ટ તરીકે દેખાતું નથી. તેની પાછળની વિનંતીઓ Googleના સામાન્ય ક્રૉલર પરથી આવે છે, જેને તમે reverse DNS lookup (googlebot.com, google.com કે googleusercontent.com) અને પછી forward lookupથી, અથવા Googleની પ્રકાશિત IP રેન્જ સાથે ચકાસી શકો છો.
તપાસો કે તમારી સાઇટ તેને આવવા દે છે કે નહીં →
AI ક્રૉલર માટે robots.txt: શું મંજૂર કરવું, શું બ્લૉક કરવું →