Google-Extended

Google · ЖИ-ді оқыту

Google-Extended — бөлек краулер емес, robots.txt токені. Ол Google краулингтен өткізген мазмұнды болашақ Gemini модельдерін оқытуға және Gemini Apps пен Vertex AI-да grounding үшін пайдалануға болатын-болмайтынын басқарады. Google оның сайттың Google Search-ке енуіне әсер етпейтінін айтады.

Оны қалай өткізуге болады

User-agent: Google-Extended
Allow: /

Оны қалай бұғаттауға болады

User-agent: Google-Extended
Disallow: /

Ол не істейді

Google-Extended-тің өз user agent-і жоқ. Краулинг Google-дың бар user agent-терімен жасалады, ал Google-Extended токені басқару қызметін атқарады: ол Google-ға краулингтен өткізген мазмұнды Gemini модельдерінің болашақ буындарын оқытуға және Gemini Apps пен Vertex AI-да grounding үшін пайдалануға болатын-болмайтынын айтады.

Google Google-Extended сайттың Google Search-ке енуіне әсер етпейтінін мәлімдейді. Search-тегі AI Overviews сияқты Google-дың ЖИ функциялары бұл токенмен емес, Googlebot ережелерімен және сниппет параметрлерімен басқарылады.

2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 18.1% бөлігі оны бұғаттаған. →

robots.txt токені

Google-Extended

Нақты кірулерді қалай тексеруге болады

Журналдарыңызда тексеретін ештеңе жоқ: Google-Extended ешқашан user agent ретінде көрінбейді. Оның артындағы сұраулар Google-дың әдеттегі краулерлерінен келеді, оларды reverse DNS іздеуі (googlebot.com, google.com немесе googleusercontent.com), содан кейін тура іздеу арқылы немесе Google жариялаған IP ауқымдары бойынша тексеруге болады.

Сайтыңыз оны өткізетінін тексеріңіз →

ЖИ краулерлеріне арналған robots.txt: нені өткізу, нені бұғаттау керек →