Google-Extended
Google-Extended — бөлек краулер емес, robots.txt токені. Ол Google краулингтен өткізген мазмұнды болашақ Gemini модельдерін оқытуға және Gemini Apps пен Vertex AI-да grounding үшін пайдалануға болатын-болмайтынын басқарады. Google оның сайттың Google Search-ке енуіне әсер етпейтінін айтады.
Оны қалай өткізуге болады
User-agent: Google-Extended
Allow: / Оны қалай бұғаттауға болады
User-agent: Google-Extended
Disallow: / Ол не істейді
Google-Extended-тің өз user agent-і жоқ. Краулинг Google-дың бар user agent-терімен жасалады, ал Google-Extended токені басқару қызметін атқарады: ол Google-ға краулингтен өткізген мазмұнды Gemini модельдерінің болашақ буындарын оқытуға және Gemini Apps пен Vertex AI-да grounding үшін пайдалануға болатын-болмайтынын айтады.
Google Google-Extended сайттың Google Search-ке енуіне әсер етпейтінін мәлімдейді. Search-тегі AI Overviews сияқты Google-дың ЖИ функциялары бұл токенмен емес, Googlebot ережелерімен және сниппет параметрлерімен басқарылады.
2026-11 айындағы зерттеуімізде robots.txt файлы бар танымал сайттардың 18.1% бөлігі оны бұғаттаған. →
robots.txt токені
Google-Extended
Нақты кірулерді қалай тексеруге болады
Журналдарыңызда тексеретін ештеңе жоқ: Google-Extended ешқашан user agent ретінде көрінбейді. Оның артындағы сұраулар Google-дың әдеттегі краулерлерінен келеді, оларды reverse DNS іздеуі (googlebot.com, google.com немесе googleusercontent.com), содан кейін тура іздеу арқылы немесе Google жариялаған IP ауқымдары бойынша тексеруге болады.
Сайтыңыз оны өткізетінін тексеріңіз →
ЖИ краулерлеріне арналған robots.txt: нені өткізу, нені бұғаттау керек →