Google-Extended
Google-Extended የrobots.txt token ነው እንጂ የተለየ ክሮውለር አይደለም። በGoogle crawl የተደረገ ይዘት የወደፊት Gemini ሞዴሎችን ለማሰልጠን እና በGemini Apps እና በVertex AI ውስጥ ለgrounding ጥቅም ላይ ሊውል ይችል እንደሆነ ይቆጣጠራል። Google በGoogle Search ውስጥ የድረ-ገጽ መካተትን እንደማይነካ ይናገራል።
እንዴት እንደሚፈቀድ
User-agent: Google-Extended
Allow: / እንዴት እንደሚታገድ
User-agent: Google-Extended
Disallow: / ምን ያደርጋል
Google-Extended የራሱ user agent የለውም። crawl የሚደረገው በGoogle ነባር user agents ነው፣ የGoogle-Extended token ደግሞ ለቁጥጥር ያገለግላል፦ Google crawl ያደረገው ይዘት የወደፊት የGemini ሞዴሎች ትውልዶችን ለማሰልጠን እና በGemini Apps እና በVertex AI ውስጥ ለgrounding ጥቅም ላይ ሊውል ይችል እንደሆነ ለGoogle ይነግራል።
Google Google-Extended በGoogle Search ውስጥ የድረ-ገጽ መካተትን እንደማይነካ ይገልጻል። እንደ AI Overviews ያሉ በSearch ውስጥ ያሉ የGoogle AI ባህሪያት የሚመሩት በዚህ token ሳይሆን በGooglebot ደንቦች እና በsnippet መቆጣጠሪያዎች ነው።
በ2026-11 ባደረግነው ጥናት robots.txt ካላቸው ታዋቂ ድረ-ገጾች 18.1% አግደውታል። →
የrobots.txt token
Google-Extended
እውነተኛ ጉብኝቶችን እንዴት ማረጋገጥ እንደሚቻል
በlogsዎ ውስጥ የሚረጋገጥ ምንም ነገር የለም፦ Google-Extended በጭራሽ እንደ user agent አይታይም። ከበስተጀርባው ያሉት ጥያቄዎች ከGoogle መደበኛ ክሮውለሮች ይመጣሉ፣ እነሱንም በreverse DNS lookup (googlebot.com፣ google.com ወይም googleusercontent.com) እና በሚከተለው forward lookup፣ ወይም ከGoogle የታተሙ የIP ክልሎች ጋር በማዛመድ ማረጋገጥ ይችላሉ።