Google-Extended
Google-Extended అనేది robots.txt టోకెన్, వేరే క్రాలర్ కాదు. Google క్రాల్ చేసిన కంటెంట్ను భవిష్యత్ Gemini మోడల్ల ట్రైనింగ్కు, Gemini Apps, Vertex AIలో grounding కోసం ఉపయోగించవచ్చో లేదో ఇది నియంత్రిస్తుంది. Google Searchలో సైట్ చేరికపై దీని ప్రభావం ఉండదని Google చెబుతుంది.
దీన్ని ఎలా అనుమతించాలి
User-agent: Google-Extended
Allow: / దీన్ని ఎలా బ్లాక్ చేయాలి
User-agent: Google-Extended
Disallow: / ఇది ఏమి చేస్తుంది
Google-Extendedకు సొంత యూజర్ ఏజెంట్ లేదు. క్రాలింగ్ Google ఇప్పటికే ఉన్న యూజర్ ఏజెంట్లతో జరుగుతుంది, Google-Extended టోకెన్ నియంత్రణ కోసం ఉపయోగించబడుతుంది: తాను క్రాల్ చేసిన కంటెంట్ను భవిష్యత్ తరాల Gemini మోడల్ల ట్రైనింగ్కు, Gemini Apps, Vertex AIలో grounding కోసం ఉపయోగించవచ్చో లేదో అది Googleకు చెబుతుంది.
Google-Extended Google Searchలో సైట్ చేరికను ప్రభావితం చేయదని Google చెబుతుంది. AI Overviews వంటి Searchలోని Google AI ఫీచర్లు ఈ టోకెన్ ద్వారా కాకుండా Googlebot నియమాలు, snippet నియంత్రణల ద్వారా నిర్వహించబడతాయి.
మా 2026-11 అధ్యయనంలో, robots.txt ఉన్న ప్రముఖ సైట్లలో 18.1% దీన్ని బ్లాక్ చేశాయి. →
robots.txt టోకెన్
Google-Extended
నిజమైన సందర్శనలను ఎలా ధృవీకరించాలి
మీ లాగ్లలో ధృవీకరించడానికి ఏమీ లేదు: Google-Extended ఎప్పుడూ యూజర్ ఏజెంట్గా కనిపించదు. దాని వెనుక ఉన్న అభ్యర్థనలు Google సాధారణ క్రాలర్ల నుంచి వస్తాయి, వాటిని reverse DNS lookup (googlebot.com, google.com లేదా googleusercontent.com), తర్వాత forward lookup ద్వారా, లేదా Google ప్రచురించిన IP పరిధులతో ధృవీకరించవచ్చు.
మీ సైట్ దీన్ని అనుమతిస్తోందో తనిఖీ చేయండి →
AI క్రాలర్ల కోసం robots.txt: ఏది అనుమతించాలి, ఏది బ్లాక్ చేయాలి →