Google-Extended

Google · AI பயிற்சி

Google-Extended ஒரு robots.txt டோக்கன், தனிக் கிராலர் அல்ல. Google crawl செய்த உள்ளடக்கம் எதிர்கால Gemini மாதிரிகளைப் பயிற்றுவிக்கவும் Gemini Apps, Vertex AI-இல் grounding-க்கும் பயன்படலாமா என்பதை இது கட்டுப்படுத்துகிறது. இது Google Search-இல் ஒரு தளம் சேர்க்கப்படுவதைப் பாதிக்காது என்று Google சொல்கிறது.

இதை எப்படி அனுமதிப்பது

User-agent: Google-Extended
Allow: /

இதை எப்படித் தடுப்பது

User-agent: Google-Extended
Disallow: /

இது என்ன செய்கிறது

Google-Extended-க்குச் சொந்த user agent இல்லை. Crawl, Google-இன் தற்போதைய user agent-களால் செய்யப்படுகிறது; Google-Extended டோக்கன் ஒரு கட்டுப்பாடாக மட்டுமே பயன்படுகிறது: Google crawl செய்த உள்ளடக்கம் எதிர்காலத் தலைமுறை Gemini மாதிரிகளைப் பயிற்றுவிக்கவும் Gemini Apps, Vertex AI-இல் grounding-க்கும் பயன்படலாமா என்று அது Google-க்குச் சொல்கிறது.

Google-Extended, Google Search-இல் ஒரு தளம் சேர்க்கப்படுவதைப் பாதிக்காது என்று Google கூறுகிறது. AI Overviews போன்ற Search-இல் உள்ள Google-இன் AI அம்சங்கள் இந்த டோக்கனால் அல்ல, Googlebot விதிகளாலும் snippet கட்டுப்பாடுகளாலும் நிர்வகிக்கப்படுகின்றன.

எங்கள் 2026-11 ஆய்வில், robots.txt உள்ள பிரபலத் தளங்களில் 18.1% இதைத் தடுத்தன. →

robots.txt டோக்கன்

Google-Extended

உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது

உங்கள் log-களில் சரிபார்க்க எதுவும் இல்லை: Google-Extended ஒருபோதும் user agent ஆகத் தோன்றாது. அதன் பின்னால் உள்ள கோரிக்கைகள் Google-இன் வழக்கமான கிராலர்களிடமிருந்து வருகின்றன; அவற்றை reverse DNS தேடல் (googlebot.com, google.com அல்லது googleusercontent.com) மற்றும் அதைத் தொடர்ந்து forward DNS தேடல் மூலமோ, Google வெளியிடும் IP வரம்புகளுடன் ஒப்பிட்டோ சரிபார்க்கலாம்.

உங்கள் தளம் இதை உள்ளே விடுகிறதா என்று சரிபாருங்கள் →

AI கிராலர்களுக்கான robots.txt: எதை அனுமதிப்பது, எதைத் தடுப்பது →