Google-Extended-ஐத் தடுத்தால் AI Overviews, AI Mode-இலிருந்து நீக்கப்படுவீர்களா?
Google ஆவணங்களின்படி இல்லை. Gemini மாடல் பயிற்சிக்கும் Gemini Apps, Vertex AI-இல் grounding-க்கும் உங்கள் உள்ளடக்கம் பயன்படுவதை Google-Extended கட்டுப்படுத்துகிறது. AI Overviews மற்றும் AI Mode, Search-க்காக Googlebot கிரால் செய்யும் பக்கங்களைப் பயன்படுத்துகின்றன. அவற்றைக் கட்டுப்படுத்த snippet கட்டுப்பாடுகள், noindex, இந்த அம்சங்களிலிருந்து ஒரு தளத்தை விலக்கும் Search Console அமைப்பு ஆகியவற்றை Google சுட்டுகிறது.
Google-இன் AI-இலிருந்து உங்கள் தளத்தை விலக்கி வைக்கும் வழியாக Google-Extended அடிக்கடி விவரிக்கப்படுகிறது. அது ஓரளவு மட்டுமே உண்மை; அந்த இடைவெளி இரு திசைகளிலும் குழப்பத்தை ஏற்படுத்துகிறது: சில தளங்கள் AI Overviews-இலிருந்து மறைந்துவிடும் என எதிர்பார்த்து அதைத் தடுத்து எந்த மாற்றத்தையும் காண்பதில்லை; மற்றவை தேடல் போக்குவரத்தை இழக்கும் பயத்தில் அதைத் தவிர்க்கின்றன. ஒவ்வொரு கட்டுப்பாடும் என்ன செய்கிறது என்பதில் Google-இன் சொந்த ஆவணங்கள் ஓரளவு துல்லியமாக உள்ளன. அவை என்ன கூறுகின்றன, பக்கங்கள் எங்கே முழுமையாக ஒத்துப்போகவில்லை, உங்கள் தளத்தில் எதைச் சரிபார்க்க வேண்டும் என்பது இங்கே.
இந்தப் பக்கத்தில்
- Google-Extended என்றால் என்ன?
- Google-Extended-ஐத் தடுப்பது AI Overviews அல்லது AI Mode-ஐப் பாதிக்குமா?
- AI Overviews மற்றும் AI Mode-இல் நீங்கள் தோன்றுவதை உண்மையில் எது கட்டுப்படுத்துகிறது?
- அதற்குப் பதிலாக Googlebot-ஐத் தடுத்தால் என்ன நடக்கும்?
- என் தளத்தில் Google என்ன பார்க்கிறது என்பதை எப்படிச் சரிபார்ப்பது?
- AI Overviews போக்குவரத்தை எங்கே பார்ப்பது?
Google-Extended என்றால் என்ன?
வெளியீட்டாளர்கள் robots.txt-இல் பயன்படுத்தக்கூடிய தனித்த product token என்று Google-Extended-ஐ Google விவரிக்கிறது. அதற்குச் சொந்தக் கிராலரோ user agent string-ஓ இல்லை; Google-இன் ஏற்கெனவே உள்ள கிராலர்கள் பக்கங்களைப் பெறுகின்றன, அந்த உள்ளடக்கம் எப்படிப் பயன்படுத்தப்படலாம் என்பதை டோக்கன் கட்டுப்படுத்துகிறது.
Google-இன் கிராலர் ஆவணங்களின்படி, இது இரண்டு பயன்பாடுகளை உள்ளடக்குகிறது: Gemini Apps மற்றும் Gemini-க்கான Vertex AI API-ஐ இயக்கும் எதிர்காலத் தலைமுறை Gemini மாடல்களுக்குப் பயிற்சி அளித்தல், மற்றும் grounding, அதாவது Gemini Apps-இலும் Vertex AI-இன் Grounding with Google Search-இலும் prompt நேரத்தில் மாடலுக்குத் தரப்படும் Google Search குறியீட்டின் உள்ளடக்கம். Google-Extended ஒரு தளம் Google Search-இல் சேர்க்கப்படுவதைப் பாதிக்காது என்றும், தரவரிசை signal-ஆகப் பயன்படுத்தப்படுவதில்லை என்றும் அதே பக்கம் கூறுகிறது.
User-agent: Google-Extended
Disallow: / Google-Extended-ஐத் தடுப்பது AI Overviews அல்லது AI Mode-ஐப் பாதிக்குமா?
Google-Extended கட்டுப்படுத்தும் பயன்பாடுகளில் AI Overviews அல்லது AI Mode-ஐ Google ஆவணங்கள் பட்டியலிடவில்லை. ஒரு பக்கம் குறியிடப்பட்டு (indexed), Google Search-இல் snippet-உடன் காட்டத் தகுதியுடையதாக இருந்தால், கூடுதல் தொழில்நுட்பத் தேவைகள் எதுவும் இல்லாமல் AI Overviews அல்லது AI Mode-இல் துணை இணைப்பாகத் தோன்றத் தகுதியுடையது என்று AI அம்சங்கள் பற்றிய Google வழிகாட்டி கூறுகிறது. Search-இல் கிராலிங்குக்கான கட்டுப்பாடாக அது Google-Extended-ஐ அல்ல, Googlebot-க்கான robots.txt விதிகளையே பெயரிடுகிறது.
எனவே Google-இன் விவரிப்பின்படி, Googlebot கிரால் செய்து குறியிடக்கூடிய, snippet காட்டக்கூடிய ஒரு பக்கம், Google-Extended தடுக்கப்பட்டிருந்தாலும் AI Overviews மற்றும் AI Mode-இல் தோன்றலாம்.
தெளிவாகச் சொல்ல வேண்டிய ஒரு நுணுக்கம் உண்டு. Search-இன் generative AI அம்சங்களில் பதில்களை உருவாக்கப் பயன்படும் மாடல்களின் பயிற்சியைக் கட்டுப்படுத்த Google-Extended-ஐப் பயன்படுத்த வேண்டும் என்று Google-இன் புதிய AI கட்டுப்பாட்டுக்கான Search Console உதவிப் பக்கம் கூறுகிறது. டோக்கனுக்கான Google கிராலர் ஆவணங்கள் Gemini Apps மற்றும் Vertex AI-ஐ மட்டுமே குறிப்பிடுகின்றன. இரண்டு பக்கங்களும் வரம்பை வெவ்வேறு விதமாக விவரிக்கின்றன. டோக்கனைத் தடுப்பது ஒரு தளத்தை AI Overviews-இலிருந்து நீக்கும் என்று இரண்டுமே கூறவில்லை.
AI Overviews மற்றும் AI Mode-இல் நீங்கள் தோன்றுவதை உண்மையில் எது கட்டுப்படுத்துகிறது?
Google இந்தக் கட்டுப்பாடுகளை ஆவணப்படுத்துகிறது, குறுகியதிலிருந்து பரந்தது வரை:
nosnippet: இந்த விதி AI Overviews மற்றும் AI Mode-க்கு நேரடி உள்ளீடாக உள்ளடக்கம் பயன்படுவதையும் தடுக்கிறது என்று Google கூறுகிறது. தேடல் முடிவுகளில் உள்ள சாதாரண உரை snippet-ஐயும் இது நீக்குகிறது.max-snippet: AI Overviews மற்றும் AI Mode-க்கு நேரடி உள்ளீடாக எவ்வளவு உள்ளடக்கம் பயன்படலாம் என்பதற்கும் இந்த நீள வரம்பு பொருந்தும்.data-nosnippet: பக்கத்தின் குறிக்கப்பட்ட பகுதிகளை snippets-இலிருந்து விலக்குகிறது. இதைப் பற்றிய Google ஆவணங்கள் AI Overviews அல்லது AI Mode-ஐக் குறிப்பாகக் குறிப்பிடவில்லை.- Search Console-இன் Search generative AI அமைப்பு: Include, Exclude, child properties-க்கு Inherit விருப்பங்களைக் கொண்ட தளம் முழுவதற்குமான கட்டுப்பாடு. விலக்கப்பட்ட உள்ளடக்கம் AI Overviews, AI Mode, Discover-இன் generative AI அம்சங்களில் தோன்றாது, அவற்றிலிருந்து போக்குவரத்தையோ impressions-ஐயோ பெறாது. ஆகஸ்ட் 31, 2026 நிலவரப்படி இந்தக் கட்டுப்பாட்டை உலகம் முழுவதும் எல்லா இணையதளங்களுக்கும் வழங்கியதாகவும், விலக்கல் பொதுவாக 1 முதல் 2 நாட்களில் நடைமுறைக்கு வருவதாகவும், Search-இன் மற்ற பகுதிகளுக்கு இது தரவரிசை அல்லது சேர்க்கை signal அல்ல என்றும் Google கூறுகிறது.
noindexஅல்லதுGooglebotதடை: இவை பக்கத்தை Google Search-இலிருந்தே முழுமையாக நீக்குகின்றன, இதனால் AI அம்சங்களிலிருந்தும் நீக்கப்படுகிறது.
AI Overviews அல்லது AI Mode-இல் தோன்ற சிறப்பு schema.org markup அல்லது வேறு எந்த optimization-உம் தேவையில்லை என்றும் Google கூறுகிறது.
அதற்குப் பதிலாக Googlebot-ஐத் தடுத்தால் என்ன நடக்கும்?
Googlebot-ஐத் தடுப்பதே மிகக் கடுமையான வழி. அதற்கு அனுப்பப்படும் கிரால் விருப்பங்கள் Discover மற்றும் எல்லா Search அம்சங்கள் உட்பட Google Search-ஐப் பாதிக்கும் என்று Google கூறுகிறது. Googlebot-ஐத் தடுக்கும் தளம், AI Overviews மற்றும் AI Mode மேற்கோள்களுடன் சேர்த்து அதன் சாதாரணத் தேடல் முடிவுகளையும் இழக்கிறது.
சில பெரிய தளங்களே இதைச் செய்கின்றன. மிகப் பிரபலமான 1,000 டொமைன்களின் robots.txt கோப்புகள் குறித்த எங்கள் ஆய்வில், robots.txt உள்ள 518 தளங்களில் 94 (18.1%) Google-Extended-க்கு முகப்புப் பக்கத்தைத் தடுத்திருந்தன; Googlebot-க்கு 14 (2.7%) மட்டுமே அப்படிச் செய்திருந்தன. இந்த ஆய்வு முகப்புப் பக்கத்துக்கான robots.txt விதிகளை மட்டுமே உள்ளடக்குகிறது; அந்தத் தளங்கள் விதி என்ன செய்யும் என்று எதிர்பார்த்தன என்பதை அது காட்ட முடியாது.
என் தளத்தில் Google என்ன பார்க்கிறது என்பதை எப்படிச் சரிபார்ப்பது?
உங்கள் பக்கங்கள் AI Overviews அல்லது AI Mode-இல் இல்லையென்றால், சாதாரணத் தேடல் முடிவுகளுக்குச் செய்வது போலவே அதே சங்கிலியைச் சரிபாருங்கள்:
- Indexing: பக்கம் குறியிடப்பட்டுள்ளதா,
Googlebotஅதைப் பெற முடிந்ததா என்று உறுதிசெய்ய Search Console-இல் URL Inspection கருவியைப் பயன்படுத்துங்கள். - Snippets: பக்கத்தின் robots meta tag மற்றும்
X-Robots-Tagheader-இல்nosnippet, சிறியmax-snippetமதிப்பு அல்லதுnoindexஉள்ளதா என்று பாருங்கள். - Search Console-இல் Search generative AI அமைப்பு: உங்கள் domain property-க்கு அதைச் சரிபாருங்கள்; child properties இயல்பாகத் தங்கள் parent-இடமிருந்து அமைப்பைப் பெறுகின்றன என்பதை நினைவில் கொள்ளுங்கள்.
- robots.txt:
Googlebotகுழு, அல்லதுGooglebotகுழு இல்லையெனில்*குழு, பக்கத்தை அனுமதிக்கிறதா என்று உறுதிசெய்யுங்கள்.Google-Extendedகுழு இதை மாற்றாது. - ஃபயர்வால்: உங்கள் CDN அல்லது பாட் பாதுகாப்பு Google-இன் கிராலர்களைத் தடுக்கவோ challenge செய்யவோ இல்லை என்று உறுதிசெய்யுங்கள். Googlebot-ஐ அனுமதிக்கும் முன் reverse DNS அல்லது Google வெளியிட்ட IP வரம்புகள் மூலம் சரிபாருங்கள்.
- Rendering: Google JavaScript-ஐ render செய்கிறது, ஆனால் தொடக்க HTML-இல் உள்ள உரையே இன்னும் பாதுகாப்பான தேர்வு; பெரும்பாலான பிற AI கிராலர்களுக்குத் தேவைப்படுவதும் அதுவே.
எல்லாச் சரிபார்ப்புகளும் வெற்றி பெற்றாலும், ஒவ்வொரு தேடலுக்கும் எந்தப் பக்கங்களைக் காட்டுவது என்பதை Google-ஏ தீர்மானிக்கிறது. தகுதியுடையதாக இருப்பதும் காட்டப்படுவதும் ஒன்றல்ல.
AI Overviews போக்குவரத்தை எங்கே பார்ப்பது?
AI அம்சங்களில் தோன்றும் தளங்களுக்கான போக்குவரத்து Search Console-இன் Performance அறிக்கையில் உள்ள மொத்தத் தேடல் போக்குவரத்தில் சேர்க்கப்படுவதாக Google கூறுகிறது. 2026 கட்டுப்பாடுகளுடன், impressions-ஐயும் AI பதில்களில் எந்தப் பக்கங்கள் தோன்றுகின்றன என்பதையும் காட்டும் generative AI insights-ஐ Search Console-இல் Google அறிவித்தது, மேலும் அளவீடுகள் வரும் என்றும் கூறியது. Google-Extended-ஐ உங்கள் சர்வர் logs-இல் பார்க்க முடியாது, ஏனெனில் அதற்குச் சொந்த user agent இல்லை.
AISeeWhy உங்கள் robots.txt-ஐ Googlebot, Google-Extended இரண்டுக்கும் சரிபார்க்கிறது, Google-இன் கிராலர் உலாவி பெறும் அதே பக்கத்தைப் பெறுகிறதா என்று சோதிக்கிறது, ஒரு பக்கத்தை AI Overviews மற்றும் AI Mode-இலிருந்து விலக்கி வைக்கும் nosnippet, noindex விதிகளைப் புகாரளிக்கிறது.
அடுத்த படிகள்
- AI கிராலர்களுக்கான robots.txt tester, சரிபார்ப்பு
- AI கிராலர் IP சரிபார்ப்பு
- முழு அறிக்கையின் ஓர் எடுத்துக்காட்டைப் பாருங்கள்
- AI கிராலர் கண்காணிப்பு
- திட்டங்களும் விலைகளும்
இந்தக் கட்டுரையில் உள்ள கிராலர்கள்
அடிக்கடி கேட்கப்படும் கேள்விகள்
Google-Extended-ஐத் தடுப்பது என் Google தரவரிசையைப் பாதிக்குமா?
Google-Extended Google Search-இல் சேர்க்கப்படுவதைப் பாதிக்காது என்றும், தரவரிசை signal-ஆகப் பயன்படுத்தப்படுவதில்லை என்றும் Google கூறுகிறது.
Google Search-இல் தொடர்ந்தபடி என் தளத்தை AI Overviews-இலிருந்து விலக்குவது எப்படி?
Search-இன் மற்ற பகுதிகளைப் பாதிக்காமல் ஒரு தளத்தை AI Overviews, AI Mode, Discover-இன் generative AI அம்சங்களிலிருந்து விலக்கும் Search generative AI அமைப்பை Google Search Console-இல் வழங்குகிறது. nosnippet, max-snippet ஆகியவையும் நேரடி உள்ளீடாகப் பயன்படுவதைக் கட்டுப்படுத்துகின்றன, ஆனால் அவை சாதாரண snippets-ஐயும் மாற்றுகின்றன.
Search Console AI அமைப்பு AI பயிற்சியை நிறுத்துமா?
இல்லை. இந்த அமைப்பு பயிற்சியை உள்ளடக்காது என்று Google உதவிப் பக்கம் கூறுகிறது, அதற்கு Google-Extended-ஐச் சுட்டுகிறது.
AI Overviews-இல் தோன்ற சிறப்பு markup தேவையா?
கூடுதல் தேவைகளோ சிறப்பு schema.org கட்டமைக்கப்பட்ட தரவோ தேவையில்லை என்று Google கூறுகிறது. பக்கம் குறியிடப்பட்டு snippet காட்டத் தகுதியுடையதாக இருக்க வேண்டும்.
Google-Extended என் ஃபயர்வாலில் தடுக்கக்கூடிய கிராலரா?
இல்லை. அதற்குச் சொந்த user agent இல்லை, எனவே ஃபயர்வாலால் அதைப் பார்க்க முடியாது. அது robots.txt டோக்கனாக மட்டுமே செயல்படுகிறது. Google-இன் உண்மையான கிராலர்களை ஃபயர்வாலில் தடுத்தால் Search பாதிக்கப்படும்.
மூலங்கள்
- Google: Google-Extended உட்பட பொதுவான கிராலர்கள்
- Google Search Central: AI அம்சங்களும் உங்கள் இணையதளமும்
- Google Search Central: Robots meta tag, data-nosnippet மற்றும் X-Robots-Tag
- Google Search Console உதவி: Search generative AI கட்டுப்பாடு
- Google: இணையதள உரிமையாளர்களுக்கான புதிய வாய்ப்புகள், கட்டுப்பாடுகள், நுண்ணறிவுகள்
- Google: Google கிராலர்கள் மற்றும் fetchers-ஐச் சரிபார்த்தல்
- Google Search Central: JavaScript SEO அடிப்படைகள்
- AISeeWhy: AI கிராலர் அணுகல் அறிக்கை, 2026-11