Gemini என் இணையதளத்தைப் பார்க்க முடியுமா? எப்படிச் சரிபார்ப்பது

வெளியிடப்பட்டது · புதுப்பிக்கப்பட்டது

சுருக்கமான பதில்

பக்கம் Google-இன் தேடல் index-இல் இருந்து, உங்கள் robots.txt Google-Extended token-ஐ மறுக்காவிட்டால் மட்டுமே Gemini உங்கள் பக்கத்தை grounded பதிலில் பயன்படுத்த முடியும். Gemini app-இல் grounding மாடலுக்கு Google Search index-இலிருந்து உள்ளடக்கத்தைத் தருகிறது என்றும், உங்கள் உள்ளடக்கத்தை இதற்குப் பயன்படுத்தலாமா என்பதை Google-Extended கட்டுப்படுத்துகிறது என்றும் Google கூறுகிறது. எனவே Search Console-இல் indexing-ஐச் சரிபாருங்கள், robots.txt-இல் Googlebot, Google-Extended-ஐச் சரிபாருங்கள், பிறகு உங்கள் வாங்குபவர்களின் கேள்விகளை Gemini-இடம் கேட்டு அதன் மூலங்களைத் திறங்கள்.

மற்ற உதவியாளர்களுக்குச் செய்வது போல உங்கள் logs-இல் தேடக்கூடிய ஒரு கிராலர் Gemini-க்கு இல்லை. Google தன் ஏற்கெனவே உள்ள கிராலர்களுடன் கிராலிங் செய்கிறது; உள்ளடக்கத்தை Gemini என்ன செய்யலாம் என்பதை ஒரு robots.txt token தீர்மானிக்கிறது. இதனால் சரிபார்ப்பு வேறுபடுகிறது: அதன் பெரும்பகுதி Google Search Console-இலும் உங்கள் robots.txt-இலும் நடக்கிறது, கடைசிப் படி Gemini-இலேயே.

இந்தப் பக்கத்தில்
  1. 5 நிமிடச் சோதனை, படிப்படியாக
  2. Gemini இணையதளங்களிலிருந்து தகவலை எப்படிப் பெறுகிறது?
  3. Google என் பக்கத்தை index செய்துள்ளதா என்று எப்படிச் சரிபார்ப்பது?
  4. Google-Extended என் தளத்தை Gemini பயன்படுத்துவதைத் தடுக்கிறதா?
  5. உலாவிகள் கடந்து செல்லும்போது ஃபயர்வால் Google-ஐத் தடுக்குமா?
  6. Gemini என் தளத்தைப் பயன்படுத்துகிறதா அல்லது மேற்கோள் காட்டுகிறதா என்று எப்படிப் பார்ப்பது?
  7. AI Overviews, AI Mode, snippet விதிகள் Gemini-ஐப் பாதிக்கின்றனவா?
  8. AISeeWhy இதை எப்படிச் சரிபார்க்கிறது?

5 நிமிடச் சோதனை, படிப்படியாக

  1. பக்கம் Google-இன் index-இல் உள்ளது என்று உறுதிப்படுத்த, Google-இல் site: உடன் உங்கள் பக்க முகவரியைத் தேடுங்கள், அல்லது Search Console-இல் URL Inspection-ஐப் பயன்படுத்துங்கள்.
  2. உங்கள் robots.txt-ஐத் திறந்து, Googlebot பக்கத்தைப் பெறலாம் என்றும், நீங்கள் விலகத் தேர்ந்தெடுக்காதவரை Google-Extended தடுக்கப்படவில்லை என்றும் உறுதிசெய்யுங்கள்.
  3. AISeeWhy-இல் பக்கத்தின் இலவசச் சரிபார்ப்பை இயக்குங்கள் அல்லது Googlebot user agent-உடன் ஒரு கோரிக்கையை அனுப்புங்கள்: அதற்கு status 200-உம் உலாவிக்குக் கிடைக்கும் அதே உரையும் கிடைக்க வேண்டும்.
  4. உங்கள் பக்கம் பதிலளிக்கும் ஒரு கேள்வியை Gemini-இடம் கேட்டு, பதிலுக்குக் கீழே அது காட்டும் மூலங்களைத் திறங்கள்.

பக்கம் index-இல் இல்லையென்றால், Gemini-இன் grounding அதைப் பயன்படுத்த முடியாது, எனவே படி 1-இலிருந்து தொடங்குங்கள். கீழே உள்ள பிரிவுகள் ஒவ்வொரு படியையும், அது தோல்வியடைந்தால் என்ன செய்வது என்பதையும் விளக்குகின்றன.

Gemini இணையதளங்களிலிருந்து தகவலை எப்படிப் பெறுகிறது?

சில Gemini பதில்கள் தேடல் முடிவுகளில் grounded ஆக உள்ளன என்று Google-இன் Gemini Apps Privacy Hub கூறுகிறது. Google-இன் கிராலர் ஆவணங்கள் grounding-ஐ இப்படி வரையறுக்கின்றன: உண்மைத்தன்மையையும் பொருத்தத்தையும் மேம்படுத்த, prompt நேரத்தில் Google Search index-இலிருந்து உள்ளடக்கத்தை மாடலுக்கு வழங்குவது. Google கிராலிங் செய்யும் உள்ளடக்கத்தை Gemini மாடல்களின் பயிற்சிக்கும், Gemini Apps மற்றும் Vertex AI-இன் Grounding with Google Search-இல் grounding-க்கும் பயன்படுத்தலாமா என்பதை Google-Extended கட்டுப்படுத்துகிறது என்று அதே பக்கம் கூறுகிறது.

Google-Extended-க்குத் தனி user agent சரம் இல்லை. Google-இன் ஏற்கெனவே உள்ள user agents-உடன் கிராலிங் நடக்கிறது என்றும், token robots.txt-இல் கட்டுப்பாடாக மட்டுமே வேலை செய்கிறது என்றும் Google கூறுகிறது. நடைமுறையில், Gemini உங்கள் பக்கத்தைப் பயன்படுத்த இரண்டு நிபந்தனைகள் உள்ளன: Google அதைத் தன் index-இல் வைத்திருக்க வேண்டும், உங்கள் robots.txt அதற்கு Google-Extended-ஐ மறுக்கக் கூடாது.

index-இல் உள்ள எந்தப் பக்கங்களைப் பயன்படுத்துவது அல்லது மேற்கோள் காட்டுவது என்று Gemini எப்படித் தேர்ந்தெடுக்கிறது என்பதை Google ஆவணப்படுத்தவில்லை. இரண்டு நிபந்தனைகளையும் நிறைவேற்றுவது உங்கள் பக்கத்தைக் கிடைக்கச் செய்கிறது; Gemini அதைத் தேர்ந்தெடுக்கும் என்பதற்கு உத்தரவாதம் அல்ல.

Google என் பக்கத்தை index செய்துள்ளதா என்று எப்படிச் சரிபார்ப்பது?

Google Search Console-இல் URL Inspection கருவியைப் பயன்படுத்துங்கள். index செய்யப்பட்ட பதிப்புக்கு அது காட்டுவது:

Test live URL பக்கத்தை அந்த நேரத்திலேயே பெறுகிறது, View tested page ஒரு screenshot-ஐயும் Google பெற்ற HTML-ஐயும் காட்டுகிறது. screenshot ஒரு challenge பக்கமாக இருந்தாலோ HTML-இல் உங்கள் முக்கிய உரை இல்லாவிட்டாலோ, Google, அதனுடன் Gemini, உங்கள் உள்ளடக்கத்தைப் பார்ப்பதில்லை. Request indexing URL-ஐ மீண்டும் கிராலிங் செய்யும்படி Google-இடம் கேட்கிறது; இதற்கு வழக்கமாகச் சுமார் ஒரு நாள் ஆகும் என்றும், index செய்யப்படும் என்ற உத்தரவாதம் இல்லை என்றும் Google கூறுகிறது.

Google-Extended என் தளத்தை Gemini பயன்படுத்துவதைத் தடுக்கிறதா?

உங்கள் robots.txt-ஐத் திறந்து Google-Extended எனப் பெயரிடும் குழுவைத் தேடுங்கள். அங்குள்ள Disallow: / உங்கள் பக்கங்களை Gemini பயிற்சிக்கோ Gemini Apps-இல் grounding-க்கோ பயன்படுத்த வேண்டாம் என்று Google-இடம் சொல்கிறது. இந்த token Google Search-இல் சேர்க்கப்படுவதைப் பாதிக்காது, ranking signal அல்ல என்று Google கூறுகிறது, எனவே இந்தத் தடையை எளிதில் கவனிக்காமல் விடலாம்: உங்கள் தேடல் போக்குவரத்து சாதாரணமாகத் தெரியும், ஆனால் Gemini உங்கள் பக்கங்களில் பதில்களை ground செய்ய முடியாது. AI Overviews, Google-Extended பற்றிய எங்கள் தனிக் கட்டுரை, Search-இல் இந்த token எதைக் கட்டுப்படுத்துகிறது, எதைக் கட்டுப்படுத்தவில்லை என்று விளக்குகிறது.

இந்த token கோரிக்கைகளில் ஒருபோதும் தோன்றாததால், அதை curl மூலம் சோதிக்கவோ logs-இல் கண்டுபிடிக்கவோ முடியாது. கோப்பைப் படிப்பது மட்டுமே சரிபார்ப்பு:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

பொருத்தம் பெரிய/சிறிய எழுத்தைப் பொருட்படுத்தாது; எந்தக் குழுவும் Google-Extended-ஐப் பெயரிடாவிட்டால், * குழு அதற்குப் பொருந்தும். AI பயிற்சி பற்றி முதன்முதலில் பேசப்பட்டபோது பல தளங்கள் இந்தத் தடையைச் சேர்த்தன. மிகப் பிரபலமான 1,000 domains பற்றிய எங்கள் ஆய்வில், robots.txt உள்ள 518 தளங்களில் 114 Google-Extended-ஐப் பெயரிட்டன, 94 (18.1%) அதற்குத் தங்கள் முகப்புப் பக்கத்தை மறுத்தன. இது grounding-ஐயும் உள்ளடக்குவதால், இது இன்னும் உங்கள் விருப்பத்துடன் பொருந்துகிறதா என்று முடிவு செய்யுங்கள்.

உலாவிகள் கடந்து செல்லும்போது ஃபயர்வால் Google-ஐத் தடுக்குமா?

ஆம். பாட் பாதுகாப்போ rate limit-ஓ Google-இன் கிராலர்களுக்கு 403, 429 அல்லது challenge பக்கத்துடன் பதிலளித்தால், Google பக்கத்தை கிராலிங் செய்ய முடியாது; காலப்போக்கில் அது Search-இலிருந்தும், அதனுடன் Gemini-இன் grounding-இலிருந்தும் வெளியேறலாம். இங்கே URL Inspection சிறந்த சோதனை, ஏனெனில் Google தன் சொந்த முகவரிகளிலிருந்து பெறுகிறது; உங்கள் கணினியிலிருந்து செய்யும் curl சோதனை உங்கள் விதிகள் user agent-ஐ எப்படிக் கையாளுகின்றன என்பதை மட்டுமே காட்டும்.

Google-ஐப் பாதுகாப்பாக அனுமதிக்க, பெயரை நம்புவதற்குப் பதிலாகப் பார்வையாளரைச் சரிபாருங்கள். Google ஒரு reverse DNS lookup, அதைத் தொடர்ந்து forward lookup என்ற முறையை ஆவணப்படுத்துகிறது, தன் பொதுவான கிராலர்களின் IP வரம்புகளை common-crawlers.json-இல் வெளியிடுகிறது:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

எடுத்துக்காட்டு முகவரிக்குப் பதிலாக உங்கள் logs-இலிருந்து ஒரு முகவரியை வையுங்கள். இரண்டு lookups-உம் பொருந்தாவிட்டால், அந்தக் கோரிக்கை Google என்று மட்டுமே கூறிக்கொள்கிறது.

Gemini என் தளத்தைப் பயன்படுத்துகிறதா அல்லது மேற்கோள் காட்டுகிறதா என்று எப்படிப் பார்ப்பது?

உங்கள் தளத்தைப் பெயரிடாமல் உங்கள் வாங்குபவர்கள் கேட்கும் கேள்விகளை Gemini-இடம் கேட்டு, மூலங்களைத் திறங்கள். Sources பொத்தான் பதிலின் கீழே அல்லது உரைக்குள் தோன்றும் என்றும், பொது இணையதளங்கள் அடங்கக்கூடிய தொடர்புடைய இணைப்புகளின் panel-ஐத் திறக்கும் என்றும் Google-இன் உதவி மையம் கூறுகிறது. Sources பொத்தான் இல்லையெனில், அந்தப் பதிலுக்கு Gemini இணைப்புகளைத் தரவில்லை; எல்லாப் பதில்களிலும் அவை இருக்காது என்று Google குறிப்பிடுகிறது. எந்த domains தோன்றுகின்றன என்று பதிவுசெய்து, அதே கேள்விகளைச் சில வாரங்கள் மீண்டும் கேளுங்கள்.

டெவலப்பர்கள் அதே சோதனையை Gemini API-இல் Grounding with Google Search மூலம் இயக்கலாம். இது மாடலை நிகழ்நேர இணைய உள்ளடக்கத்துடன் இணைக்கிறது என்றும், grounded பதில்கள் ஒவ்வொரு மூலத்தின் URL, தலைப்புடன் மேற்கோள்களைக் கொண்டிருக்கும் என்றும் Google கூறுகிறது, எனவே உங்கள் domain தோன்றுகிறதா என்று சரிபார்க்கலாம். API பதில்கள் Gemini app காட்டுவதிலிருந்து வேறுபடலாம்.

Gemini தொடர்பான சில fetch கோரிக்கைகள் உங்கள் சர்வரை அடைகின்றன. பயனர் தூண்டும் fetchers-ஐ Google பட்டியலிடுகிறது: Google-GeminiNotebook, பயனர்கள் Gemini Notebook project-இல் மூலங்களாகச் சேர்க்கும் URL-களைக் கோருகிறது; Google-Agent, பயனரின் வேண்டுகோளின்படி செயல்படும் Google உள்கட்டமைப்பிலுள்ள ஏஜென்ட்கள் பயன்படுத்துகின்றன. பயனர் கேட்டதால் இந்த fetchers பொதுவாக robots.txt-ஐப் புறக்கணிக்கின்றன என்று Google கூறுகிறது. இவற்றின் வருகைகள் மக்கள் அந்தத் தயாரிப்புகள் வழியாக உங்கள் பக்கங்களைத் திறக்கிறார்கள் என்று காட்டுகின்றன; இவை மேலே விவரித்த grounding வழி அல்ல.

AI Overviews, AI Mode, snippet விதிகள் Gemini-ஐப் பாதிக்கின்றனவா?

AI Overviews, AI Mode ஆகியவை தனிக் கட்டுப்பாடுகளுடன் கூடிய Google Search அம்சங்கள். உங்கள் பக்கங்களிலிருந்து காட்டப்படுவதைக் கட்டுப்படுத்தும் வழிகளாக nosnippet, data-nosnippet, max-snippet, noindex-ஐ Google பட்டியலிடுகிறது. nosnippet உள்ளடக்கம் AI Overviews, AI Mode-க்கு நேரடி உள்ளீடாகப் பயன்படுத்தப்படுவதையும் தடுக்கிறது என்றும், max-snippet எவ்வளவு பயன்படுத்தலாம் என்பதைக் கட்டுப்படுத்துகிறது என்றும் அதன் robots meta tag ஆவணங்கள் கூறுகின்றன. Search Console-இல் தளம் முழுவதற்குமான Search generative AI அமைப்பும் உள்ளது; இது ஒரு தளத்தை AI Overviews, AI Mode, Discover-இன் generative AI அம்சங்களிலிருந்து விலக்கலாம்.

இந்தப் பக்கங்கள் எதுவும் Gemini app-ஐக் குறிப்பிடவில்லை. snippet விதியோ Search Console அமைப்போ Gemini-இன் grounding-ஐ மாற்றுகிறது என்றோ, Google-Extended AI Overviews-ஐ மாற்றுகிறது என்றோ கருதாதீர்கள். noindex விதிவிலக்கு: Google-இன் grounding வரையறைப்படி, Search index-க்கு வெளியே உள்ள பக்கத்தை அதற்குப் பயன்படுத்த முடியாது. நீங்கள் மறந்திருக்கக்கூடிய snippet விதிகளைக் கண்டுபிடிக்க HTML-ஐயும் headers-ஐயும் சரிபாருங்கள்:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhy இதை எப்படிச் சரிபார்க்கிறது?

இலவச AISeeWhy சரிபார்ப்பு உங்கள் பக்கத்தை ஒரு உண்மையான உலாவியுடன் சேர்த்து Googlebot மற்றும் பிற AI, தேடல் கிராலர்களாகப் பெறுகிறது, Google-Extended token உட்பட ஒவ்வொன்றுக்கும் உங்கள் robots.txt-ஐப் பொருத்துகிறது, challenge பக்கங்களை அடையாளம் காண்கிறது, JavaScript இல்லாமல் எவ்வளவு உரை வந்து சேர்கிறது என்று காட்டுகிறது. சோதனைக் காலத்திலும் கட்டணத் திட்டங்களிலும் உள்ள AI-யில் தெரிவுநிலைச் சரிபார்ப்பு, உங்கள் சொந்த விசையுடன் Google Search grounding கொண்ட Gemini API வழியாக உங்கள் கேள்விகளைக் கேட்டு, உங்கள் பிராண்ட் அல்லது domain குறிப்பிடப்படுகிறதா அல்லது மேற்கோள் காட்டப்படுகிறதா என்று காட்டுகிறது. இது AI Overviews அல்லது AI Mode-இடம் கேட்பதில்லை.

இலவசக் கருவிகள்

அடுத்த படிகள்

இந்தக் கட்டுரையில் உள்ள கிராலர்கள்

அடிக்கடி கேட்கப்படும் கேள்விகள்

Gemini என் தளத்தைப் பார்க்க முடியுமா என்று இலவசமாகச் சரிபார்க்க முடியுமா?

ஆம். Search Console, ஒரு site: தேடல், உங்கள் robots.txt, Gemini-இல் ஒரு கேள்வி ஆகியவற்றுக்குச் செலவு இல்லை. AISeeWhy-இன் இலவசச் சரிபார்ப்பு நாளுக்கு ஒரு பக்கத்துக்கு Googlebot, Google-Extended விதி, மேலும் 14 கிராலர்களைச் சோதிக்கிறது.

Gemini-க்குச் சொந்தக் கிராலர் உள்ளதா?

grounding-க்கு இல்லை. Google-Extended-க்கு user agent சரம் இல்லை என்றும், அதன் ஏற்கெனவே உள்ள கிராலர்களுடன் கிராலிங் நடக்கிறது என்றும் Google கூறுகிறது. Google-GeminiNotebook, Google-Agent போன்ற தனியான பயனர் தூண்டும் fetchers பயனர் கேட்கும்போது பக்கங்களுக்கு வருகின்றன; அவை பொதுவாக robots.txt-ஐப் புறக்கணிக்கின்றன என்று Google கூறுகிறது.

நான் Google-Extended-ஐத் தடுத்தால், Gemini இன்னும் என் பிராண்டைக் குறிப்பிட முடியுமா?

Gemini Apps-இல் grounding-க்கு உங்கள் உள்ளடக்கத்தைப் பயன்படுத்தாது என்று Google கூறுகிறது. அந்த விதி உங்கள் சொந்தப் பக்கங்களுக்கு மட்டுமே பொருந்தும். உங்களைப் பற்றி எழுதும் பிற தளங்களின் உள்ளடக்கம் பற்றி Google எதுவும் சொல்லவில்லை, எனவே அந்த மூலங்களிலிருந்து Gemini இன்னும் உங்கள் பிராண்டைப் பெயரிடலாம்.

robots.txt மாற்றம் Gemini-ஐ அடைய எவ்வளவு நேரம் ஆகும்?

Gemini-க்கு Google நேரம் எதையும் குறிப்பிடவில்லை. Google பொதுவாகக் கோப்பை 24 மணி நேரம் வரை கேஷ் செய்கிறது என்று அதன் robots.txt ஆவணங்கள் கூறுகின்றன, எனவே மீண்டும் சோதிப்பதற்கு முன் குறைந்தது ஒரு நாள் காத்திருங்கள்; Google அரிதாக மீண்டும் கிராலிங் செய்யும் பக்கங்களுக்கு இன்னும் அதிக நேரம்.

AI Overviews-உம் Gemini-யும் ஒரே மூலங்களைப் பயன்படுத்துகின்றனவா?

இரண்டும் எப்படித் தொடர்புடையவை என்பதை Google ஆவணப்படுத்தவில்லை. இரண்டும் Google-இன் index-இலிருந்து எடுக்கின்றன, ஆனால் அவற்றின் கட்டுப்பாடுகள் வேறு: AI Overviews, AI Mode-க்கு snippet விதிகளும் Search Console அமைப்பும், Gemini grounding-க்கு Google-Extended. அவற்றைத் தனித்தனியாகச் சரிபாருங்கள்.

காலப்போக்கில் Gemini பதில்களை எப்படிக் கண்காணிப்பது?

வாங்குபவர் கேள்விகளின் நிலையான பட்டியலை வைத்து, அவற்றை ஒரு கால அட்டவணைப்படி Gemini-இடம் கேட்டு, மூலங்களில் எந்த domains தோன்றுகின்றன என்று பதிவுசெய்யுங்கள். AISeeWhy-இன் AI-யில் தெரிவுநிலைச் சரிபார்ப்பு உங்கள் கேள்விகளை வாரந்தோறும் Google Search grounding கொண்ட Gemini API வழியாக இயக்கி, 4 போட்டியாளர்கள் வரை அருகில் வைத்துக் குறிப்புகளைக் காட்டுகிறது. API முடிவுகள் Gemini app-இலிருந்து வேறுபடலாம்.

மூலங்கள்

மேலும் கட்டுரைகள்