Googlebot
Googlebot என்பது தேடல் index-களை உருவாக்க Google பயன்படுத்தும் முதன்மைக் கிராலர். Search-க்காக ஒரு தளம் எப்படி crawl செய்யப்படுகிறது என்பதை, AI Overviews, AI Mode போன்ற AI அம்சங்கள் உட்பட, Googlebot-க்கான robots.txt விதிகளே கட்டுப்படுத்துகின்றன என்று Google சொல்கிறது. இதைத் தடுத்தால் உங்கள் பக்கங்கள் Google Search-இலிருந்தும் அந்த AI பதில்களிலிருந்தும் நீக்கப்படும்.
இதை எப்படி அனுமதிப்பது
User-agent: Googlebot
Allow: / இதை எப்படித் தடுப்பது
User-agent: Googlebot
Disallow: / இது என்ன செய்கிறது
Google-இன் தேடல் index-களை உருவாக்கத் தகவல்களைக் கண்டறிய Googlebot பயன்படுகிறது. Googlebot டோக்கனுக்கு வழங்கப்படும் crawl விருப்பங்கள் Google Search-ஐயும் Google Images, Video, Google News, Discover போன்ற தயாரிப்புகளையும் பாதிக்கின்றன. இது ஸ்மார்ட்போன் கிராலராகவும் டெஸ்க்டாப் கிராலராகவும் இயங்குகிறது; இரண்டும் ஒரே Googlebot விதிகளுக்குக் கீழ்ப்படிகின்றன, தானியங்கியாக crawl செய்யும்போது தனது பொதுக் கிராலர்கள் எப்போதும் robots.txt-க்குக் கீழ்ப்படிகின்றன என்று Google சொல்கிறது.
AI அம்சங்கள் பற்றிய Google-இன் ஆவணங்கள், AI Overviews, AI Mode உட்பட Search-க்கான கட்டுப்பாடாக Googlebot விதிகளை விவரிக்கின்றன; காட்டப்படுவதைக் கட்டுப்படுத்த nosnippet, data-nosnippet, max-snippet, noindex ஆகியவற்றைச் சுட்டுகின்றன. Gemini பயிற்சிக்கான பயன்பாடு Google-Extended மூலம் தனியாகக் கட்டுப்படுத்தப்படுகிறது.
எங்கள் 2026-11 ஆய்வில், robots.txt உள்ள பிரபலத் தளங்களில் 2.7% இதைத் தடுத்தன. →
robots.txt டோக்கன்
Googlebot
User-agent சரம்
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36 உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது
User agent சரங்களைப் போலியாக உருவாக்க முடியும் என்று Google சொல்கிறது, இரண்டு படி DNS சரிபார்ப்பைப் பரிந்துரைக்கிறது. கோரிக்கை அனுப்பும் IP-இல் reverse DNS தேடலை இயக்குங்கள்: hostname googlebot.com, google.com அல்லது googleusercontent.com-இல் முடிய வேண்டும். பிறகு அந்த hostname-இல் forward DNS தேடலை இயக்கி, அது அதே IP-ஐத் தருகிறதா என்று உறுதிசெய்யுங்கள். Google தனது பொதுக் கிராலர்களின் IP வரம்புகளை JSON ஆகவும் வெளியிடுகிறது, எனவே முகவரிகளைத் தானியங்கியாகப் பொருத்தலாம்.