Google-CloudVertexBot
Google Cloud-இல் Vertex AI Agents-ஐ உருவாக்க, தள உரிமையாளர்களின் கோரிக்கையின்பேரில் Google-CloudVertexBot தளங்களை crawl செய்கிறது. இதன் robots.txt விதிகள் Google Search-இலோ பிற தயாரிப்புகளிலோ எந்த விளைவையும் ஏற்படுத்தாது என்று Google சொல்கிறது. நீங்களோ ஒரு Google Cloud வாடிக்கையாளரோ உங்கள் தளத்தை ஒரு ஏஜென்ட்டின் தரவு மூலமாகப் பயன்படுத்தினால் மட்டுமே இதைத் தடுப்பது முக்கியம்.
இதை எப்படி அனுமதிப்பது
User-agent: Google-CloudVertexBot
Allow: / இதை எப்படித் தடுப்பது
User-agent: Google-CloudVertexBot
Disallow: / இது என்ன செய்கிறது
Google-CloudVertexBot-க்கு வழங்கப்படும் crawl விருப்பங்கள், Vertex AI Agents-ஐ உருவாக்கத் தள உரிமையாளர்கள் கோரும் crawl-களைப் பாதிக்கின்றன என்று Google சொல்கிறது. Google Search-இலோ பிற Google தயாரிப்புகளிலோ இதற்கு எந்த விளைவும் இல்லை. இதன் user agent-இல் Google-CloudVertexBot என்ற துணைச்சரம் உள்ளது.
robots.txt-இல் இது Google-CloudVertexBot டோக்கனுக்கான விதிகளைப் பின்பற்றுகிறது; அவை இல்லையெனில் Googlebot-க்கான விதிகளைப் பின்பற்றுகிறது. Google இதைத் தனது பொதுக் கிராலர்களில் ஒன்றாகப் பட்டியலிடுகிறது; அவை தானியங்கியாக crawl செய்யும்போது எப்போதும் robots.txt-க்குக் கீழ்ப்படிகின்றன.
robots.txt டோக்கன்
Google-CloudVertexBot
உண்மையான வருகைகளை எப்படிச் சரிபார்ப்பது
User agent சரங்களைப் போலியாக உருவாக்க முடியும் என்று Google சொல்கிறது, இரண்டு படி DNS சரிபார்ப்பைப் பரிந்துரைக்கிறது. கோரிக்கை அனுப்பும் IP-இல் reverse DNS தேடலை இயக்குங்கள்: hostname googlebot.com, google.com அல்லது googleusercontent.com-இல் முடிய வேண்டும். பிறகு அந்த hostname-இல் forward DNS தேடலை இயக்கி, அது அதே IP-ஐத் தருகிறதா என்று உறுதிசெய்யுங்கள். Google தனது பொதுக் கிராலர்களின் IP வரம்புகளை JSON ஆகவும் வெளியிடுகிறது, எனவே முகவரிகளைத் தானியங்கியாகப் பொருத்தலாம்.