Google-CloudVertexBot

Google · యూజర్ అభ్యర్థించిన ఫెచ్

Google Cloudలో Vertex AI Agentsను తయారు చేయడానికి సైట్ యజమానుల అభ్యర్థన మేరకు Google-CloudVertexBot సైట్‌లను క్రాల్ చేస్తుంది. దాని robots.txt నియమాలకు Google Search లేదా ఇతర ప్రోడక్ట్‌లపై ప్రభావం ఉండదని Google చెబుతుంది. మీరు లేదా Google Cloud కస్టమర్ మీ సైట్‌ను ఏజెంట్ డేటా సోర్స్‌గా ఉపయోగిస్తేనే దీన్ని బ్లాక్ చేయడం ముఖ్యం.

దీన్ని ఎలా అనుమతించాలి

User-agent: Google-CloudVertexBot
Allow: /

దీన్ని ఎలా బ్లాక్ చేయాలి

User-agent: Google-CloudVertexBot
Disallow: /

ఇది ఏమి చేస్తుంది

Google-CloudVertexBotకు ఉద్దేశించిన క్రాలింగ్ ప్రాధాన్యతలు Vertex AI Agentsను తయారు చేయడానికి సైట్ యజమానులు అభ్యర్థించిన క్రాల్‌లను ప్రభావితం చేస్తాయని Google చెబుతుంది. Google Search లేదా ఇతర Google ప్రోడక్ట్‌లపై దీని ప్రభావం ఉండదు. దీని యూజర్ ఏజెంట్‌లో Google-CloudVertexBot అనే substring ఉంటుంది.

robots.txtలో ఇది Google-CloudVertexBot టోకెన్ నియమాలను, అవి లేకపోతే Googlebot నియమాలను పాటిస్తుంది. Google దీన్ని తన సాధారణ క్రాలర్‌లలో చేర్చుతుంది, అవి ఆటోమేటిక్‌గా క్రాల్ చేసేటప్పుడు ఎల్లప్పుడూ robots.txtను పాటిస్తాయి.

robots.txt టోకెన్

Google-CloudVertexBot

నిజమైన సందర్శనలను ఎలా ధృవీకరించాలి

యూజర్ ఏజెంట్ స్ట్రింగ్‌లను నకిలీ చేయవచ్చని Google చెబుతుంది, రెండు దశల DNS తనిఖీని సిఫార్సు చేస్తుంది. అభ్యర్థించే IPపై reverse DNS lookup నడపండి: hostname googlebot.com, google.com లేదా googleusercontent.comతో ముగియాలి. తర్వాత ఆ hostnameపై forward lookup నడిపి అదే IP వస్తోందని నిర్ధారించుకోండి. Google తన సాధారణ క్రాలర్‌ల IP పరిధులను JSONగా కూడా ప్రచురిస్తుంది, కాబట్టి చిరునామాలను ఆటోమేటిక్‌గా సరిపోల్చవచ్చు.

మీ సైట్ దీన్ని అనుమతిస్తోందో తనిఖీ చేయండి →