Google-CloudVertexBot

Google · በተጠቃሚ ጥያቄ የሚደረግ ማምጣት

Google-CloudVertexBot በGoogle Cloud ላይ Vertex AI Agentsን ለመገንባት በባለቤቶቻቸው ጥያቄ ድረ-ገጾችን crawl ያደርጋል። Google የrobots.txt ደንቦቹ በGoogle Search ወይም በሌሎች ምርቶች ላይ ምንም ውጤት እንደሌላቸው ይናገራል። እሱን ማገድ አስፈላጊ የሚሆነው እርስዎ ወይም የGoogle Cloud ደንበኛ ድረ-ገጽዎን ለወኪል የውሂብ ምንጭ ከተጠቀማችሁ ብቻ ነው።

እንዴት እንደሚፈቀድ

User-agent: Google-CloudVertexBot
Allow: /

እንዴት እንደሚታገድ

User-agent: Google-CloudVertexBot
Disallow: /

ምን ያደርጋል

Google ለGoogle-CloudVertexBot የሚቀርቡ የcrawl ምርጫዎች Vertex AI Agentsን ለመገንባት በድረ-ገጽ ባለቤቶች የተጠየቁ crawls እንደሚነኩ ይናገራል። በGoogle Search ወይም በሌሎች የGoogle ምርቶች ላይ ምንም ውጤት የለውም። user agentው Google-CloudVertexBot የሚለውን ንዑስ string ይዟል።

በrobots.txt ውስጥ ለGoogle-CloudVertexBot token ያሉ ደንቦችን ይከተላል፣ እነሱ ከሌሉ ደግሞ ለGooglebot ያሉ ደንቦችን። Google በራስ-ሰር crawl ሲያደርጉ ሁልጊዜ robots.txtን ከሚያከብሩት የተለመዱ ክሮውለሮቹ መካከል ይዘረዝረዋል።

የrobots.txt token

Google-CloudVertexBot

እውነተኛ ጉብኝቶችን እንዴት ማረጋገጥ እንደሚቻል

Google የuser agent strings ሊጭበረበሩ እንደሚችሉ ይናገራል እና ባለሁለት እርምጃ የDNS ፍተሻን ይመክራል። በጠያቂው IP ላይ reverse DNS lookup ያካሂዱ፦ የhost ስሙ በgooglebot.com፣ google.com ወይም googleusercontent.com ማለቅ አለበት። ከዚያ በዚያ የhost ስም ላይ forward lookup ያካሂዱ እና ተመሳሳዩን IP እንደሚመልስ ያረጋግጡ። Google የተለመዱ ክሮውለሮቹን የIP ክልሎች እንደ JSON ያትማል፣ ስለዚህ አድራሻዎችን በራስ-ሰር ማዛመድ ይችላሉ።

ድረ-ገጽዎ እንደሚያስገባው ይፈትሹ →