Google-CloudVertexBot
Google-CloudVertexBot เก็บข้อมูลเว็บไซต์ตามคำขอของเจ้าของเพื่อสร้าง Vertex AI Agents บน Google Cloud Google ระบุว่ากฎ robots.txt ของมันไม่มีผลต่อ Google Search หรือผลิตภัณฑ์อื่น การบล็อกมีความหมายเฉพาะเมื่อคุณหรือลูกค้า Google Cloud ใช้เว็บไซต์ของคุณเป็นแหล่งข้อมูลของเอเจนต์
ทำอะไร
Google ระบุว่าการตั้งค่าการเก็บข้อมูลที่ระบุถึง Google-CloudVertexBot มีผลต่อการเก็บข้อมูลที่เจ้าของเว็บไซต์ร้องขอเพื่อสร้าง Vertex AI Agents และไม่มีผลต่อ Google Search หรือผลิตภัณฑ์อื่นของ Google user agent ของมันมีสตริงย่อย Google-CloudVertexBot
ใน robots.txt มันปฏิบัติตามกฎของโทเค็น Google-CloudVertexBot และหากไม่มี จะปฏิบัติตามกฎของ Googlebot Google จัดมันไว้ใน crawler ทั่วไปของบริษัท ซึ่งปฏิบัติตาม robots.txt เสมอเมื่อเก็บข้อมูลอัตโนมัติ
โทเค็น robots.txt
Google-CloudVertexBot
วิธีอนุญาต
User-agent: Google-CloudVertexBot
Allow: /
วิธีบล็อก
User-agent: Google-CloudVertexBot
Disallow: /
วิธีตรวจสอบการเข้าชมจริง
Google ระบุว่าสตริง user agent ปลอมได้ และแนะนำให้ตรวจสอบ DNS สองขั้นตอน ทำ reverse DNS lookup กับ IP ที่ส่งคำขอ ชื่อโฮสต์ควรลงท้ายด้วย googlebot.com, google.com หรือ googleusercontent.com จากนั้นทำ forward lookup กับชื่อโฮสต์นั้นและยืนยันว่าได้ IP เดิม Google ยังเผยแพร่ช่วง IP ของ crawler ทั่วไปเป็น JSON คุณจึงเทียบที่อยู่โดยอัตโนมัติได้