Google-CloudVertexBot
Google-CloudVertexBot thu thập các trang web theo yêu cầu của chủ sở hữu để xây dựng Vertex AI Agents trên Google Cloud. Google cho biết quy tắc robots.txt dành cho nó không ảnh hưởng đến Google Search hay các sản phẩm khác. Chặn nó chỉ có ý nghĩa nếu bạn hoặc một khách hàng Google Cloud dùng trang của bạn làm nguồn dữ liệu cho một agent.
Chức năng
Google cho biết các tùy chọn thu thập nhắm đến Google-CloudVertexBot ảnh hưởng đến những lượt thu thập do chủ sở hữu trang yêu cầu để xây dựng Vertex AI Agents. Nó không ảnh hưởng đến Google Search hay các sản phẩm khác của Google. User agent của nó chứa chuỗi con Google-CloudVertexBot.
Trong robots.txt, nó làm theo quy tắc của token Google-CloudVertexBot và, nếu không có, thì theo quy tắc của Googlebot. Google xếp nó vào nhóm trình thu thập thông dụng, vốn luôn tuân thủ robots.txt khi thu thập tự động.
Token robots.txt
Google-CloudVertexBot
Cách cho phép
User-agent: Google-CloudVertexBot
Allow: /Cách chặn
User-agent: Google-CloudVertexBot
Disallow: /Cách xác minh lượt truy cập thật
Google cho biết chuỗi user agent có thể bị giả mạo và khuyên kiểm tra DNS hai bước. Tra cứu DNS ngược trên IP gửi yêu cầu: tên máy chủ phải kết thúc bằng googlebot.com, google.com hoặc googleusercontent.com. Sau đó tra cứu xuôi tên máy chủ đó và xác nhận kết quả trả về cùng IP. Google cũng công bố dải IP của các trình thu thập thông dụng dưới dạng JSON, nên bạn có thể đối chiếu địa chỉ tự động.