Googlebot
Googlebot là trình thu thập chính của Google để xây dựng chỉ mục tìm kiếm. Google cho biết quy tắc robots.txt dành cho Googlebot là cách kiểm soát việc một trang được thu thập cho Tìm kiếm ra sao, kể cả các tính năng AI như AI Overviews và AI Mode. Chặn nó sẽ loại các trang của bạn khỏi Google Search và các câu trả lời AI đó.
Chức năng
Googlebot được dùng để tìm thông tin xây dựng chỉ mục tìm kiếm của Google. Các tùy chọn thu thập nhắm đến token Googlebot ảnh hưởng đến Google Search và các sản phẩm như Google Images, Video, Google News và Discover. Nó chạy dưới dạng trình thu thập điện thoại và máy tính; cả hai tuân theo cùng quy tắc Googlebot, và Google cho biết các trình thu thập thông dụng của hãng luôn tuân thủ robots.txt khi thu thập tự động.
Tài liệu của Google về các tính năng AI mô tả quy tắc Googlebot là cách kiểm soát cho Tìm kiếm, kể cả AI Overviews và AI Mode, và chỉ đến nosnippet, data-nosnippet, max-snippet và noindex để giới hạn nội dung được hiển thị. Việc dùng cho huấn luyện Gemini được kiểm soát riêng bằng Google-Extended.
Trong nghiên cứu 2026-11 của chúng tôi, 2.7% trang web phổ biến có robots.txt đã chặn bot này. →
Token robots.txt
Googlebot
Chuỗi user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36Cách cho phép
User-agent: Googlebot
Allow: /Cách chặn
User-agent: Googlebot
Disallow: /Cách xác minh lượt truy cập thật
Google cho biết chuỗi user agent có thể bị giả mạo và khuyên kiểm tra DNS hai bước. Tra cứu DNS ngược trên IP gửi yêu cầu: tên máy chủ phải kết thúc bằng googlebot.com, google.com hoặc googleusercontent.com. Sau đó tra cứu xuôi tên máy chủ đó và xác nhận kết quả trả về cùng IP. Google cũng công bố dải IP của các trình thu thập thông dụng dưới dạng JSON, nên bạn có thể đối chiếu địa chỉ tự động.
Kiểm tra xem trang của bạn có cho nó vào không →
AEO và SEO: điều gì giống nhau và điều gì thay đổi với câu trả lời của AI →