Gemini có thấy website của tôi không? Cách kiểm tra

Đăng ngày · Cập nhật

Trả lời ngắn

Gemini chỉ dùng được trang của bạn trong câu trả lời có grounding nếu trang đó nằm trong chỉ mục Google Search và robots.txt không cấm token Google-Extended. Google cho biết grounding trong ứng dụng Gemini cung cấp cho mô hình nội dung từ chỉ mục Google Search, và Google-Extended kiểm soát việc nội dung của bạn có được dùng cho mục đích đó hay không. Vì vậy hãy kiểm tra việc lập chỉ mục trong Search Console, kiểm tra robots.txt cho Googlebot và Google-Extended, rồi hỏi Gemini những câu khách hàng của bạn hay hỏi và mở các nguồn của nó.

Gemini không có trình thu thập dữ liệu riêng để bạn theo dõi trong nhật ký như với các trợ lý khác. Google thu thập dữ liệu bằng các trình thu thập hiện có, còn một token trong robots.txt quyết định Gemini được làm gì với nội dung đó. Vì thế cách kiểm tra cũng khác: phần lớn diễn ra trong Google Search Console và trong robots.txt, còn bước cuối diễn ra trong chính Gemini.

Trong trang này
  1. Kiểm tra trong 5 phút, từng bước một
  2. Gemini lấy thông tin từ website như thế nào?
  3. Làm sao kiểm tra Google đã lập chỉ mục trang của tôi chưa?
  4. Google-Extended có đang ngăn Gemini dùng website của tôi không?
  5. Tường lửa có thể chặn Google trong khi trình duyệt vẫn vào được không?
  6. Làm sao biết Gemini có dùng hoặc trích dẫn website của tôi không?
  7. AI Overviews, AI Mode và quy tắc đoạn trích có ảnh hưởng đến Gemini không?
  8. AISeeWhy kiểm tra việc này như thế nào?

Kiểm tra trong 5 phút, từng bước một

  1. Tìm trên Google site: kèm địa chỉ trang, hoặc dùng Kiểm tra URL trong Search Console, để xác nhận trang đã có trong chỉ mục của Google.
  2. Mở robots.txt và bảo đảm Googlebot được phép tải trang và Google-Extended không bị chặn, trừ khi bạn đã chọn từ chối.
  3. Chạy kiểm tra miễn phí cho trang trên AISeeWhy hoặc gửi một yêu cầu với user agent Googlebot: yêu cầu phải nhận mã trạng thái 200 và cùng văn bản như trình duyệt.
  4. Hỏi Gemini một câu mà trang của bạn trả lời và mở các nguồn hiển thị bên dưới câu trả lời.

Nếu trang chưa được lập chỉ mục, Gemini không thể dùng nó làm nguồn, vì vậy hãy bắt đầu với bước 1. Các phần bên dưới giải thích từng bước và cách xử lý khi không đạt.

Gemini lấy thông tin từ website như thế nào?

Trung tâm quyền riêng tư của ứng dụng Gemini (Gemini Apps Privacy Hub) cho biết một số câu trả lời của Gemini được grounding dựa trên kết quả Search. Tài liệu về trình thu thập dữ liệu của Google định nghĩa grounding là việc cung cấp nội dung từ chỉ mục Google Search cho mô hình tại thời điểm nhận câu lệnh, nhằm tăng tính chính xác và mức độ liên quan. Cùng trang đó nói Google-Extended kiểm soát việc nội dung Google thu thập có được dùng để huấn luyện các mô hình Gemini và cho grounding trong ứng dụng Gemini cũng như trong Grounding with Google Search trên Vertex AI hay không.

Google-Extended không có chuỗi user agent riêng. Google cho biết việc thu thập được thực hiện bằng các user agent hiện có, và token này chỉ có tác dụng như một quy tắc kiểm soát trong robots.txt. Trên thực tế, có hai điều kiện để Gemini dùng trang của bạn: Google phải có trang trong chỉ mục, và robots.txt không được cấm Google-Extended đối với trang đó.

Google không công bố cách Gemini chọn những trang đã lập chỉ mục nào để dùng hoặc trích dẫn. Đáp ứng cả hai điều kiện giúp trang của bạn sẵn sàng để được dùng, nhưng không đảm bảo Gemini sẽ chọn nó.

Làm sao kiểm tra Google đã lập chỉ mục trang của tôi chưa?

Dùng công cụ Kiểm tra URL (URL Inspection) trong Google Search Console. Với phiên bản đã lập chỉ mục, công cụ cho thấy:

Kiểm tra URL đang hoạt động (Test live URL) tải trang theo thời gian thực, còn Xem trang đã kiểm tra (View tested page) cho thấy ảnh chụp màn hình và HTML mà Google nhận được. Nếu ảnh chụp là một trang thử thách hoặc HTML thiếu văn bản chính, Google, và cùng với đó là Gemini, không thấy nội dung của bạn. Yêu cầu lập chỉ mục (Request indexing) đề nghị Google thu thập lại URL; Google cho biết việc này thường mất khoảng một ngày và không đảm bảo trang được lập chỉ mục.

Google-Extended có đang ngăn Gemini dùng website của tôi không?

Mở robots.txt và tìm nhóm có nêu tên Google-Extended. Một dòng Disallow: / ở đó yêu cầu Google không dùng các trang của bạn để huấn luyện Gemini hay cho grounding trong ứng dụng Gemini. Google cho biết token này không ảnh hưởng đến việc xuất hiện trong Google Search và không phải là tín hiệu xếp hạng, nên lệnh chặn này dễ bị bỏ sót: lưu lượng tìm kiếm của bạn trông vẫn bình thường trong khi Gemini không thể grounding câu trả lời dựa trên các trang của bạn. Bài viết riêng của chúng tôi về AI Overviews và Google-Extended giải thích token này kiểm soát gì và không kiểm soát gì trong Search.

Vì token này không bao giờ xuất hiện trong yêu cầu, bạn không thể thử nó bằng curl hay tìm thấy nó trong nhật ký. Đọc tệp là cách kiểm tra duy nhất:

# Show the Google-Extended and Googlebot groups with the lines after them
curl -s https://example.com/robots.txt | grep -n -i -A4 -E "^user-agent: *(google-extended|googlebot)"

# The * group applies to any token without its own group
curl -s https://example.com/robots.txt | grep -n -i -A4 "^user-agent: \*"

Việc so khớp không phân biệt chữ hoa chữ thường, và nếu không có nhóm nào nêu tên Google-Extended, nhóm * sẽ áp dụng cho nó. Nhiều website đã thêm lệnh chặn này khi việc huấn luyện AI mới bắt đầu được bàn tới. Trong nghiên cứu của chúng tôi về 1.000 tên miền phổ biến nhất, trong số 518 website có robots.txt, 114 website nêu tên Google-Extended và 94 website (18,1%) cấm trang chủ đối với nó. Hãy xem lựa chọn đó có còn đúng với mong muốn của bạn không, khi nó cũng bao gồm cả grounding.

Tường lửa có thể chặn Google trong khi trình duyệt vẫn vào được không?

Có. Nếu lớp chống bot hoặc giới hạn tốc độ trả lời các trình thu thập dữ liệu của Google bằng mã 403, 429 hoặc một trang thử thách, Google không thể thu thập trang, và theo thời gian trang có thể rơi khỏi Search, kéo theo cả grounding của Gemini. Kiểm tra URL là cách thử tốt nhất ở đây, vì Google tải trang từ chính địa chỉ của mình; một bài thử bằng curl từ máy tính của bạn chỉ cho thấy các quy tắc của bạn xử lý user agent ra sao.

Để cho phép Google một cách an toàn, hãy xác minh khách truy cập thay vì tin vào cái tên. Google hướng dẫn tra cứu DNS ngược rồi tra cứu xuôi, và công bố dải IP của các trình thu thập phổ biến trong common-crawlers.json:

# Reverse lookup: the name must end in googlebot.com, google.com or googleusercontent.com
host 66.249.66.1

# Forward lookup: must return the original address
host crawl-66-249-66-1.googlebot.com

Thay địa chỉ ví dụ bằng một địa chỉ trong nhật ký của bạn. Nếu hai lần tra cứu không khớp, yêu cầu đó chỉ tự xưng là Google.

Làm sao biết Gemini có dùng hoặc trích dẫn website của tôi không?

Hỏi Gemini những câu khách hàng của bạn hay hỏi, không nêu tên website của bạn, và mở các nguồn. Trung tâm trợ giúp của Google cho biết nút Nguồn (Sources) xuất hiện ở cuối câu trả lời hoặc ngay trong câu trả lời, và mở một bảng các liên kết liên quan, có thể bao gồm website công khai. Nếu không có nút Nguồn, Gemini không cung cấp liên kết cho câu trả lời đó, và Google lưu ý rằng không phải câu trả lời nào cũng có. Ghi lại những tên miền xuất hiện và lặp lại cùng câu hỏi trong vài tuần.

Nhà phát triển có thể chạy cùng bài kiểm tra này qua Gemini API với Grounding with Google Search. Google cho biết tính năng này kết nối mô hình với nội dung web theo thời gian thực, và câu trả lời có grounding kèm trích dẫn với URL và tiêu đề của từng nguồn, nên bạn có thể xem tên miền của mình có xuất hiện không. Câu trả lời qua API có thể khác với những gì ứng dụng Gemini hiển thị.

Một số lượt tải liên quan đến Gemini thực sự đến máy chủ của bạn. Google liệt kê các trình tải do người dùng kích hoạt như Google-GeminiNotebook, trình yêu cầu các URL mà người dùng thêm làm nguồn vào một dự án Gemini Notebook, và Google-Agent, được các tác tử chạy trên hạ tầng của Google dùng khi thực hiện yêu cầu của người dùng. Google cho biết các trình tải này nhìn chung bỏ qua robots.txt vì chính người dùng đã yêu cầu tải. Lượt truy cập của chúng cho thấy mọi người mở trang của bạn qua các sản phẩm đó; chúng không phải là con đường grounding đã mô tả ở trên.

AI Overviews, AI Mode và quy tắc đoạn trích có ảnh hưởng đến Gemini không?

AI Overviews và AI Mode là các tính năng của Google Search với cơ chế kiểm soát riêng. Google liệt kê nosnippet, data-nosnippet, max-snippet và noindex là những cách giới hạn nội dung được hiển thị từ trang của bạn. Tài liệu về thẻ meta robots nói nosnippet cũng ngăn nội dung được dùng làm đầu vào trực tiếp cho AI Overviews và AI Mode, và max-snippet giới hạn lượng nội dung có thể được dùng. Search Console cũng có một thiết lập AI tạo sinh trong Search cho toàn website, có thể loại website khỏi AI Overviews, AI Mode và các tính năng AI tạo sinh trong Discover.

Không trang nào trong số này nhắc đến ứng dụng Gemini. Đừng giả định rằng quy tắc đoạn trích hay thiết lập trong Search Console thay đổi grounding của Gemini, hoặc rằng Google-Extended thay đổi AI Overviews. noindex là ngoại lệ: theo định nghĩa grounding của Google, trang nằm ngoài chỉ mục Search không thể được dùng cho grounding. Để tìm những quy tắc đoạn trích có thể bạn đã quên, hãy kiểm tra HTML và các header:

# Robots meta tags and data-nosnippet attributes in the HTML
curl -s https://example.com/page | grep -i -o -E '<meta[^>]*name="(robots|googlebot)"[^>]*>|data-nosnippet'

# The same rules sent as an HTTP header
curl -s -I https://example.com/page | grep -i "^x-robots-tag"

AISeeWhy kiểm tra việc này như thế nào?

Bước kiểm tra miễn phí của AISeeWhy tải trang của bạn dưới danh nghĩa Googlebot cùng các trình thu thập dữ liệu AI và tìm kiếm khác, bên cạnh một trình duyệt thật, áp dụng robots.txt cho từng trình, bao gồm cả token Google-Extended, nhận diện trang thử thách và cho thấy bao nhiêu văn bản đến được khi không có JavaScript. Tính năng kiểm tra mức độ hiển thị trong AI, có trong các gói trả phí, đặt câu hỏi của bạn qua Gemini API với grounding bằng Google Search bằng khóa của chính bạn và cho thấy thương hiệu hoặc tên miền của bạn có được nhắc đến hay trích dẫn không. Công cụ không truy vấn AI Overviews hay AI Mode.

Công cụ miễn phí

Bước tiếp theo

Các trình thu thập trong bài này

Câu hỏi thường gặp

Tôi có thể kiểm tra miễn phí xem Gemini có thấy website của tôi không?

Có. Search Console, một lần tìm site:, robots.txt và một câu hỏi trong Gemini đều miễn phí. Bản kiểm tra miễn phí của AISeeWhy thử Googlebot, quy tắc Google-Extended và 14 trình thu thập dữ liệu khác cho một trang mỗi ngày.

Gemini có trình thu thập dữ liệu riêng không?

Không cho grounding. Google cho biết Google-Extended không có chuỗi user agent và việc thu thập được thực hiện bằng các trình thu thập hiện có. Các trình tải riêng do người dùng kích hoạt như Google-GeminiNotebook và Google-Agent truy cập trang khi người dùng yêu cầu, và Google cho biết chúng nhìn chung bỏ qua robots.txt.

Nếu tôi chặn Google-Extended, Gemini còn nhắc đến thương hiệu của tôi không?

Google cho biết sẽ không dùng nội dung của bạn cho grounding trong ứng dụng Gemini. Quy tắc đó áp dụng cho các trang của chính bạn. Google không nói gì về nội dung trên những website khác viết về bạn, nên Gemini vẫn có thể nêu tên thương hiệu của bạn từ các nguồn đó.

Thay đổi robots.txt mất bao lâu để đến được Gemini?

Google không đưa ra thời gian cho Gemini. Tài liệu robots.txt của Google cho biết Google thường lưu tệp trong bộ nhớ đệm tối đa 24 giờ, nên hãy chờ ít nhất một ngày trước khi kiểm tra lại, và lâu hơn với những trang Google hiếm khi thu thập lại.

AI Overviews và Gemini có dùng cùng nguồn không?

Google không công bố mối liên hệ giữa hai tính năng này. Cả hai đều dựa vào chỉ mục của Google nhưng có cơ chế kiểm soát khác nhau: quy tắc đoạn trích và thiết lập trong Search Console cho AI Overviews và AI Mode, còn Google-Extended cho grounding của Gemini. Hãy kiểm tra riêng từng thứ.

Làm sao theo dõi câu trả lời của Gemini theo thời gian?

Giữ một danh sách cố định các câu hỏi của khách hàng, hỏi Gemini theo lịch và ghi lại những tên miền xuất hiện trong phần nguồn. Tính năng kiểm tra mức độ hiển thị trong AI của AISeeWhy chạy câu hỏi của bạn mỗi tuần qua Gemini API với grounding bằng Google Search và cho thấy lượt nhắc đến bên cạnh tối đa bốn đối thủ. Kết quả từ API có thể khác với ứng dụng Gemini.

Nguồn tham khảo

Bài viết khác