ChatGPT có thấy website của tôi không? Cách kiểm tra

Đăng ngày 2026-11-12

Nhiều chủ website hỏi ChatGPT về sản phẩm của chính mình, thấy đối thủ được trích dẫn thay vì mình, rồi tự hỏi liệu ChatGPT có vào được website của mình hay không. Câu hỏi này có đáp án cụ thể và kiểm tra được. OpenAI công bố tên các trình thu thập dữ liệu của mình và vai trò của từng loại, nên bạn có thể kiểm tra từng mắt xích: quy tắc trong robots.txt, phản hồi mà máy chủ gửi đi, và nội dung trong phản hồi đó.

Những trình thu thập dữ liệu nào của OpenAI ảnh hưởng đến câu trả lời của ChatGPT?

OpenAI mô tả ba tác nhân mà chủ website thường gặp. Mỗi tác nhân có nhiệm vụ riêng, và chặn một tác nhân không đồng nghĩa với chặn các tác nhân còn lại. OpenAI cho biết mỗi thiết lập robots.txt là độc lập.

• OAI-SearchBot tìm và lập chỉ mục các trang cho tính năng tìm kiếm của ChatGPT. OpenAI cho biết các website đã từ chối bot này sẽ không xuất hiện trong câu trả lời tìm kiếm của ChatGPT. Đây là bot quyết định bạn có được trích dẫn hay không.
• GPTBot thu thập nội dung có thể được dùng để huấn luyện các mô hình nền tảng của OpenAI. Cấm bot này nghĩa là nội dung của bạn không nên được dùng để huấn luyện. Điều đó không loại bạn khỏi các câu trả lời tìm kiếm.
• ChatGPT-User truy cập một trang khi người dùng nhờ ChatGPT làm vậy, chẳng hạn dán một liên kết. OpenAI cho biết quy tắc robots.txt có thể không áp dụng cho các lượt truy cập do người dùng khởi tạo này, và tác nhân này không được dùng để quyết định nội dung có xuất hiện trong tìm kiếm hay không.

Tóm lại: OAI-SearchBot kiểm soát việc trích dẫn, GPTBot kiểm soát việc huấn luyện, còn ChatGPT-User xử lý các lượt truy cập trực tiếp theo yêu cầu của người dùng.

Làm sao kiểm tra robots.txt của tôi đối với ChatGPT?

Mở https://yourdomain.com/robots.txt trong trình duyệt. Tìm nhóm có nêu tên OAI-SearchBot. Nếu không có, trình thu thập dữ liệu sẽ theo nhóm User-agent: *. Một dòng Disallow: / trong nhóm áp dụng sẽ chặn toàn bộ website.

Hãy kiểm tra thêm là tệp này có phản hồi được hay không. Theo RFC 9309, nếu robots.txt trả về lỗi máy chủ (5xx) hoặc không truy cập được, trình thu thập dữ liệu phải coi như toàn bộ website bị cấm. Mã 404 thì không sao: nó có nghĩa là không có quy tắc nào. Một lỗi phổ biến là địa chỉ robots.txt trả về trang HTML với mã 200, vì khi đó trình thu thập dữ liệu không tìm thấy quy tắc hợp lệ nào trong đó.

Một thiết lập giữ lại tìm kiếm của ChatGPT và từ chối huấn luyện trông như sau:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: *
Allow: /

OpenAI cho biết các thay đổi liên quan đến tìm kiếm có thể mất khoảng 24 giờ để có hiệu lực sau khi bạn cập nhật robots.txt.

Tường lửa có thể chặn ChatGPT dù robots.txt cho phép không?

Có, và đó là nguyên nhân thường gặp. robots.txt là lời đề nghị gửi đến các trình thu thập dữ liệu biết tuân thủ, không phải cơ chế kiểm soát truy cập. Tường lửa, CDN hoặc lớp chống bot của bạn mới quyết định thực sự gửi lại cái gì. Nếu nó coi trình thu thập dữ liệu AI là bot không mong muốn, trình đó sẽ nhận mã 403, 429 hoặc một trang thử thách như màn hình “Just a moment...” của Cloudflare, trong khi người dùng trình duyệt vẫn thấy trang bình thường.

Nhìn từ bên ngoài, website có vẻ mở cho mọi người. Chỉ một yêu cầu tự nhận là trình thu thập dữ liệu mới lộ ra sự khác biệt. Khi đó robots.txt nói được, máy chủ nói không, và máy chủ thắng.

Làm sao kiểm tra OAI-SearchBot nhận được gì?

Gửi hai yêu cầu tới cùng một URL, một yêu cầu với user agent của trình duyệt và một với user agent của trình thu thập dữ liệu, rồi so sánh mã trạng thái và kích thước. OpenAI công bố user agent mẫu cho từng trình thu thập dữ liệu; số phiên bản trong đó có thể thay đổi.

# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
  https://example.com/page

# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
  https://example.com/page

Nếu trình duyệt nhận 200 với nội dung lớn còn trình thu thập dữ liệu nhận 403, 429, 503 hoặc nội dung nhỏ hơn nhiều, tường lửa của bạn đang đối xử với trình thu thập dữ liệu khác đi. Có một giới hạn: bài kiểm tra của bạn đến từ địa chỉ IP của chính bạn, không phải của OpenAI. Những tường lửa xác minh trình thu thập dữ liệu theo dải IP đã công bố (OpenAI liệt kê tại openai.com/searchbot.json) có thể cho bot thật đi qua nhưng vẫn chặn bài kiểm tra của bạn. Dù vậy, một lần bị chặn trong bài kiểm tra này vẫn cho thấy tường lửa đối xử với user agent đó ra sao, và điều đó đáng được sửa.

Nếu trang tải được nhưng ChatGPT vẫn không đưa ra câu trả lời hữu ích thì sao?

Quyền truy cập mới chỉ là bước đầu. Nếu HTML nhận được là một lớp vỏ trống mà JavaScript điền vào sau, trình thu thập dữ liệu có thể nhận được gần như không có văn bản. Hãy xem HTML thô bằng curl hoặc chức năng xem mã nguồn của trình duyệt: nếu nội dung chính không có ở đó, nhiều khả năng trình thu thập dữ liệu cũng không thấy.

Sau đó là các tín hiệu nội dung: một câu trả lời ngắn gọn rõ ràng gần đầu trang, các tiêu đề khớp với câu hỏi mọi người hay hỏi, nhà xuất bản và tác giả có tên, và ngày tháng hiển thị rõ. Những điều này không đảm bảo được trích dẫn, nhưng giúp trang dễ được trích đúng hơn.

AISeeWhy kiểm tra việc này như thế nào?

AISeeWhy tải trang của bạn với tư cách OAI-SearchBot, GPTBot, ChatGPT-User và 11 trình thu thập dữ liệu khác, đặt cạnh một trình duyệt thông thường, đọc robots.txt theo quy tắc RFC 9309 và nêu tên tường lửa khi có tường lửa trả lời bằng lệnh chặn hoặc trang thử thách. Mỗi phát hiện đều kèm cách sửa để dán vào, và bản kiểm tra miễn phí cho bạn xem điểm số cùng phát hiện đầu tiên.

Câu hỏi thường gặp

Chặn GPTBot có loại website của tôi khỏi tìm kiếm của ChatGPT không?

Không. OpenAI coi thiết lập của từng trình thu thập dữ liệu là độc lập. GPTBot liên quan đến huấn luyện, còn OAI-SearchBot quyết định các trang có được hiển thị trong câu trả lời tìm kiếm của ChatGPT hay không. Bạn có thể cấm bot này và cho phép bot kia.

ChatGPT-User có tuân theo robots.txt không?

OpenAI cho biết vì các lượt truy cập này do người dùng khởi tạo, quy tắc robots.txt có thể không áp dụng. Nếu bạn muốn ngăn các lượt truy cập đó, quy tắc robots.txt không phải cách kiểm soát đáng tin cậy.

Thay đổi robots.txt mất bao lâu để đến được ChatGPT?

OpenAI cho biết hệ thống của họ có thể mất khoảng 24 giờ kể từ khi robots.txt được cập nhật để điều chỉnh cho tìm kiếm.

Truy cập được có đủ để được trích dẫn không?

Không. Truy cập được chỉ làm cho việc trích dẫn có thể xảy ra, chứ không đảm bảo. Trang nói gì và nói rõ đến đâu vẫn quyết định nó có được dùng trong câu trả lời hay không.

Nguồn tham khảo

• OpenAI: Tổng quan về các trình thu thập dữ liệu của OpenAI
• RFC 9309: Robots Exclusion Protocol
• Cloudflare: Quản lý trình thu thập dữ liệu AI (AI Crawl Control)

Bài viết khác

• Các trình thu thập dữ liệu của OpenAI: GPTBot, OAI-SearchBot và ChatGPT-User
• Cloudflare có đang chặn trình thu thập dữ liệu AI không? Cách tìm ra và khắc phục
• robots.txt cho trình thu thập dữ liệu AI: nên cho phép gì, chặn gì