Bốn trên mười website doanh nghiệp từ chối AI crawler

Đăng ngày

Trả lời ngắn

Trong các lần audit 165 website doanh nghiệp ở Mỹ, Anh và Pháp, 38% từ chối ít nhất một AI crawler ở phía máy chủ, hầu như luôn là bot huấn luyện hoặc scraper. Khoảng một site trên mười còn từ chối AI search crawler như PerplexityBot hoặc OAI-SearchBot, những crawler có thể dẫn đến một lượt trích dẫn. Hãy kiểm tra site của bạn bằng một yêu cầu cho mỗi crawler.

Bạn hỏi ChatGPT về chính sản phẩm của mình và nó nêu tên một đối thủ, một trang đánh giá và một chủ đề diễn đàn. Đôi khi đó là vấn đề nội dung. Thường thì đó là tường lửa đang trả lời AI crawler bằng một lời từ chối, mà không ai trong nhóm bạn từng thấy vì site vẫn chạy tốt trong trình duyệt.

Trong trang này
  1. Chúng tôi đã kiểm tra gì?
  2. Chúng tôi đã tìm thấy gì?
  3. Vì sao điều này xảy ra, và khi nào đó là một lựa chọn?
  4. Các site lớn nhất có làm tốt hơn không?
  5. Làm sao tự kiểm tra site của mình trong mười phút?
  6. Các con số này đáng tin đến đâu?

Chúng tôi đã kiểm tra gì?

Chúng tôi yêu cầu một trang nhiều lần từ cùng một địa chỉ: một lần như trình duyệt thông thường, và mỗi lần như một trong 14 AI và search crawler, gồm GPTBot, OAI-SearchBot và ChatGPT-User của OpenAI, ClaudeBot và Claude-SearchBot của Anthropic, và PerplexityBot của Perplexity. Nếu trình duyệt nhận được trang còn crawler nhận lỗi 401, 403, 406, 429, 451, 503 hoặc trang thử thách, thì site đang từ chối crawler đó.

Mẫu gồm 218 website doanh nghiệp ở Mỹ, Anh và Pháp, được audit từ 18 đến 21 tháng 11 năm 2026. Chúng tôi chạy được toàn bộ bài kiểm tra trên 165 site. 53 site còn lại từ chối cả yêu cầu trình duyệt thông thường hoặc không trả lời, nên chúng tôi loại ra thay vì đoán.

Chúng tôi đã tìm thấy gì?

Vì sao điều này xảy ra, và khi nào đó là một lựa chọn?

Phần lớn có lẽ là cố ý. Nhiều chủ site không muốn nội dung của mình được dùng để huấn luyện mô hình, và các thiết lập chống bot chặn scraper rất dễ bật. Đó là một lựa chọn hợp lý.

Vấn đề là các công ty AI chạy crawler riêng cho huấn luyện và cho tìm kiếm. Chặn crawler huấn luyện không đòi hỏi phải chặn crawler tìm kiếm, mà crawler tìm kiếm lại là thứ có thể dẫn đến việc trang của bạn được trích dẫn trong một câu trả lời.

Các site lớn nhất có làm tốt hơn không?

Không hẳn. Trong báo cáo robots.txt của chúng tôi về 1.000 tên miền phổ biến nhất, 29,9% các site có robots.txt chặn ít nhất một AI crawler huấn luyện, và 63,2% trong số đó còn chặn ít nhất một AI search hoặc user crawler. Chỉ 11,0% chặn huấn luyện mà vẫn cho phép mọi AI search crawler, đó là thiết lập mà hầu hết họ có lẽ đã muốn.

Làm sao tự kiểm tra site của mình trong mười phút?

  1. Mở yoursite.com/robots.txt. Với mỗi AI crawler bạn quan tâm, xem có nhóm nào nêu tên nó không và nhóm đó nói gì. Một nhóm nêu tên crawler sẽ thay thế hoàn toàn nhóm * chung.
  2. Hãy thử xem máy chủ làm gì, đừng chỉ đọc file nói gì. Yêu cầu trang quan trọng của bạn như một trình duyệt và như crawler. Lỗi 403, 429, một trang có tiêu đề Just a moment... hoặc phản hồi nhỏ hơn nhiều so với của trình duyệt là dấu hiệu của việc tường lửa chặn.
  3. Hỏi trợ lý. Khi bật tìm kiếm, hãy hỏi ChatGPT hoặc Perplexity những câu mà khách hàng của bạn hỏi và xem nó trích dẫn những site nào. Nếu quyền truy cập ổn mà bạn vẫn vắng mặt, vấn đề nằm ở nội dung, không phải truy cập.

Các con số này đáng tin đến đâu?

Hãy xem chúng là một xu hướng, không phải một cuộc điều tra toàn diện. Mẫu không ngẫu nhiên: đây là các công ty tìm thấy qua thư viện quảng cáo, trang việc làm và danh sách bản đồ. Chúng tôi kiểm tra theo user agent từ một địa chỉ, trong khi crawler thật đến từ các địa chỉ mà nhà cung cấp công bố, nên một số tường lửa sẽ đối xử với crawler thật khác đi. Và một lần chặn không phải lúc nào cũng là sai sót.

Công cụ miễn phí

Bước tiếp theo

Các trình thu thập trong bài này

Câu hỏi thường gặp

Bao nhiêu phần trăm website chặn AI crawler?

Trong audit 165 website doanh nghiệp kiểm tra được, 38% từ chối ít nhất một AI crawler ở phía máy chủ, chủ yếu là bot huấn luyện và scraper. Khoảng 10% còn từ chối một AI search crawler.

Chặn GPTBot có khiến site của tôi bị loại khỏi tìm kiếm của ChatGPT không?

Không. OpenAI cho biết mỗi thiết lập robots.txt cho các crawler của họ là độc lập: GPTBot liên quan đến huấn luyện, OAI-SearchBot liên quan đến tìm kiếm của ChatGPT. Chặn cái này không chặn cái kia.

Một site có thể chặn crawler mà không cần robots.txt bằng cách nào?

Một quy tắc tường lửa, CDN hoặc chống bot có thể trả lời crawler bằng lỗi 403, 429 hoặc trang thử thách. robots.txt không bao giờ hiển thị điều này, nên phải kiểm tra bằng cách yêu cầu trang như chính crawler.

Từ chối một crawler có phải lúc nào cũng là sai lầm không?

Không. Nhiều chủ site muốn ngăn crawler huấn luyện và scraper. Sai lầm là vô tình chặn các search crawler, vì chúng là những crawler có thể trích dẫn trang của bạn.

Nguồn tham khảo

Bài viết khác