Cách đọc báo cáo AI Crawl Control của Cloudflare và xem trình thu thập dữ liệu AI nào vào được

Đăng ngày

Trả lời ngắn

Mở AI Crawl Control trong bảng điều khiển Cloudflare: danh sách trình thu thập hiển thị mọi trình thu thập dữ liệu AI mà Cloudflare đã thấy trên tên miền của bạn, số yêu cầu, số lần vi phạm robots.txt và hành động đang là Allow hay Block. Để giữ tìm kiếm AI mà từ chối huấn luyện, hãy cho phép các trình thu thập tìm kiếm và tác tử, và chặn hoặc cấm (disallow) các trình thu thập huấn luyện ngay tại đó hoặc trong AI Crawler and Agent access policies. Sau đó xác nhận từ bên ngoài bằng curl, vì các tính năng khác của Cloudflare vẫn có thể chặn một trình thu thập mà bạn đã cho phép.

Cloudflare hiện có hai nơi quyết định trình thu thập dữ liệu AI nhận được gì: AI Crawl Control, báo cáo và bảng điều khiển theo từng trình thu thập trước đây gọi là AI Audit, và AI Crawler and Agent access policies áp dụng cho cả zone trong phần cài đặt Security. Cả hai đều có trong gói Free, cả hai đều thay đổi trong năm 2026, và không cái nào cho bạn biết về mọi tính năng khác vẫn có thể trả về 403 cho trình thu thập. Hướng dẫn này đi qua báo cáo từng cột một, chỉ nơi đặt cho phép và chặn, và kết thúc bằng một phép thử bạn có thể chạy từ máy của mình.

Trong trang này
  1. Báo cáo trình thu thập dữ liệu AI nằm ở đâu trong Cloudflare?
  2. Từng cột và chỉ số trong báo cáo AI Crawl Control nghĩa là gì?
  3. Làm sao cho phép trình thu thập tìm kiếm AI và chặn trình thu thập huấn luyện trong Cloudflare?
  4. Mặc định của Cloudflare với trình thu thập dữ liệu AI đã thay đổi thế nào?
  5. Vì sao Cloudflare vẫn chặn trình thu thập dữ liệu AI sau khi tôi đã cho phép?
  6. Làm sao xác nhận từ bên ngoài những trình thu thập dữ liệu AI nào được Cloudflare cho vào?
  7. AISeeWhy kiểm tra những gì Cloudflare gửi cho trình thu thập dữ liệu AI như thế nào?

Báo cáo trình thu thập dữ liệu AI nằm ở đâu trong Cloudflare?

Trong bảng điều khiển, chọn tài khoản và tên miền, rồi mở AI Crawl Control. Cloudflare cho biết tính năng này hoạt động không cần cấu hình và có trong mọi gói, miễn là lưu lượng của tên miền được proxy qua Cloudflare. Tính năng có bốn khu vực:

Có hai giới hạn theo gói cần lưu ý khi đọc số liệu. Ở gói Free, AI Crawl Control chỉ nhận diện trình thu thập qua chuỗi user agent, nên nó chỉ thấy những trình thu thập tự khai danh tính, và thẻ Metrics chỉ bao gồm 24 giờ qua. Gói trả phí bổ sung phát hiện qua detection ID của Bot Management, và Enterprise có Bot Management được chọn khung thời gian tùy ý.

Từng cột và chỉ số trong báo cáo AI Crawl Control nghĩa là gì?

Cloudflare mô tả các trường như sau. Định nghĩa quan trọng, vì một số con số đếm nhiều hơn bạn nghĩ.

Hãy đọc báo cáo bắt đầu từ hành động bạn đã chọn. Trình thu thập đặt Allow nên chủ yếu có yêu cầu được phép và mã 2xx. Nếu có nhiều yêu cầu không thành công, hãy mở phân bố mã trạng thái lọc theo trình thu thập đó, và xem Security Analytics để tìm quy tắc đã phản hồi.

Làm sao cho phép trình thu thập tìm kiếm AI và chặn trình thu thập huấn luyện trong Cloudflare?

Bạn có thể làm theo từng trình thu thập hoặc theo hành vi. Theo từng trình thu thập, mở AI Crawl Control và đặt Action cho từng dòng. Cloudflare cho biết việc chặn ở đó tạo hoặc cập nhật một WAF custom rule trên zone của bạn, mà bạn có thể mở rộng trong WAF để thêm ngoại lệ theo đường dẫn. Với gói trả phí, bạn có thể chọn trình thu thập bị chặn nhận 403 hay 402 và đặt nội dung phản hồi dạng văn bản thuần.

Theo hành vi, vào Security, rồi Settings, lọc theo Bot traffic và mở AI Crawler and Agent access policies. Cloudflare chia lưu lượng AI thành ba hành vi, và mỗi chính sách áp dụng cho bot đã xác minh có hành vi đó và cho bot chưa xác minh tương ứng:

Mỗi hành vi có thể đặt là Block, Block on pages with ads hoặc Allow (do not block). Training còn có Disallow, chỉ yêu cầu trình thu thập qua robots.txt. Khi bật Bot Preference Sync, Cloudflare thêm vào đầu robots.txt của bạn các quy tắc được quản lý để cấm Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot và meta-externalagent, thêm một dòng Content Signals, và chặn cả trình thu thập huấn luyện AI ở biên mạng, trừ các trình thu thập dùng cho cả tìm kiếm và huấn luyện.

Với hầu hết website muốn được AI trích dẫn, tổ hợp an toàn là Search và Agent đặt Allow, Training đặt Disallow, rồi dùng hành động Block riêng trong AI Crawl Control cho những trình thu thập chỉ dùng để huấn luyện mà bạn muốn chặn ở biên mạng.

Mặc định của Cloudflare với trình thu thập dữ liệu AI đã thay đổi thế nào?

Ngày 1 tháng 7 năm 2025, Cloudflare thông báo đổi mặc định sang chặn trình thu thập dữ liệu AI trừ khi chúng trả tiền cho người sáng tạo. Ngày 1 tháng 7 năm 2026, Cloudflare thay công tắc Block AI bots duy nhất bằng các chính sách Search, Agent và Training riêng biệt nêu trên, cho mọi gói kể cả Free. Cũng thông báo đó cho biết các tên miền mới đăng ký từ ngày 15 tháng 9 năm 2026 sẽ bị chặn Training và Agent trên các trang có quảng cáo, còn Search được phép.

Tài liệu chính sách hiện hành của Cloudflare, cập nhật lần cuối ngày 2 tháng 11 năm 2026, cho biết tên miền mới mặc định là Allow (do not block) cho cả ba hành vi. Vì chính các trang của Cloudflare đã mô tả những mặc định khác nhau vào những thời điểm khác nhau, đừng dựa vào trang nào cho zone của bạn: hãy mở trang chính sách và xem thiết lập thực tế.

Vì sao Cloudflare vẫn chặn trình thu thập dữ liệu AI sau khi tôi đã cho phép?

Hành động Allow trong AI Crawl Control chỉ ngăn AI Crawl Control chặn. Các tính năng khác vẫn xử lý yêu cầu. Nguyên nhân thường gặp:

Làm sao xác nhận từ bên ngoài những trình thu thập dữ liệu AI nào được Cloudflare cho vào?

Yêu cầu cùng một trang với user agent của trình duyệt và với user agent của từng trình thu thập, rồi so sánh trạng thái và kích thước. Các chuỗi của OpenAI, Perplexity và Google bên dưới là chuỗi do các công ty đó công bố.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Dòng của một trình thu thập có 403, 429 hoặc 503, hoặc kích thước nhỏ hơn nhiều so với dòng trình duyệt, nghĩa là có gì đó đứng trước máy chủ gốc đã phản hồi khác đi. Ở gói Free, AI Crawl Control phát hiện trình thu thập qua user agent, nên phép thử này kiểm tra khá sát các lệnh chặn của nó. Các quy tắc dựa trên trạng thái bot đã xác minh hoặc điểm bot có thể xử lý yêu cầu của bạn khác với trình thu thập thật, vì yêu cầu đến từ địa chỉ IP của bạn chứ không phải từ dải IP mà đơn vị vận hành công bố. Sau khi thử, hãy tìm các yêu cầu của chính bạn trong Security Analytics để xem quy tắc nào đã khớp.

AISeeWhy kiểm tra những gì Cloudflare gửi cho trình thu thập dữ liệu AI như thế nào?

Bước kiểm tra miễn phí của AISeeWhy yêu cầu trang của bạn dưới danh nghĩa 16 trình thu thập dữ liệu AI và tìm kiếm bên cạnh một trình duyệt thật, áp dụng robots.txt cho từng trình thu thập và nhận diện trang thử thách của tường lửa, để bạn thấy kết quả trong bảng điều khiển Cloudflare có khớp với những gì trình thu thập thực sự nhận được không.

Cách khắc phục vấn đề này

Công cụ miễn phí

Bước tiếp theo

Các trình thu thập trong bài này

Câu hỏi thường gặp

Cloudflare AI Crawl Control có miễn phí không?

Có. Cloudflare liệt kê AI Crawl Control là có trong mọi gói. Gói Free chỉ phát hiện trình thu thập qua user agent và hiển thị 24 giờ qua trong Metrics; dữ liệu lượt giới thiệu và phản hồi chặn tùy chỉnh cần gói trả phí.

Cloudflare AI Audit đã đi đâu?

Nó được đổi tên. Tài liệu của Cloudflare mô tả AI Crawl Control là tên mới của AI Audit, với cùng mục đích: xem trình thu thập dữ liệu AI nào ghé thăm và đặt hành động cho từng cái.

Chặn một trình thu thập trong AI Crawl Control có làm thay đổi robots.txt của tôi không?

Không. Hành động Block tạo hoặc cập nhật một WAF custom rule. robots.txt chỉ thay đổi nếu bạn dùng tùy chọn Disallow cho Training với Bot Preference Sync, vốn thêm các quy tắc được quản lý của Cloudflare vào đầu tệp.

Thế nào là vi phạm robots.txt trong Cloudflare?

Là một yêu cầu từ trình thu thập dữ liệu AI tới một đường dẫn mà robots.txt của bạn cấm. Cloudflare so các yêu cầu trước đây với quy tắc hiện tại, nên một quy tắc mới có thể đánh dấu những yêu cầu cũ vốn được phép vào lúc đó.

Pay per crawl là gì?

Là hành động Charge yêu cầu trình thu thập dữ liệu AI trả tiền cho mỗi yêu cầu, nếu không thì phản hồi bằng HTTP 402 kèm giá. Cloudflare mô tả đây là bản beta kín, và các lệnh chặn của WAF hay Bot Management được ưu tiên hơn nó.

Nguồn tham khảo

Bài viết khác