Vì sao website của tôi đột nhiên chặn trình thu thập dữ liệu AI?

Đăng ngày

Trả lời ngắn

Một website bắt đầu chặn trình thu thập dữ liệu AI hầu như luôn đã thay đổi ở một trong năm chỗ: robots.txt thực sự được phục vụ, một thiết lập CDN như chính sách trình thu thập AI của Cloudflare, lớp chống bot hoặc giới hạn tốc độ, một mặc định của nhà cung cấp hosting, hoặc robots.txt giờ trả về lỗi. Hãy tải robots.txt hiện tại và một trang dưới danh nghĩa từng trình thu thập, so sánh với trình duyệt và với những gì bạn có trước đây, rồi kiểm tra các lớp đó theo thứ tự này.

Không ai chủ động quyết định biến mất khỏi câu trả lời AI. Việc đó xảy ra như tác dụng phụ của một bản cập nhật giao diện, một thiết lập bảo mật, một lần chuyển đổi hệ thống hoặc một mặc định bị nhà cung cấp thay đổi. Trình duyệt vẫn thấy website bình thường, nên thay đổi có thể không ai để ý cho đến khi có người hỏi ChatGPT hoặc Perplexity về sản phẩm và nhận được tên đối thủ. Mỗi lớp đều để lại dấu vết mà bạn có thể kiểm tra từ bên ngoài hoặc trong nhật ký.

Trong trang này
  1. robots.txt mà trình thu thập nhận được có thay đổi không?
  2. Chính sách trình thu thập AI năm 2026 của Cloudflare có thay đổi những gì website cho phép không?
  3. Lớp chống bot hoặc giới hạn tốc độ có đang chặn trình thu thập không?
  4. Nhà cung cấp hosting có thay đổi mặc định không?
  5. robots.txt có đang trả về lỗi không?
  6. Làm sao biết chuyện bắt đầu từ khi nào?
  7. Làm sao phát hiện sớm hơn vào lần sau?

robots.txt mà trình thu thập nhận được có thay đổi không?

Tải https://yourdomain.com/robots.txt và so sánh với tệp trong kho mã hoặc bản sao lưu. Hãy xem tệp được phục vụ, không phải tệp trên ổ đĩa, vì nhiều lớp có thể thay đổi nó trên đường đi:

Báo cáo robots.txt của Google Search Console cho thấy các phiên bản Google đã tải trong 30 ngày qua, với một mục mới mỗi khi tệp hoặc kết quả tải thay đổi. Báo cáo chỉ bao gồm những gì Google thấy, nhưng trừ khi máy chủ của bạn trả robots.txt khác nhau theo user agent, trình thu thập AI cũng nhận cùng tệp đó.

Chính sách trình thu thập AI năm 2026 của Cloudflare có thay đổi những gì website cho phép không?

Cloudflare đã thay đổi cơ chế kiểm soát trình thu thập AI nhiều lần, và một số thay đổi làm khác hành vi của một zone mà không ai chỉnh sửa gì. Từ ngày 1 tháng 7 năm 2025, Cloudflare bắt đầu hỏi các tên miền mới khi đăng ký có cho phép trình thu thập AI hay không, với trạng thái ban đầu là chặn. Ngày 1 tháng 7 năm 2026, Cloudflare thay công tắc Block AI bots duy nhất bằng các chính sách Search, Agent và Training riêng biệt, cho mọi gói kể cả Free.

Chi tiết khiến nhiều website mắc bẫy nhất là các trình thu thập đa mục đích. Tài liệu của Cloudflare cho biết các hành động Training cũng áp dụng cho trình thu thập dùng cho cả tìm kiếm lẫn huấn luyện. Thông báo tháng 7 năm 2026 của Cloudflare nói rằng từ ngày 15 tháng 9 năm 2026, các trình thu thập đa mục đích như Googlebot, Applebot và BingBot sẽ bị chặn với những khách hàng đã chọn chặn Training, dù qua các tùy chọn mới hay qua thiết lập cũ Block AI bots. Vì vậy, một lựa chọn từ chối huấn luyện đặt từ một năm trước giờ có thể ảnh hưởng tới cả trình thu thập tìm kiếm.

Mặc định cho tên miền mới đã được mô tả khác nhau theo thời gian. Cùng thông báo đó nói tên miền mới sẽ bị chặn Training và Agent trên các trang hiển thị quảng cáo từ ngày 15 tháng 9 năm 2026, trong khi tài liệu chính sách cập nhật ngày 2 tháng 11 năm 2026 nói tên miền mới bắt đầu với cả ba ở trạng thái Allow. Hãy mở Security, rồi Settings, lọc theo Bot traffic và đọc AI Crawler and Agent access policies cho zone của chính bạn. Hướng dẫn của chúng tôi về Cloudflare AI Crawl Control giải thích từng thiết lập.

Lớp chống bot hoặc giới hạn tốc độ có đang chặn trình thu thập không?

Lớp chống bot đánh giá từng yêu cầu, còn trình thu thập tải nhiều trang thật nhanh từ trung tâm dữ liệu, đúng như cách bot hoạt động. Một trình thu thập tháng trước còn đi qua được có thể bắt đầu nhận trang thử thách sau khi đơn vị vận hành đổi dải IP hoặc tốc độ thu thập, hoặc sau khi quy tắc chống bot được cập nhật. Bot Fight Mode của Cloudflare là nguyên nhân phổ biến, và Cloudflare cho biết chế độ này không thể bị vượt qua hay bỏ qua bằng quy tắc tùy chỉnh WAF hoặc Page Rules, nên một quy tắc cho phép thêm vào sau sẽ không giúp được gì khi chế độ này đang bật. Một giới hạn tốc độ mới trả lời các đợt yêu cầu dồn dập bằng 429 cũng có tác dụng tương tự với một trình thu thập đang hoạt động nhiều.

Hãy thử từ bên ngoài: yêu cầu một trang với tư cách trình duyệt và hai trình thu thập tìm kiếm AI, rồi yêu cầu robots.txt với tư cách trình thu thập.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

Mã 403, 429 hoặc 503 chỉ với trình thu thập, một trang có tiêu đề Just a moment..., hoặc nội dung nhỏ hơn nhiều so với của trình duyệt nghĩa là trình thu thập đang bị đối xử khác. Bài thử đến từ IP của bạn, không phải của nhà cung cấp, nên các quy tắc dựa trên trạng thái bot đã xác minh vẫn có thể đối xử khác với trình thu thập thật. Nhật ký sự kiện của tường lửa cho thấy quy tắc nào đã trả lời.

Nhà cung cấp hosting có thay đổi mặc định không?

Một số nhà cung cấp hosting lọc lưu lượng AI ngay tại máy chủ, trước khi các quy tắc của bạn chạy. Ví dụ, SiteGround viết vào tháng 8 năm 2025 rằng họ chặn theo mặc định các trình thu thập AI được thiết kế để thu thập dữ liệu huấn luyện, và cho phép các trình thu thập truy cập khi một người hỏi trợ lý AI về một trang. Những quy tắc như vậy không hiện trong robots.txt của bạn, và có thể thay đổi khi nhà cung cấp cập nhật danh sách bot.

Nếu lệnh chặn xuất hiện cùng lúc trên nhiều website dùng cùng nhà cung cấp, hoặc trong những phản hồi không bao giờ đến nhật ký ứng dụng của bạn, hãy hỏi nhà cung cấp những quy tắc bot nào áp dụng cho tài khoản của bạn và liệu bạn có thể miễn trừ các trình thu thập muốn giữ lại không.

robots.txt có đang trả về lỗi không?

Một robots.txt bị lỗi có thể chặn nhiều hơn bất kỳ dòng Disallow nào. Theo RFC 9309, phản hồi 4xx nghĩa là trình thu thập có thể tải mọi thứ, nhưng lỗi máy chủ (5xx) hoặc không có phản hồi nào nghĩa là nó phải coi toàn bộ website bị cấm. Google ngừng thu thập trong 12 giờ đầu gặp lỗi như vậy và sau đó dùng bản sao tốt gần nhất trong tối đa 30 ngày.

Đó là cách một đợt tải tăng vọt, một quy tắc tường lửa thử thách /robots.txt, hoặc một giới hạn tốc độ bao gồm cả tệp này có thể đẩy các trình thu thập tuân thủ ra ngoài mà không cần thay đổi một quy tắc nào. Lệnh cuối cùng trong bài thử ở trên nên trả về 200 và text/plain. Một mã 5xx, hết thời gian chờ hoặc trang thử thách ở đó là điều đầu tiên cần sửa.

Làm sao biết chuyện bắt đầu từ khi nào?

Có ngày cụ thể, một bí ẩn sẽ trở thành một phép so sánh. Trong nhật ký truy cập, lọc các yêu cầu từ user agent của trình thu thập AI và tìm ngày mã trạng thái chuyển từ 200 sang 403, 429 hoặc 503, hoặc ngày chúng ngừng yêu cầu trang sau khi đọc robots.txt; hướng dẫn của chúng tôi về kiểm tra nhật ký máy chủ để tìm trình thu thập dữ liệu AI có sẵn các lệnh. Những yêu cầu bị CDN chặn không bao giờ đến máy chủ gốc, nên hãy kiểm tra cả CDN. Trên Cloudflare, AI Crawl Control hiển thị phân bố mã trạng thái theo thời gian mà bạn có thể lọc theo trình thu thập.

Sau đó đối chiếu ngày đó với các lần triển khai, cập nhật plugin và giao diện, thay đổi thiết lập CDN và thông báo của nhà cung cấp. Trước khi hành động, hãy xác nhận IP nguồn thuộc về nhà cung cấp, để chắc rằng bạn đang xem trình thu thập thật chứ không phải kẻ mạo danh dùng tên của nó.

Làm sao phát hiện sớm hơn vào lần sau?

Hãy kiểm tra quyền truy cập sau mỗi lần triển khai, thay đổi CDN và cập nhật plugin, không chỉ khi lưu lượng giảm. Bước kiểm tra miễn phí của AISeeWhy tải một trang dưới danh nghĩa 16 trình thu thập dữ liệu AI và tìm kiếm bên cạnh một trình duyệt thật, áp dụng robots.txt cho từng trình thu thập và nhận diện trang thử thách của tường lửa. Trình kiểm tra robots.txt miễn phí cho thấy, với từng trình thu thập, một trang có được phép tải theo tệp đang hoạt động hôm nay hay không.

Công cụ miễn phí

Bước tiếp theo

Các trình thu thập trong bài này

Câu hỏi thường gặp

Vì sao ChatGPT không còn hiển thị website của tôi?

Thường là vì OAI-SearchBot, trình thu thập đứng sau tìm kiếm của ChatGPT, đã bị chặn bởi một thay đổi trong robots.txt, một chính sách CDN hoặc lớp chống bot. OpenAI cho biết các website chặn nó sẽ không xuất hiện trong câu trả lời tìm kiếm của ChatGPT. Hãy kiểm tra từng lớp đối với trình thu thập này, và chờ khoảng 24 giờ sau khi sửa robots.txt, đó là thời gian OpenAI cho biết hệ thống của họ cần để điều chỉnh.

Cloudflare có bắt đầu chặn Googlebot trên website của tôi không?

Có thể. Cloudflare cho biết từ ngày 15 tháng 9 năm 2026, khách hàng chặn Training cũng chặn các trình thu thập đa mục đích như Googlebot, Applebot và BingBot. Tài liệu của Cloudflare nói tùy chọn Training Disallow chặn trình thu thập huấn luyện ở biên mạng nhưng bỏ qua các trình thu thập dùng cho nhiều mục đích, nên hãy kiểm tra zone của bạn đang dùng tùy chọn nào.

Trình tạo website hoặc plugin có thể tự thay đổi robots.txt không?

Có. Trình tạo website và plugin SEO hoặc bảo mật có thể ghi quy tắc cho trình thu thập AI vào robots.txt, và một số mở rộng danh sách bot theo thời gian. Sau mỗi lần cập nhật, hãy tải tệp đang hoạt động và đọc các nhóm áp dụng cho những trình thu thập tìm kiếm bạn quan tâm.

Vì sao robots.txt đang hoạt động khác với tệp trên máy chủ của tôi?

Có thứ gì đó đứng trước máy chủ của bạn đang thay đổi nó. Ví dụ, robots.txt được quản lý của Cloudflare chèn quy tắc và tín hiệu nội dung của riêng nó vào đầu tệp của bạn trong cùng một phản hồi. Một CMS tạo robots.txt theo yêu cầu, hoặc một thiết lập ở cấp hosting, cũng có thể thay thế hoặc mở rộng tệp.

Sau khi sửa, bao lâu trình thu thập AI sẽ quay lại?

RFC 9309 nói trình thu thập không nên dùng bản robots.txt lưu trong bộ nhớ đệm quá 24 giờ, OpenAI nói khoảng 24 giờ và Perplexity nói tối đa 24 giờ. Thay đổi tường lửa có hiệu lực ngay khi nhà cung cấp triển khai, nhưng trình thu thập quay lại theo lịch riêng của chúng.

Nguồn tham khảo

Bài viết khác