Cách làm chậm trình thu thập dữ liệu AI mà không chặn chúng

Đăng ngày

Trả lời ngắn

Hãy giới hạn tốc độ thay vì chặn. Trả lời các yêu cầu vượt mức của trình thu thập bằng 429 hoặc 503 kèm header Retry-After, cho mỗi trình thu thập một hạn mức riêng, giữ /robots.txt ngoài mọi giới hạn, và phục vụ trình thu thập từ bộ nhớ đệm. Crawl-delay trong robots.txt chỉ có tác dụng khi đơn vị vận hành công bố hỗ trợ: Anthropic và Bing có, Google nói không hỗ trợ, còn OpenAI và Perplexity không nhắc đến. Hãy tiếp tục cho phép các trình thu thập tìm kiếm AI, nếu không bạn cũng rời khỏi những câu trả lời mà chúng cung cấp dữ liệu.

Khi một trình thu thập dữ liệu gửi hàng nghìn yêu cầu mỗi giờ, cách sửa nhanh là Disallow: / hoặc chặn bằng tường lửa. Với trình thu thập huấn luyện, đó có thể là lựa chọn hợp lý. Với OAI-SearchBot, Claude-SearchBot hoặc PerplexityBot, điều đó loại trang của bạn khỏi chính những câu trả lời AI mà bạn muốn xuất hiện. Phần lớn thời gian, bạn có thể giảm tải mà không phải đánh đổi điều đó, bằng những tín hiệu mà trình thu thập vốn đã hiểu: mã trạng thái, bộ nhớ đệm và, với một số đơn vị vận hành, Crawl-delay.

Trong trang này
  1. Trình thu thập nào thực sự gây ra tải?
  2. Crawl-delay có tác dụng với trình thu thập AI không?
  3. Phản hồi 429 và 503 làm chậm trình thu thập như thế nào?
  4. Làm sao đặt giới hạn tốc độ cho trình thu thập AI?
  5. Bộ nhớ đệm có giảm được tải từ trình thu thập không?
  6. Nên tránh điều gì khi làm chậm trình thu thập?
  7. Làm sao kiểm tra trình thu thập vẫn đi qua được?

Trình thu thập nào thực sự gây ra tải?

Hãy xem xét trước khi thay đổi bất cứ điều gì. Đếm số yêu cầu theo user agent và theo giờ trong nhật ký truy cập, và đối chiếu IP nguồn với dải IP mà từng nhà cung cấp công bố; hướng dẫn của chúng tôi về kiểm tra nhật ký máy chủ để tìm trình thu thập dữ liệu AI có sẵn các lệnh. Hai phát hiện thường gặp:

Hãy phân loại trình thu thập theo công việc. Trình thu thập huấn luyện như GPTBot và ClaudeBot không phải là những trình giúp bạn được trích dẫn trong tìm kiếm AI, nên nếu một trong số chúng là vấn đề, cấm nó là một lựa chọn hợp lý. Phần còn lại của hướng dẫn này dành cho những trình thu thập bạn muốn giữ lại.

Crawl-delay có tác dụng với trình thu thập AI không?

Crawl-delay không thuộc RFC 9309, nên mỗi đơn vị vận hành tự quyết định có đọc nó hay không. Đây là những gì tài liệu nói tính đến tháng 11 năm 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

Hãy chú ý logic của nhóm. Một trình thu thập tìm thấy nhóm mang tên riêng của nó sẽ bỏ qua hoàn toàn nhóm User-agent: *, nên một nhóm ClaudeBot chỉ chứa Crawl-delay sẽ bỏ mất mọi Disallow bạn đặt cho những trình còn lại. Hãy lặp lại chúng, như ví dụ ở trên. Bing mô tả Crawl-delay là một ngoại lệ mà họ đọc từ nhóm nào cũng được, nhưng bạn không nên giả định điều đó với các trình thu thập khác.

Phản hồi 429 và 503 làm chậm trình thu thập như thế nào?

Với các đợt tải cao điểm, mã trạng thái là tín hiệu mà trình thu thập được xây dựng để tôn trọng. 429 Too Many Requests, được định nghĩa trong RFC 6585, nghĩa là máy khách đã gửi quá nhiều yêu cầu trong một khoảng thời gian, và có thể kèm header Retry-After cho biết cần chờ bao lâu. 503 Service Unavailable nói rằng máy chủ hiện không đáp ứng được.

Google hướng dẫn đây là cách giảm nhanh tốc độ thu thập của Googlebot: trả về 500, 503 hoặc 429 thay vì 200 cho một số yêu cầu thu thập. Google nói cách này giảm tốc độ thu thập cho toàn bộ tên máy chủ, và Retry-After có thể chứa số giây hoặc một ngày giờ.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

Hãy làm trong thời gian ngắn. Google khuyên không nên làm vậy lâu hơn một hoặc hai ngày, vì một URL trả về các mã này trong nhiều ngày có thể bị loại khỏi chỉ mục. Để giảm lâu dài, Google cung cấp một yêu cầu đặc biệt qua Search Console.

OpenAI, Anthropic và Perplexity không công bố trình thu thập của họ phản ứng thế nào với 429, 503 hoặc Retry-After. Các mã này là cách chuẩn để yêu cầu giảm tải, nhưng mỗi trình thu thập AI lùi lại nhanh đến đâu thì bạn không thể tra cứu được.

Làm sao đặt giới hạn tốc độ cho trình thu thập AI?

Cho mỗi trình thu thập một hạn mức riêng thay vì một giới hạn chung cho mọi lưu lượng, và trả lời các yêu cầu vượt mức bằng 429. Trong nginx, module limit_req làm việc này. Các yêu cầu có khóa rỗng không được đếm, nên một map chỉ trả về khóa cho user agent của trình thu thập sẽ không ảnh hưởng đến khách truy cập là người. Ở đây mỗi trình thu thập được 60 yêu cầu mỗi phút với burst là 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

Khóa ở đây là user agent, nên bất kỳ ai sao chép tên của một trình thu thập sẽ dùng chung hạn mức với trình đó. Điều này chấp nhận được với giới hạn tốc độ. Với quy tắc cho phép, hãy khớp thêm dải IP mà nhà cung cấp công bố.

Trên Cloudflare, quy tắc giới hạn tốc độ làm cùng việc này ở biên mạng. Gói Free cho bạn một quy tắc, đếm theo IP trong 10 giây, và biểu thức quy tắc có thể dùng đường dẫn và trường Verified Bot. Đếm theo IP là khá thô với những trình thu thập phân tán yêu cầu qua nhiều địa chỉ, và các gói cao hơn có thêm tùy chọn đếm. Phản hồi mặc định là 429, và bạn có thể đặt mã 4xx khác cùng nội dung tùy chỉnh. AI Crawl Control cung cấp Allow, Block và, trong bản beta riêng, Charge cho từng trình thu thập, nhưng không có thiết lập tốc độ.

Dù dùng cách nào, hãy giữ /robots.txt ngoài giới hạn. RFC 9309 nói lỗi máy chủ với robots.txt nghĩa là trình thu thập phải coi toàn bộ website bị cấm, và Google loại 429 khỏi các mã 4xx mà họ coi là tệp không tồn tại.

Bộ nhớ đệm có giảm được tải từ trình thu thập không?

Thường còn nhiều hơn giới hạn tốc độ. Trình thu thập chủ yếu yêu cầu các trang công khai giống nhau với mọi khách truy cập, nên phục vụ chúng từ CDN hoặc bộ nhớ đệm trang sẽ biến những lần kết xuất tốn kém thành các lần trúng bộ nhớ đệm rẻ. Hãy kiểm tra bộ nhớ đệm của bạn không giữ một biến thể riêng, không được lưu đệm cho user agent của trình thu thập.

Yêu cầu có điều kiện cũng giúp ích. Google cho biết trình thu thập của họ hỗ trợ bộ nhớ đệm HTTP với ETag và If-None-Match, cũng như với Last-Modified và If-Modified-Since, và dùng ETag khi có cả hai. Các trang về trình thu thập của OpenAI, Anthropic và Perplexity không nói trình thu thập của họ có gửi yêu cầu có điều kiện hay không, nên chỉ nên trông đợi khoản tiết kiệm đó từ Google.

Nên tránh điều gì khi làm chậm trình thu thập?

Làm sao kiểm tra trình thu thập vẫn đi qua được?

Giới hạn tốc độ rất dễ bị đặt quá chặt. Bước kiểm tra miễn phí của AISeeWhy tải một trang dưới danh nghĩa 16 trình thu thập dữ liệu AI và tìm kiếm bên cạnh một trình duyệt thật, áp dụng robots.txt cho từng trình thu thập và nhận diện trang thử thách của tường lửa, nên một quy tắc trả lời trình thu thập khác với trình duyệt sẽ lộ ra. Một yêu cầu cho mỗi trình thu thập sẽ không chạm tới một giới hạn hợp lý, và đó chính là mục đích: hãy chạy kiểm tra sau khi thay đổi quy tắc để xác nhận các yêu cầu bình thường vẫn đi qua. Công cụ kiểm tra IP của trình thu thập AI miễn phí cho bạn biết một IP trong nhật ký có thực sự thuộc về GPTBot hay một trình thu thập khác không.

Công cụ miễn phí

Bước tiếp theo

Các trình thu thập trong bài này

Câu hỏi thường gặp

Google có hỗ trợ Crawl-delay không?

Không. Tài liệu robots.txt của Google liệt kê crawl-delay trong số các trường họ không hỗ trợ. Để làm chậm Googlebot trong thời gian ngắn, hãy trả về 503, 500 hoặc 429 cho một số yêu cầu; để giảm lâu hơn, Google cung cấp một yêu cầu đặc biệt qua Search Console.

ClaudeBot có tuân theo Crawl-delay không?

Anthropic cho biết họ hỗ trợ phần mở rộng không chuẩn Crawl-delay. Hãy đặt nó trong nhóm ClaudeBot và lặp lại ở đó mọi quy tắc Disallow từ nhóm User-agent: *.

GPTBot và PerplexityBot có hỗ trợ Crawl-delay không?

Trang về trình thu thập của OpenAI và Perplexity không nhắc đến Crawl-delay, nên tác dụng của nó chưa được công bố. Hãy dùng giới hạn phía máy chủ trả lời các yêu cầu vượt mức bằng 429.

Phản hồi 429 có làm giảm thứ hạng của tôi không?

Không, nếu chỉ trong thời gian ngắn. Google công bố 429 và 503 là cách tạm thời giảm việc thu thập, nhưng cảnh báo rằng các URL trả về chúng trong nhiều ngày có thể bị loại khỏi chỉ mục.

Tôi có nên chặn GPTBot để giảm tải không?

Bạn có thể. OpenAI cho biết GPTBot thu thập nội dung có thể được dùng để huấn luyện và mỗi thiết lập robots.txt là độc lập, nên cấm nó không loại bạn khỏi tìm kiếm của ChatGPT, vốn dùng OAI-SearchBot. Hãy kiểm tra nhật ký trước để chắc rằng tải đến từ địa chỉ của OpenAI.

Nguồn tham khảo

Bài viết khác