AISeeWhy
VI
Dùng thử miễn phí

Các trình thu thập dữ liệu của Perplexity: PerplexityBot và Perplexity-User

Đăng ngày

Trả lời ngắn

Perplexity dùng PerplexityBot để hiển thị và liên kết các website trong kết quả tìm kiếm, và Perplexity-User để truy cập trang khi câu hỏi của người dùng cần đến. Perplexity cho biết PerplexityBot tuân theo robots.txt và không được dùng để huấn luyện các mô hình nền tảng, còn Perplexity-User nhìn chung bỏ qua robots.txt vì người dùng đã yêu cầu việc tải trang.

Perplexity được xây quanh việc trích dẫn: câu trả lời đi kèm các liên kết đánh số đến những trang mà nó dựa vào. Tài liệu về trình thu thập dữ liệu của họ ngắn, và nêu rõ tác nhân nào tuân theo robots.txt và tác nhân nào không. Sự khác biệt đó quyết định bạn dùng công cụ nào nếu muốn kiểm soát từng cái.

Trong trang này
  1. PerplexityBot làm gì?
  2. Perplexity-User làm gì?
  3. robots.txt kiểm soát được gì và không kiểm soát được gì?
  4. Perplexity khác ChatGPT và Claude ở đâu?
  5. Tôi nên dùng robots.txt nào cho Perplexity?
  6. Làm sao đảm bảo tường lửa không chặn Perplexity?

PerplexityBot làm gì?

PerplexityBot được thiết kế để hiển thị và liên kết các website trong kết quả tìm kiếm của Perplexity. Perplexity cho biết nó không được dùng để thu thập nội dung cho các mô hình nền tảng AI. Để xuất hiện trong kết quả tìm kiếm của Perplexity, họ khuyến nghị cho phép PerplexityBot trong robots.txt.

Perplexity công bố user agent này:

Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)

Số phiên bản có thể thay đổi, nên quy tắc tường lửa nên khớp theo token PerplexityBot. Perplexity công bố các dải IP tại perplexity.ai/perplexitybot.json.

Perplexity-User làm gì?

Perplexity-User hỗ trợ các hành động của người dùng. Khi ai đó đặt câu hỏi cho Perplexity, nó có thể truy cập một trang web để giúp đưa ra câu trả lời chính xác và kèm liên kết đến trang đó. Perplexity cho biết nó không được dùng để thu thập dữ liệu web hay dữ liệu huấn luyện.

User agent được công bố của nó là Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), và các dải IP được công bố tại perplexity.ai/perplexity-user.json.

robots.txt kiểm soát được gì và không kiểm soát được gì?

Đây là điểm mấu chốt. Perplexity nêu rằng vì người dùng đã yêu cầu việc tải trang, Perplexity-User nhìn chung bỏ qua các quy tắc robots.txt. Một nhóm robots.txt cho PerplexityBot ảnh hưởng đến việc lập chỉ mục cho tìm kiếm; nó không ngăn được một cách đáng tin cậy các lượt tải trực tiếp thay mặt người dùng.

Perplexity cho biết mỗi thiết lập robots.txt hoạt động độc lập, và các thay đổi có thể mất tới 24 giờ để phản ánh.

Perplexity khác ChatGPT và Claude ở đâu?

Cả ba nhà cung cấp đều tách trình thu thập dữ liệu tìm kiếm khỏi trình tải theo yêu cầu người dùng. Có hai chi tiết làm Perplexity khác biệt. Thứ nhất, họ không chạy trình thu thập dữ liệu huấn luyện riêng: họ cho biết PerplexityBot không được dùng để thu thập nội dung cho các mô hình nền tảng AI, nên không có token huấn luyện nào để lựa chọn. Thứ hai, họ nêu rõ trình tải của người dùng nhìn chung bỏ qua robots.txt, trong khi OpenAI cho biết robots.txt có thể không áp dụng cho ChatGPT-User còn Anthropic cho biết bot của họ, kể cả Claude-User, tuân thủ robots.txt.

Trên thực tế điều này có nghĩa là chỉ cần một quyết định trong robots.txt cho trình tìm kiếm của Perplexity, và một quyết định ở tường lửa nếu bạn muốn ngăn các lượt tải theo yêu cầu người dùng.

Tôi nên dùng robots.txt nào cho Perplexity?

Nếu muốn được trích dẫn, hãy cho phép trình tìm kiếm một cách tường minh. Nhớ rằng một nhóm có tên không kế thừa quy tắc từ *, nên hãy lặp lại các đường dẫn riêng tư:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Vì PerplexityBot không phải trình huấn luyện, chặn nó để từ chối huấn luyện mô hình sẽ làm bạn mất khả năng hiển thị tìm kiếm mà không phục vụ mục tiêu đó.

Nếu bạn liệt kê sitemap trong robots.txt, hãy để dòng Sitemap: bên ngoài mọi nhóm hoặc ở cuối tệp; nó áp dụng cho mọi trình thu thập dữ liệu. Cũng hãy đảm bảo bản thân sitemap không bị tường lửa chặn, vì trình thu thập dữ liệu không tải được nó thì không thể dùng nó để tìm các trang mới hoặc đã thay đổi.

Làm sao đảm bảo tường lửa không chặn Perplexity?

Lớp chống bot thường coi mọi yêu cầu không phải từ trình duyệt là đáng ngờ. Hãy yêu cầu trang của bạn với từng user agent của Perplexity và so sánh phản hồi với yêu cầu từ trình duyệt. Nếu trình thu thập dữ liệu nhận 403, 429 hoặc trang thử thách, hãy thêm quy tắc cho phép khớp theo token và, lý tưởng nhất, cả các dải IP đã công bố, để chỉ lưu lượng thật của Perplexity đi qua. Trong Cloudflare, AI Crawl Control liệt kê các trình thu thập dữ liệu AI với hành động Allow hoặc Block cho từng trình.

Hãy xác minh thay vì tin user agent. Ai cũng có thể gửi yêu cầu tự nhận là PerplexityBot, nên quy tắc cho phép chỉ dựa trên user agent cũng cho kẻ giả mạo vào, và quy tắc chặn dựa trên nó có thể bị né. Kiểm tra IP nguồn với danh sách Perplexity công bố giúp cả hai loại quy tắc đáng tin cậy.

AISeeWhy kiểm tra PerplexityBot và Perplexity-User cùng 12 trình thu thập dữ liệu khác. Vì cả hai đều quyết định Perplexity có dùng được trang của bạn trong câu trả lời hay không, việc chặn một trong hai được báo là P1, kèm quy tắc để sửa.

Câu hỏi thường gặp

Perplexity có dùng nội dung của tôi để huấn luyện mô hình AI không?

Perplexity cho biết cả PerplexityBot lẫn Perplexity-User đều không được dùng để thu thập nội dung nhằm huấn luyện các mô hình nền tảng AI.

Tại sao Perplexity-User bỏ qua robots.txt?

Lập luận của Perplexity là một người dùng đã yêu cầu trang đó, nên việc tải trang là hành động thay mặt người dùng đó chứ không phải thu thập tự động. Tài liệu của họ nói trình tải vì thế nhìn chung bỏ qua robots.txt.

Nếu cần, tôi chặn Perplexity-User thế nào?

Dùng tường lửa hoặc CDN, khớp theo token user agent và các dải IP Perplexity đã công bố. robots.txt không phải cách kiểm soát đáng tin cậy cho tác nhân này.

Thay đổi robots.txt mất bao lâu để áp dụng?

Perplexity cho biết hệ thống của họ có thể mất tới 24 giờ để phản ánh thay đổi.

Chặn PerplexityBot có ngăn Perplexity dùng nội dung của tôi hoàn toàn không?

Không. Nó giữ các trang của bạn ngoài việc thu thập cho chỉ mục tìm kiếm của Perplexity, nhưng Perplexity-User vẫn có thể tải một trang khi người dùng hỏi về nó, vì trình tải đó nhìn chung bỏ qua robots.txt.

Nguồn tham khảo

Bài viết khác