Danh bạ trình thu thập AI
Những bot đọc trang web của bạn để huấn luyện AI, tìm kiếm AI và trả lời theo thời gian thực, mỗi bot làm gì theo nhà vận hành, và cách cho phép, chặn hoặc xác minh chúng.
| Trình thu thập | Công ty | Mục đích |
|---|---|---|
| GPTBot | OpenAI | Huấn luyện AI |
| OAI-SearchBot | OpenAI | Tìm kiếm AI |
| ChatGPT-User | OpenAI | Tải theo yêu cầu người dùng |
| ClaudeBot | Anthropic | Huấn luyện AI |
| Claude-SearchBot | Anthropic | Tìm kiếm AI |
| Claude-User | Anthropic | Tải theo yêu cầu người dùng |
| PerplexityBot | Perplexity | Tìm kiếm AI |
| Perplexity-User | Perplexity | Tải theo yêu cầu người dùng |
| Google-Extended | Huấn luyện AI | |
| Googlebot | Công cụ tìm kiếm | |
| Google-CloudVertexBot | Tải theo yêu cầu người dùng | |
| bingbot | Microsoft | Công cụ tìm kiếm |
| Applebot | Apple | Công cụ tìm kiếm |
| Applebot-Extended | Apple | Huấn luyện AI |
| CCBot | Common Crawl | Huấn luyện AI |
| meta-externalagent | Meta | Huấn luyện AI |
| meta-externalfetcher | Meta | Tải theo yêu cầu người dùng |
| Amazonbot | Amazon | Huấn luyện AI |
| DuckAssistBot | DuckDuckGo | Tìm kiếm AI |
| MistralAI-User | Mistral AI | Tải theo yêu cầu người dùng |