Direktori crawler AI
Bot mana saja yang membaca situs Anda untuk pelatihan AI, pencarian AI, dan jawaban langsung, apa fungsi masing-masing menurut vendornya, serta cara mengizinkan, memblokir, atau memverifikasinya.
| Crawler | Perusahaan | Fungsi |
|---|---|---|
| GPTBot | OpenAI | Pelatihan AI |
| OAI-SearchBot | OpenAI | Pencarian AI |
| ChatGPT-User | OpenAI | Pengambilan atas permintaan pengguna |
| ClaudeBot | Anthropic | Pelatihan AI |
| Claude-SearchBot | Anthropic | Pencarian AI |
| Claude-User | Anthropic | Pengambilan atas permintaan pengguna |
| PerplexityBot | Perplexity | Pencarian AI |
| Perplexity-User | Perplexity | Pengambilan atas permintaan pengguna |
| Google-Extended | Pelatihan AI | |
| Googlebot | Mesin pencari | |
| Google-CloudVertexBot | Pengambilan atas permintaan pengguna | |
| bingbot | Microsoft | Mesin pencari |
| Applebot | Apple | Mesin pencari |
| Applebot-Extended | Apple | Pelatihan AI |
| CCBot | Common Crawl | Pelatihan AI |
| meta-externalagent | Meta | Pelatihan AI |
| meta-externalfetcher | Meta | Pengambilan atas permintaan pengguna |
| Amazonbot | Amazon | Pelatihan AI |
| DuckAssistBot | DuckDuckGo | Pencarian AI |
| MistralAI-User | Mistral AI | Pengambilan atas permintaan pengguna |