Diretório de crawlers de IA
Quais bots leem seu site para treinamento de IA, busca por IA e respostas em tempo real, o que cada um faz segundo o fornecedor e como permitir, bloquear ou verificar cada um.
| Crawler | Empresa | Finalidade |
|---|---|---|
| GPTBot | OpenAI | Treinamento de IA |
| OAI-SearchBot | OpenAI | Busca por IA |
| ChatGPT-User | OpenAI | Acesso a pedido do usuário |
| ClaudeBot | Anthropic | Treinamento de IA |
| Claude-SearchBot | Anthropic | Busca por IA |
| Claude-User | Anthropic | Acesso a pedido do usuário |
| PerplexityBot | Perplexity | Busca por IA |
| Perplexity-User | Perplexity | Acesso a pedido do usuário |
| Google-Extended | Treinamento de IA | |
| Googlebot | Mecanismo de busca | |
| Google-CloudVertexBot | Acesso a pedido do usuário | |
| bingbot | Microsoft | Mecanismo de busca |
| Applebot | Apple | Mecanismo de busca |
| Applebot-Extended | Apple | Treinamento de IA |
| CCBot | Common Crawl | Treinamento de IA |
| meta-externalagent | Meta | Treinamento de IA |
| meta-externalfetcher | Meta | Acesso a pedido do usuário |
| Amazonbot | Amazon | Treinamento de IA |
| DuckAssistBot | DuckDuckGo | Busca por IA |
| MistralAI-User | Mistral AI | Acesso a pedido do usuário |