Elenco dei crawler AI
Quali bot leggono il tuo sito per l'addestramento dell'AI, la ricerca AI e le risposte in tempo reale, cosa fa ciascuno secondo il suo fornitore e come consentirlo, bloccarlo o verificarlo.
| Crawler | Azienda | Scopo |
|---|---|---|
| GPTBot | OpenAI | Addestramento AI |
| OAI-SearchBot | OpenAI | Ricerca AI |
| ChatGPT-User | OpenAI | Recupero richiesto dall'utente |
| ClaudeBot | Anthropic | Addestramento AI |
| Claude-SearchBot | Anthropic | Ricerca AI |
| Claude-User | Anthropic | Recupero richiesto dall'utente |
| PerplexityBot | Perplexity | Ricerca AI |
| Perplexity-User | Perplexity | Recupero richiesto dall'utente |
| Google-Extended | Addestramento AI | |
| Googlebot | Motore di ricerca | |
| Google-CloudVertexBot | Recupero richiesto dall'utente | |
| bingbot | Microsoft | Motore di ricerca |
| Applebot | Apple | Motore di ricerca |
| Applebot-Extended | Apple | Addestramento AI |
| CCBot | Common Crawl | Addestramento AI |
| meta-externalagent | Meta | Addestramento AI |
| meta-externalfetcher | Meta | Recupero richiesto dall'utente |
| Amazonbot | Amazon | Addestramento AI |
| DuckAssistBot | DuckDuckGo | Ricerca AI |
| MistralAI-User | Mistral AI | Recupero richiesto dall'utente |