AI 크롤러 디렉터리
AI 학습, AI 검색, 실시간 답변을 위해 내 사이트를 읽는 봇이 무엇인지, 각 봇이 제공사 설명에 따라 무엇을 하는지, 허용·차단·확인은 어떻게 하는지 안내합니다.
| 크롤러 | 회사 | 용도 |
|---|---|---|
| GPTBot | OpenAI | AI 학습 |
| OAI-SearchBot | OpenAI | AI 검색 |
| ChatGPT-User | OpenAI | 사용자 요청 가져오기 |
| ClaudeBot | Anthropic | AI 학습 |
| Claude-SearchBot | Anthropic | AI 검색 |
| Claude-User | Anthropic | 사용자 요청 가져오기 |
| PerplexityBot | Perplexity | AI 검색 |
| Perplexity-User | Perplexity | 사용자 요청 가져오기 |
| Google-Extended | AI 학습 | |
| Googlebot | 검색 엔진 | |
| Google-CloudVertexBot | 사용자 요청 가져오기 | |
| bingbot | Microsoft | 검색 엔진 |
| Applebot | Apple | 검색 엔진 |
| Applebot-Extended | Apple | AI 학습 |
| CCBot | Common Crawl | AI 학습 |
| meta-externalagent | Meta | AI 학습 |
| meta-externalfetcher | Meta | 사용자 요청 가져오기 |
| Amazonbot | Amazon | AI 학습 |
| DuckAssistBot | DuckDuckGo | AI 검색 |
| MistralAI-User | Mistral AI | 사용자 요청 가져오기 |