ไดเรกทอรี AI crawler
บอตตัวไหนอ่านเว็บไซต์ของคุณเพื่อเทรน AI ค้นหาด้วย AI และตอบแบบเรียลไทม์ แต่ละตัวทำอะไรตามที่ผู้พัฒนาระบุ และจะอนุญาต บล็อก หรือตรวจสอบได้อย่างไร
| Crawler | บริษัท | หน้าที่ |
|---|---|---|
| GPTBot | OpenAI | เทรน AI |
| OAI-SearchBot | OpenAI | ค้นหาด้วย AI |
| ChatGPT-User | OpenAI | ดึงข้อมูลตามคำขอของผู้ใช้ |
| ClaudeBot | Anthropic | เทรน AI |
| Claude-SearchBot | Anthropic | ค้นหาด้วย AI |
| Claude-User | Anthropic | ดึงข้อมูลตามคำขอของผู้ใช้ |
| PerplexityBot | Perplexity | ค้นหาด้วย AI |
| Perplexity-User | Perplexity | ดึงข้อมูลตามคำขอของผู้ใช้ |
| Google-Extended | เทรน AI | |
| Googlebot | เสิร์ชเอนจิน | |
| Google-CloudVertexBot | ดึงข้อมูลตามคำขอของผู้ใช้ | |
| bingbot | Microsoft | เสิร์ชเอนจิน |
| Applebot | Apple | เสิร์ชเอนจิน |
| Applebot-Extended | Apple | เทรน AI |
| CCBot | Common Crawl | เทรน AI |
| meta-externalagent | Meta | เทรน AI |
| meta-externalfetcher | Meta | ดึงข้อมูลตามคำขอของผู้ใช้ |
| Amazonbot | Amazon | เทรน AI |
| DuckAssistBot | DuckDuckGo | ค้นหาด้วย AI |
| MistralAI-User | Mistral AI | ดึงข้อมูลตามคำขอของผู้ใช้ |