AI ક્રૉલર ડિરેક્ટરી
કયા બૉટ AI ટ્રેનિંગ, AI સર્ચ અને લાઇવ જવાબો માટે તમારી સાઇટ વાંચે છે, તેમના સંચાલકો મુજબ દરેક શું કરે છે, અને તેને કેવી રીતે આવવા દેવો, બ્લૉક કરવો કે ચકાસવો.
| ક્રૉલર | કંપની | હેતુ |
|---|---|---|
| GPTBot | OpenAI | AI ટ્રેનિંગ |
| OAI-SearchBot | OpenAI | AI સર્ચ |
| ChatGPT-User | OpenAI | યુઝરની વિનંતીથી મેળવવું |
| ClaudeBot | Anthropic | AI ટ્રેનિંગ |
| Claude-SearchBot | Anthropic | AI સર્ચ |
| Claude-User | Anthropic | યુઝરની વિનંતીથી મેળવવું |
| PerplexityBot | Perplexity | AI સર્ચ |
| Perplexity-User | Perplexity | યુઝરની વિનંતીથી મેળવવું |
| Google-Extended | AI ટ્રેનિંગ | |
| Googlebot | સર્ચ એન્જિન | |
| Google-CloudVertexBot | યુઝરની વિનંતીથી મેળવવું | |
| bingbot | Microsoft | સર્ચ એન્જિન |
| Applebot | Apple | સર્ચ એન્જિન |
| Applebot-Extended | Apple | AI ટ્રેનિંગ |
| CCBot | Common Crawl | AI ટ્રેનિંગ |
| meta-externalagent | Meta | AI ટ્રેનિંગ |
| meta-externalfetcher | Meta | યુઝરની વિનંતીથી મેળવવું |
| Amazonbot | Amazon | AI ટ્રેનિંગ |
| DuckAssistBot | DuckDuckGo | AI સર્ચ |
| MistralAI-User | Mistral AI | યુઝરની વિનંતીથી મેળવવું |