AI ਕ੍ਰੌਲਰ ਡਾਇਰੈਕਟਰੀ
ਕਿਹੜੇ ਬੋਟ AI ਸਿਖਲਾਈ, AI ਸਰਚ ਅਤੇ ਲਾਈਵ ਜਵਾਬਾਂ ਲਈ ਤੁਹਾਡੀ ਸਾਈਟ ਪੜ੍ਹਦੇ ਹਨ, ਉਨ੍ਹਾਂ ਦੀ ਕੰਪਨੀ ਮੁਤਾਬਕ ਹਰੇਕ ਕੀ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ, ਬਲੌਕ ਕਰਨ ਜਾਂ ਪ੍ਰਮਾਣਿਤ ਕਰਨ ਦਾ ਤਰੀਕਾ।
| ਕ੍ਰੌਲਰ | ਕੰਪਨੀ | ਮਕਸਦ |
|---|---|---|
| GPTBot | OpenAI | AI ਸਿਖਲਾਈ |
| OAI-SearchBot | OpenAI | AI ਸਰਚ |
| ChatGPT-User | OpenAI | ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿਆਉਣਾ |
| ClaudeBot | Anthropic | AI ਸਿਖਲਾਈ |
| Claude-SearchBot | Anthropic | AI ਸਰਚ |
| Claude-User | Anthropic | ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿਆਉਣਾ |
| PerplexityBot | Perplexity | AI ਸਰਚ |
| Perplexity-User | Perplexity | ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿਆਉਣਾ |
| Google-Extended | AI ਸਿਖਲਾਈ | |
| Googlebot | ਸਰਚ ਇੰਜਣ | |
| Google-CloudVertexBot | ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿਆਉਣਾ | |
| bingbot | Microsoft | ਸਰਚ ਇੰਜਣ |
| Applebot | Apple | ਸਰਚ ਇੰਜਣ |
| Applebot-Extended | Apple | AI ਸਿਖਲਾਈ |
| CCBot | Common Crawl | AI ਸਿਖਲਾਈ |
| meta-externalagent | Meta | AI ਸਿਖਲਾਈ |
| meta-externalfetcher | Meta | ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿਆਉਣਾ |
| Amazonbot | Amazon | AI ਸਿਖਲਾਈ |
| DuckAssistBot | DuckDuckGo | AI ਸਰਚ |
| MistralAI-User | Mistral AI | ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲਿਆਉਣਾ |