AI ਸਿਖਲਾਈ ਕਿਵੇਂ ਰੋਕੀਏ ਪਰ AI ਸਰਚ ਜਵਾਬਾਂ ਵਿੱਚ ਰਹੀਏ
ਜ਼ਿਆਦਾਤਰ AI ਕੰਪਨੀਆਂ ਮਾਡਲ ਸਿਖਲਾਈ ਅਤੇ ਸਰਚ ਲਈ ਵੱਖਰੇ robots.txt ਟੋਕਨ ਵਰਤਦੀਆਂ ਹਨ। ਸਿਖਲਾਈ ਵਾਲੇ ਟੋਕਨ, ਜਿਵੇਂ GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ਅਤੇ CCBot, ਰੋਕੋ, ਅਤੇ ਸਰਚ ਤੇ ਯੂਜ਼ਰ ਵਾਲੇ ਟੋਕਨ, ਜਿਵੇਂ OAI-SearchBot, Claude-SearchBot ਅਤੇ PerplexityBot, ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ। ਇਹੀ ਪਸੰਦ ਸ਼ਬਦਾਂ ਵਿੱਚ ਦੱਸਣ ਲਈ ਇੱਕ Content-Signal ਲਾਈਨ ਜੋੜੋ।
ਬਹੁਤ ਸਾਰੇ ਸਾਈਟ ਮਾਲਕ ਇੱਕੋ ਸਮੇਂ ਦੋ ਚੀਜ਼ਾਂ ਚਾਹੁੰਦੇ ਹਨ: ਉਹ ਨਹੀਂ ਚਾਹੁੰਦੇ ਕਿ ਉਨ੍ਹਾਂ ਦੀ ਸਮੱਗਰੀ AI ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾਵੇ, ਪਰ ਉਹ ਚਾਹੁੰਦੇ ਹਨ ਕਿ AI ਸਹਾਇਕ ਉਨ੍ਹਾਂ ਦੇ ਪੰਨੇ ਲੱਭਣ, ਉਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਦੇਣ ਅਤੇ ਲਿੰਕ ਕਰਨ। ਕਿਉਂਕਿ ਵੱਡੀਆਂ ਕੰਪਨੀਆਂ ਹੁਣ ਇਹ ਕੰਮ ਵੱਖ-ਵੱਖ ਕ੍ਰੌਲਰਾਂ ਜਾਂ ਟੋਕਨਾਂ ਵਿੱਚ ਵੰਡਦੀਆਂ ਹਨ, robots.txt ਦੋਵੇਂ ਚੋਣਾਂ ਦਰਸਾ ਸਕਦੀ ਹੈ। ਮੁਸ਼ਕਲ ਇਹ ਹੈ ਕਿ ਹਰ ਕੰਪਨੀ ਦੇ ਨਾਮ ਵੱਖਰੇ ਹਨ, ਕੁਝ ਕੰਪਨੀਆਂ ਇਸ ਢਾਂਚੇ ਵਿੱਚ ਫਿੱਟ ਨਹੀਂ ਬੈਠਦੀਆਂ, ਅਤੇ ਇੱਕ ਗਲਤ ਲਾਈਨ ਤੁਹਾਨੂੰ ਸਿਖਲਾਈ ਡਾਟੇ ਦੀ ਥਾਂ AI ਜਵਾਬਾਂ ਤੋਂ ਬਾਹਰ ਕਰ ਸਕਦੀ ਹੈ।
ਇਸ ਪੰਨੇ 'ਤੇ
ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰ ਵਿੱਚ ਕੀ ਫ਼ਰਕ ਹੈ?
ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਅਜਿਹੇ ਪੰਨੇ ਇਕੱਠੇ ਕਰਦਾ ਹੈ ਜੋ AI ਮਾਡਲ ਬਣਾਉਣ ਜਾਂ ਸੁਧਾਰਨ ਲਈ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਸਿਖਲਾਈ ਆਪਣੇ-ਆਪ ਵਿੱਚ ਕੋਈ ਹਵਾਲਾ ਜਾਂ ਲਿੰਕ ਨਹੀਂ ਦਿੰਦੀ। ਸਰਚ ਕ੍ਰੌਲਰ ਇੱਕ ਇੰਡੈਕਸ ਬਣਾਉਂਦਾ ਹੈ ਜਿਸ ਨਾਲ AI ਸਹਾਇਕ ਜਵਾਬ ਲਈ ਸਰੋਤ ਲੱਭਦਾ ਹੈ, ਅਤੇ ਉਹੀ ਸਰੋਤ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਉਹ ਹਵਾਲਾ ਦੇ ਸਕਦਾ ਹੈ। ਯੂਜ਼ਰ ਵੱਲੋਂ ਚਲਾਇਆ fetcher ਪੰਨਾ ਲਾਈਵ ਖੋਲ੍ਹਦਾ ਹੈ ਕਿਉਂਕਿ ਕਿਸੇ ਨੇ ਉਸ ਬਾਰੇ ਪੁੱਛਿਆ ਹੈ।
ਕੰਪਨੀਆਂ ਇਨ੍ਹਾਂ ਭੂਮਿਕਾਵਾਂ ਦਾ ਵੱਖ-ਵੱਖ ਵੇਰਵਾ ਦਿੰਦੀਆਂ ਹਨ ਅਤੇ ਕਹਿੰਦੀਆਂ ਹਨ ਕਿ ਸੈਟਿੰਗਾਂ ਇੱਕ-ਦੂਜੇ ਤੋਂ ਸੁਤੰਤਰ ਹਨ। ਮਿਸਾਲ ਵਜੋਂ, OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਹਰ robots.txt ਸੈਟਿੰਗ ਬਾਕੀਆਂ ਤੋਂ ਸੁਤੰਤਰ ਹੈ। ਇਸ ਲਈ ਸਹੀ ਢੰਗ ਨਾਲ ਕੀਤਾ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਹੋਣਾ ਤੁਹਾਡੀ ਸਰਚ ਦਿੱਖ ਨੂੰ ਨਹੀਂ ਛੇੜਦਾ।
ਕਿਹੜੇ ਟੋਕਨ ਸਿਖਲਾਈ ਅਤੇ ਕਿਹੜੇ ਸਰਚ ਨੂੰ ਕੰਟਰੋਲ ਕਰਦੇ ਹਨ?
ਇਹ ਉਹ ਟੋਕਨ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਕੰਪਨੀਆਂ ਵੇਰਵਾ ਦਿੰਦੀਆਂ ਹਨ, ਇਸ ਹਿਸਾਬ ਨਾਲ ਵੰਡੇ ਹੋਏ ਕਿ ਉਹ ਕੀ ਕੰਟਰੋਲ ਕਰਦੇ ਹਨ:
- OpenAI:
GPTBotਅਜਿਹੀ ਸਮੱਗਰੀ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ ਜੋ ਉਸਦੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ।OAI-SearchBotChatGPT ਸਰਚ ਲਈ ਹੈ, ਅਤੇChatGPT-Userਯੂਜ਼ਰ ਦੀਆਂ ਕਾਰਵਾਈਆਂ ਸੰਭਾਲਦਾ ਹੈ; OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸ 'ਤੇ robots.txt ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਵੇ। - Anthropic:
ClaudeBotਅਜਿਹੀ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਦਾ ਹੈ ਜੋ ਸਿਖਲਾਈ ਵਿੱਚ ਯੋਗਦਾਨ ਪਾ ਸਕਦੀ ਹੈ।Claude-SearchBotClaude ਦੇ ਸਰਚ ਨਤੀਜੇ ਬਿਹਤਰ ਬਣਾਉਂਦਾ ਹੈ, ਅਤੇClaude-Userਯੂਜ਼ਰਾਂ ਲਈ ਪੰਨੇ ਲਿਆਉਂਦਾ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਬੋਟ robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ। - Google:
Google-Extendedਇੱਕ robots.txt ਟੋਕਨ ਹੈ ਜਿਸਦਾ ਆਪਣਾ ਕੋਈ ਕ੍ਰੌਲਰ ਨਹੀਂ। ਇਹ ਭਵਿੱਖ ਦੇ Gemini ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਅਤੇ Gemini Apps ਤੇ Vertex AI ਵਿੱਚ grounding ਲਈ ਵਰਤੋਂ ਨੂੰ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ Google Search ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ ਜਾਂ ਰੈਂਕਿੰਗ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ, ਜੋGooglebotਰਾਹੀਂ ਕੰਟਰੋਲ ਹੁੰਦੀ ਹੈ। - Apple:
Applebot-Extendedਕ੍ਰੌਲ ਨਹੀਂ ਕਰਦਾ; ਇਹ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ ਕਿApplebotਦੀ ਕ੍ਰੌਲ ਕੀਤੀ ਸਮੱਗਰੀ Apple ਦੇ ਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾਵੇ ਜਾਂ ਨਹੀਂ। Apple ਕਹਿੰਦਾ ਹੈ ਕਿ ਜਿਹੜੇ ਪੰਨੇ ਇਸਨੂੰ ਰੋਕਦੇ ਹਨ, ਉਹ ਫਿਰ ਵੀ ਉਸਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਆ ਸਕਦੇ ਹਨ। - Meta:
meta-externalagentਫਾਊਂਡੇਸ਼ਨ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਵਰਗੇ ਕੰਮਾਂ ਲਈ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਜਦਕਿmeta-webindexerMeta AI ਦੇ ਸਰਚ ਨਤੀਜੇ ਬਿਹਤਰ ਬਣਾਉਂਦਾ ਹੈ। - Common Crawl:
CCBotCommon Crawl ਦਾ ਜਨਤਕ ਵੈੱਬ ਆਰਕਾਈਵ ਬਣਾਉਂਦਾ ਹੈ। Cloudflare ਦੀ managed robots.txt ਇਸਨੂੰ ਉਨ੍ਹਾਂ AI ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਵਿੱਚ ਗਿਣਦੀ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਹ ਰੋਕਦੀ ਹੈ। - Perplexity:
PerplexityBotਅਤੇPerplexity-Userਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਬੇਨਤੀਆਂ ਲਈ ਕੰਮ ਕਰਦੇ ਹਨ। Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਦੋਵਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਸਿਖਲਾਈ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤਿਆ ਜਾਂਦਾ, ਇਸ ਲਈ ਬਲੌਕ ਕਰਨ ਲਈ Perplexity ਦਾ ਕੋਈ ਸਿਖਲਾਈ ਟੋਕਨ ਨਹੀਂ ਹੈ।
robots.txt ਕਿਹੋ ਜਿਹੀ ਦਿਸਦੀ ਹੈ?
RFC 9309 ਮੁਤਾਬਕ ਲਗਾਤਾਰ ਕਈ User-agent ਲਾਈਨਾਂ ਇੱਕ ਗਰੁੱਪ ਬਣਾਉਂਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਨਿਯਮ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ। ਇਹ ਫਾਈਲ ਉੱਪਰ ਦਿੱਤੇ ਸਿਖਲਾਈ ਟੋਕਨਾਂ ਨੂੰ ਰੋਕਦੀ ਹੈ, ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਅਤੇ ਇੱਕ ਨਿੱਜੀ path ਸਾਰਿਆਂ ਲਈ ਬੰਦ ਰੱਖਦੀ ਹੈ:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ਦੋ ਗੱਲਾਂ ਅਹਿਮ ਹਨ। ਪਹਿਲੀ, ਨਾਮ ਵਾਲਾ ਗਰੁੱਪ * ਤੋਂ ਕੁਝ ਵਿਰਾਸਤ ਵਿੱਚ ਨਹੀਂ ਲੈਂਦਾ, ਇਸ ਲਈ ਨਿੱਜੀ paths ਸਰਚ ਗਰੁੱਪ ਵਿੱਚ ਦੁਹਰਾਉਣੇ ਪੈਂਦੇ ਹਨ। ਦੂਜੀ, Googlebot ਜਾਂ Applebot ਨੂੰ ਸਿਖਲਾਈ ਗਰੁੱਪ ਵਿੱਚ ਨਾ ਜੋੜੋ: ਇਹ ਸਰਚ ਕ੍ਰੌਲਰ ਹਨ, ਅਤੇ ਇਨ੍ਹਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ Google Search ਅਤੇ Apple ਦੇ ਸਰਚ ਫੀਚਰਾਂ ਤੋਂ ਬਾਹਰ ਹੋ ਜਾਂਦੇ ਹੋ। ਬਦਲਾਅ ਤੁਰੰਤ ਨਹੀਂ ਹੁੰਦੇ: OpenAI ਸਰਚ ਲਈ ਲਗਭਗ 24 ਘੰਟੇ ਦੱਸਦਾ ਹੈ, ਅਤੇ Perplexity 24 ਘੰਟੇ ਤੱਕ।
ਕਿੰਨੀਆਂ ਸਾਈਟਾਂ ਪਹਿਲਾਂ ਹੀ ਅਜਿਹਾ ਕਰਦੀਆਂ ਹਨ?
ਜਿੰਨੀਆਂ ਤੁਸੀਂ ਸੋਚਦੇ ਹੋ, ਉਸ ਤੋਂ ਘੱਟ। ਅਸੀਂ 2026-11-12 ਨੂੰ Tranco ਸੂਚੀ ਦੇ 1,000 ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਡੋਮੇਨਾਂ ਦੀਆਂ robots.txt ਫਾਈਲਾਂ ਪੜ੍ਹੀਆਂ। robots.txt ਦੇਣ ਵਾਲੀਆਂ 518 ਸਾਈਟਾਂ ਵਿੱਚੋਂ 155 (29.9%) ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਲਈ ਹੋਮ ਪੰਨਾ ਰੋਕਦੀਆਂ ਹਨ। ਸਿਰਫ਼ 57 (11.0%) ਚੋਣਵਾਂ ਰਾਹ ਅਪਣਾਉਂਦੀਆਂ ਹਨ: ਉਹ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਸਾਡੇ ਜਾਂਚੇ ਹਰ AI ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀਆਂ ਹਨ। ਕੁੱਲ ਮਿਲਾ ਕੇ 101 ਸਾਈਟਾਂ (19.5%) ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਸਰਚ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ।
ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਅੰਕੜੇ ਵੀ ਇਹੀ ਵੰਡ ਦਿਖਾਉਂਦੇ ਹਨ। GPTBot 111 ਸਾਈਟਾਂ (21.4%) 'ਤੇ ਬਲੌਕ ਹੈ ਅਤੇ OAI-SearchBot 58 (11.2%) 'ਤੇ। ClaudeBot 110 (21.2%) 'ਤੇ ਬਲੌਕ ਹੈ ਅਤੇ Claude-SearchBot 67 (12.9%) 'ਤੇ। Google-Extended 94 (18.1%) 'ਤੇ ਬਲੌਕ ਹੈ, Googlebot 14 (2.7%) 'ਤੇ। ਸਿਰਫ਼ 18 ਸਾਈਟਾਂ (3.5%) Content-Signal ਵਰਤਦੀਆਂ ਹਨ।
ਇਹ ਅਧਿਐਨ ਸਿਰਫ਼ ਹੋਮ ਪੰਨੇ ਲਈ robots.txt ਨਿਯਮ ਦੇਖਦਾ ਹੈ। ਇਹ ਫਾਇਰਵਾਲ ਬਲੌਕ ਨਹੀਂ ਮਾਪਦਾ, ਅਤੇ ਇਹ ਨਹੀਂ ਦਿਖਾਉਂਦਾ ਕਿ ਹਰ ਸਾਈਟ ਦਾ ਇਰਾਦਾ ਕੀ ਸੀ।
Content-Signal ਕੀ ਜੋੜਦਾ ਹੈ?
Content Signals ਇੱਕ robots.txt ਐਕਸਟੈਂਸ਼ਨ ਹੈ ਜੋ Cloudflare ਨੇ contentsignals.org 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਹੈ। Content-Signal ਲਾਈਨ ਦੱਸਦੀ ਹੈ ਕਿ ਸਮੱਗਰੀ ਕਿਵੇਂ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ, ਤਿੰਨ ਸਿਗਨਲਾਂ ਨਾਲ: search (ਸਰਚ ਇੰਡੈਕਸ ਬਣਾਉਣਾ ਅਤੇ ਲਿੰਕ ਤੇ ਛੋਟੇ ਅੰਸ਼ ਦਿਖਾਉਣਾ), ai-input (ਸਮੱਗਰੀ ਨੂੰ ਅਸਲ ਸਮੇਂ ਵਿੱਚ AI ਮਾਡਲਾਂ ਵਿੱਚ ਪਾਉਣਾ, ਜਿਵੇਂ ਜਨਰੇਟਿਵ ਜਵਾਬਾਂ ਲਈ grounding ਜਾਂ retrieval) ਅਤੇ ai-train (ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਜਾਂ fine-tuning)।
ਧਿਆਨ ਦਿਓ ਕਿ search ਦੀ ਪਰਿਭਾਸ਼ਾ ਵਿੱਚ AI ਵੱਲੋਂ ਬਣਾਏ ਸਰਚ ਸਾਰ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ। ਜੇ ਤੁਸੀਂ AI ਜਵਾਬਾਂ ਵਿੱਚ ਦਿਸਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਉੱਪਰਲੀ ਮਿਸਾਲ ਵਾਂਗ ai-input=yes ਵੀ ਸੈੱਟ ਕਰੋ। Cloudflare ਦੀ managed robots.txt ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ search=yes, ai-train=no ਜੋੜਦੀ ਹੈ; ਜੋ ਸਿਗਨਲ ਤੁਸੀਂ ਛੱਡ ਦਿੰਦੇ ਹੋ, ਉਹ ਉਸ ਵਰਤੋਂ ਦੀ ਨਾ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਨਾ ਰੋਕ ਲਾਉਂਦਾ ਹੈ।
ਇਹ ਦੱਸੀਆਂ ਗਈਆਂ ਪਸੰਦਾਂ ਹਨ। Content Signals ਸਾਈਟ ਕਹਿੰਦੀ ਹੈ ਕਿ ਇਹ ਤਕਨੀਕੀ ਪੱਧਰ 'ਤੇ ਕ੍ਰੌਲਿੰਗ ਨਹੀਂ ਰੋਕਦੇ, ਅਤੇ Cloudflare ਦੱਸਦਾ ਹੈ ਕਿ robots.txt ਦੀ ਪਾਲਣਾ ਸਵੈਇੱਛਤ ਹੈ। ਸਾਡੇ ਜਾਂਚੇ OpenAI, Anthropic, Google ਜਾਂ Perplexity ਦੇ ਕ੍ਰੌਲਰ ਪੰਨਿਆਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਨਹੀਂ ਦੱਸਦਾ ਕਿ ਉਹ Content-Signal ਪੜ੍ਹਦੇ ਹਨ ਜਾਂ ਨਹੀਂ, ਇਸ ਲਈ ਇਸਨੂੰ ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਗਰੁੱਪਾਂ ਦਾ ਵਾਧਾ ਸਮਝੋ, ਬਦਲ ਨਹੀਂ।
ਇਹ ਵੰਡ ਕਿੱਥੇ ਸਾਫ਼ ਕੰਮ ਨਹੀਂ ਕਰਦੀ?
ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ ਧਿਆਨ ਚਾਹੀਦਾ ਹੈ:
- Google AI Overviews ਅਤੇ AI Mode ਉਸ Search ਇੰਡੈਕਸ ਤੋਂ ਲੈਂਦੇ ਹਨ ਜੋ
Googlebotਬਣਾਉਂਦਾ ਹੈ, ਇਸ ਲਈGoogle-Extendedਤੁਹਾਨੂੰ ਉਨ੍ਹਾਂ ਤੋਂ ਬਾਹਰ ਨਹੀਂ ਕਰਦਾ। Google ਦੀ Search Console ਮਦਦ ਇਹ ਵੀ ਕਹਿੰਦੀ ਹੈ ਕਿGoogle-ExtendedSearch ਦੇ ਜਨਰੇਟਿਵ AI ਫੀਚਰਾਂ ਪਿੱਛੇ ਵਾਲੇ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਸੀਮਤ ਕਰਦਾ ਹੈ, ਜਿਸਦਾ ਉਸਦੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦੇ। Google ਹੁਣ ਕਿਸੇ ਸਾਈਟ ਨੂੰ AI Overviews ਅਤੇ AI Mode ਤੋਂ ਬਾਹਰ ਰੱਖਣ ਲਈ Search Console ਵਿੱਚ ਵੱਖਰੀ ਸੈਟਿੰਗ ਦਿੰਦਾ ਹੈ। - OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਜੇ ਕੋਈ ਸਾਈਟ
GPTBotਅਤੇOAI-SearchBotਦੋਵਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਤਾਂ ਉਹ ਇੱਕ ਕ੍ਰੌਲ ਦੇ ਨਤੀਜੇ ਦੋਵਾਂ ਕੰਮਾਂ ਲਈ ਵਰਤ ਸਕਦਾ ਹੈ।GPTBotਨੂੰ ਰੋਕਣਾ ਹੀ ਇਹ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ ਕਿ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਲਈ ਨਾ ਵਰਤੀ ਜਾਵੇ। - ਬਾਹਰ ਹੋਣਾ ਅੱਗੇ ਤੋਂ ਲਾਗੂ ਹੁੰਦਾ ਹੈ। ਮਿਸਾਲ ਵਜੋਂ, Anthropic
ClaudeBotਨੂੰ ਰੋਕਣ ਨੂੰ ਤੁਹਾਡੀ ਸਾਈਟ ਦੀ ਭਵਿੱਖੀ ਸਮੱਗਰੀ ਨੂੰ ਸਿਖਲਾਈ ਡਾਟਾਸੈੱਟਾਂ ਤੋਂ ਬਾਹਰ ਰੱਖਣਾ ਦੱਸਦਾ ਹੈ। - ਯੂਜ਼ਰ ਵੱਲੋਂ ਚਲਾਏ fetchers ਵਿਚਕਾਰ ਆਉਂਦੇ ਹਨ। OpenAI ਅਤੇ Perplexity ਕਹਿੰਦੇ ਹਨ ਕਿ robots.txt
ChatGPT-User'ਤੇ ਸ਼ਾਇਦ ਲਾਗੂ ਨਾ ਹੋਵੇ ਅਤੇPerplexity-User'ਤੇ ਆਮ ਤੌਰ 'ਤੇ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦੀ। - ਫਾਇਰਵਾਲ robots.txt ਨਹੀਂ ਪੜ੍ਹਦੀਆਂ। ਬੋਟਾਂ ਨੂੰ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਰੋਕਣ ਵਾਲਾ ਨਿਯਮ ਉਨ੍ਹਾਂ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਵੀ ਰੋਕ ਸਕਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਹੈ। ਜੇ ਤੁਸੀਂ ਸਿਖਲਾਈ ਬਲੌਕ ਫਾਇਰਵਾਲ 'ਤੇ ਲਾਗੂ ਕਰਦੇ ਹੋ, ਤਾਂ ਸਿਖਲਾਈ ਏਜੰਟਾਂ ਨੂੰ ਨਾਮ ਨਾਲ ਮਿਲਾਓ ਅਤੇ ਉਨ੍ਹਾਂ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਪੁਸ਼ਟੀ ਕਰੋ।
ਮੈਂ ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਵੰਡ ਕੰਮ ਕਰਦੀ ਹੈ?
ਆਪਣੀ robots.txt ਨੂੰ ਉਵੇਂ ਪੜ੍ਹੋ ਜਿਵੇਂ ਹਰ ਕ੍ਰੌਲਰ ਪੜ੍ਹੇਗਾ: ਉਹ ਗਰੁੱਪ ਲੱਭੋ ਜੋ ਉਸਦਾ ਨਾਮ ਲੈਂਦਾ ਹੈ, * 'ਤੇ ਸਿਰਫ਼ ਤਾਂ ਜਾਓ ਜੇ ਅਜਿਹਾ ਕੋਈ ਗਰੁੱਪ ਨਾ ਹੋਵੇ, ਅਤੇ ਸਭ ਤੋਂ ਲੰਬਾ ਮੇਲ ਖਾਂਦਾ ਨਿਯਮ ਲਾਗੂ ਕਰੋ। ਫਿਰ ਹਰ ਸਰਚ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਇੱਕ ਪੰਨਾ ਮੰਗੋ ਅਤੇ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਉਸਨੂੰ ਪੂਰੀ ਸਮੱਗਰੀ ਨਾਲ 200 ਮਿਲਦਾ ਹੈ, 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਨਹੀਂ।
AISeeWhy ਇਹ ਦੋਵੇਂ ਕੰਮ 14 ਕ੍ਰੌਲਰਾਂ ਲਈ ਕਰਦਾ ਹੈ, ਜੋ ਸਿਖਲਾਈ, ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਵਿੱਚ ਵੰਡੇ ਹੋਏ ਹਨ, ਅਤੇ ਸਭ ਤੋਂ ਆਮ ਗਲਤੀ ਦੱਸਦਾ ਹੈ: ਸਿਖਲਾਈ ਰੋਕਣ ਦੇ ਇਰਾਦੇ ਨਾਲ PerplexityBot ਜਾਂ Claude-SearchBot ਵਰਗਾ ਸਰਚ ਟੋਕਨ ਬਲੌਕ ਕਰ ਦੇਣਾ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ GPTBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੇਰੀ ਸਾਈਟ ChatGPT ਦੇ ਜਵਾਬਾਂ ਤੋਂ ਹਟ ਜਾਵੇਗੀ?
ਨਹੀਂ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ GPTBot ਸਿਖਲਾਈ ਲਈ ਹੈ ਅਤੇ ਹਰ robots.txt ਸੈਟਿੰਗ ਸੁਤੰਤਰ ਹੈ। ChatGPT ਸਰਚ OAI-SearchBot ਵਰਤਦੀ ਹੈ; ਜਦੋਂ ਤੱਕ ਉਸਨੂੰ ਇਜਾਜ਼ਤ ਹੈ ਅਤੇ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਉਸਨੂੰ ਬਲੌਕ ਨਹੀਂ ਕਰਦੀ, ਤੁਹਾਡੇ ਪੰਨੇ ਯੋਗ ਰਹਿੰਦੇ ਹਨ।
ਕੀ Google-Extended ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੈਂ AI Overviews ਤੋਂ ਹਟ ਜਾਵਾਂਗਾ?
Google ਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਮੁਤਾਬਕ ਨਹੀਂ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ Google-Extended Google Search ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ, ਅਤੇ AI Overviews Search ਇੰਡੈਕਸ ਤੋਂ ਲੈਂਦੇ ਹਨ। ਕਿਸੇ ਸਾਈਟ ਨੂੰ AI Overviews ਅਤੇ AI Mode ਤੋਂ ਬਾਹਰ ਰੱਖਣ ਲਈ Google Search Console ਵਿੱਚ ਵੱਖਰਾ ਕੰਟਰੋਲ ਦਿੰਦਾ ਹੈ।
ਕੀ ਕੋਈ ਇੱਕ ਲਾਈਨ ਹੈ ਜੋ ਸਾਰੀ AI ਸਿਖਲਾਈ ਰੋਕ ਦੇਵੇ?
ਕੋਈ ਮਿਆਰੀ ਲਾਈਨ ਨਹੀਂ ਹੈ। Content-Signal: ai-train=no ਸਾਰੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਪਸੰਦ ਦੱਸਦੀ ਹੈ, ਪਰ ਕੋਈ ਕ੍ਰੌਲਰ ਇਸਦੀ ਪਾਲਣਾ ਕਰੇਗਾ ਜਾਂ ਨਹੀਂ, ਇਹ ਉਸਦੇ ਸੰਚਾਲਕ 'ਤੇ ਨਿਰਭਰ ਹੈ। ਹਰ ਸਿਖਲਾਈ ਟੋਕਨ ਲਈ ਨਾਮ ਵਾਲੇ ਗਰੁੱਪ ਹੀ ਦਸਤਾਵੇਜ਼ੀ ਤਰੀਕਾ ਹਨ।
ਕੀ AI ਸਿਖਲਾਈ ਰੋਕਣ ਲਈ ਮੈਨੂੰ Perplexity ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ?
Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਏਜੰਟ ਸਿਖਲਾਈ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤੇ ਜਾਂਦੇ। PerplexityBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ Perplexity ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਤੁਹਾਡੀ ਦਿੱਖ ਘਟਦੀ ਹੈ, ਪਰ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਹੋਣ ਦਾ ਕੰਮ ਨਹੀਂ ਹੁੰਦਾ।
ਸਰੋਤ
- OpenAI: OpenAI ਕ੍ਰੌਲਰਾਂ ਦੀ ਜਾਣਕਾਰੀ
- Anthropic: ਕੀ Anthropic ਵੈੱਬ ਤੋਂ ਡਾਟਾ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਸਾਈਟ ਮਾਲਕ ਕ੍ਰੌਲਰ ਨੂੰ ਕਿਵੇਂ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹਨ?
- Google: ਆਮ ਕ੍ਰੌਲਰ, Google-Extended ਸਮੇਤ
- Google Search Console ਮਦਦ: Search ਜਨਰੇਟਿਵ AI ਕੰਟਰੋਲ
- Apple: Applebot ਬਾਰੇ
- Meta: Meta ਵੈੱਬ ਕ੍ਰੌਲਰ
- Common Crawl: CCBot
- Perplexity: Perplexity ਕ੍ਰੌਲਰ
- RFC 9309: Robots Exclusion Protocol
- Content Signals (contentsignals.org)
- Cloudflare: Managed robots.txt ਅਤੇ Content Signals
- AISeeWhy: AI ਕ੍ਰੌਲਰ ਪਹੁੰਚ ਰਿਪੋਰਟ, 2026-11