AI ਸਿਖਲਾਈ ਕਿਵੇਂ ਰੋਕੀਏ ਪਰ AI ਸਰਚ ਜਵਾਬਾਂ ਵਿੱਚ ਰਹੀਏ

ਪ੍ਰਕਾਸ਼ਿਤ

ਛੋਟਾ ਜਵਾਬ

ਜ਼ਿਆਦਾਤਰ AI ਕੰਪਨੀਆਂ ਮਾਡਲ ਸਿਖਲਾਈ ਅਤੇ ਸਰਚ ਲਈ ਵੱਖਰੇ robots.txt ਟੋਕਨ ਵਰਤਦੀਆਂ ਹਨ। ਸਿਖਲਾਈ ਵਾਲੇ ਟੋਕਨ, ਜਿਵੇਂ GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, meta-externalagent ਅਤੇ CCBot, ਰੋਕੋ, ਅਤੇ ਸਰਚ ਤੇ ਯੂਜ਼ਰ ਵਾਲੇ ਟੋਕਨ, ਜਿਵੇਂ OAI-SearchBot, Claude-SearchBot ਅਤੇ PerplexityBot, ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ। ਇਹੀ ਪਸੰਦ ਸ਼ਬਦਾਂ ਵਿੱਚ ਦੱਸਣ ਲਈ ਇੱਕ Content-Signal ਲਾਈਨ ਜੋੜੋ।

ਬਹੁਤ ਸਾਰੇ ਸਾਈਟ ਮਾਲਕ ਇੱਕੋ ਸਮੇਂ ਦੋ ਚੀਜ਼ਾਂ ਚਾਹੁੰਦੇ ਹਨ: ਉਹ ਨਹੀਂ ਚਾਹੁੰਦੇ ਕਿ ਉਨ੍ਹਾਂ ਦੀ ਸਮੱਗਰੀ AI ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾਵੇ, ਪਰ ਉਹ ਚਾਹੁੰਦੇ ਹਨ ਕਿ AI ਸਹਾਇਕ ਉਨ੍ਹਾਂ ਦੇ ਪੰਨੇ ਲੱਭਣ, ਉਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਦੇਣ ਅਤੇ ਲਿੰਕ ਕਰਨ। ਕਿਉਂਕਿ ਵੱਡੀਆਂ ਕੰਪਨੀਆਂ ਹੁਣ ਇਹ ਕੰਮ ਵੱਖ-ਵੱਖ ਕ੍ਰੌਲਰਾਂ ਜਾਂ ਟੋਕਨਾਂ ਵਿੱਚ ਵੰਡਦੀਆਂ ਹਨ, robots.txt ਦੋਵੇਂ ਚੋਣਾਂ ਦਰਸਾ ਸਕਦੀ ਹੈ। ਮੁਸ਼ਕਲ ਇਹ ਹੈ ਕਿ ਹਰ ਕੰਪਨੀ ਦੇ ਨਾਮ ਵੱਖਰੇ ਹਨ, ਕੁਝ ਕੰਪਨੀਆਂ ਇਸ ਢਾਂਚੇ ਵਿੱਚ ਫਿੱਟ ਨਹੀਂ ਬੈਠਦੀਆਂ, ਅਤੇ ਇੱਕ ਗਲਤ ਲਾਈਨ ਤੁਹਾਨੂੰ ਸਿਖਲਾਈ ਡਾਟੇ ਦੀ ਥਾਂ AI ਜਵਾਬਾਂ ਤੋਂ ਬਾਹਰ ਕਰ ਸਕਦੀ ਹੈ।

ਇਸ ਪੰਨੇ 'ਤੇ
  1. ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰ ਵਿੱਚ ਕੀ ਫ਼ਰਕ ਹੈ?
  2. ਕਿਹੜੇ ਟੋਕਨ ਸਿਖਲਾਈ ਅਤੇ ਕਿਹੜੇ ਸਰਚ ਨੂੰ ਕੰਟਰੋਲ ਕਰਦੇ ਹਨ?
  3. robots.txt ਕਿਹੋ ਜਿਹੀ ਦਿਸਦੀ ਹੈ?
  4. ਕਿੰਨੀਆਂ ਸਾਈਟਾਂ ਪਹਿਲਾਂ ਹੀ ਅਜਿਹਾ ਕਰਦੀਆਂ ਹਨ?
  5. Content-Signal ਕੀ ਜੋੜਦਾ ਹੈ?
  6. ਇਹ ਵੰਡ ਕਿੱਥੇ ਸਾਫ਼ ਕੰਮ ਨਹੀਂ ਕਰਦੀ?
  7. ਮੈਂ ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਵੰਡ ਕੰਮ ਕਰਦੀ ਹੈ?

ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰ ਵਿੱਚ ਕੀ ਫ਼ਰਕ ਹੈ?

ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਅਜਿਹੇ ਪੰਨੇ ਇਕੱਠੇ ਕਰਦਾ ਹੈ ਜੋ AI ਮਾਡਲ ਬਣਾਉਣ ਜਾਂ ਸੁਧਾਰਨ ਲਈ ਵਰਤੇ ਜਾ ਸਕਦੇ ਹਨ। ਸਿਖਲਾਈ ਆਪਣੇ-ਆਪ ਵਿੱਚ ਕੋਈ ਹਵਾਲਾ ਜਾਂ ਲਿੰਕ ਨਹੀਂ ਦਿੰਦੀ। ਸਰਚ ਕ੍ਰੌਲਰ ਇੱਕ ਇੰਡੈਕਸ ਬਣਾਉਂਦਾ ਹੈ ਜਿਸ ਨਾਲ AI ਸਹਾਇਕ ਜਵਾਬ ਲਈ ਸਰੋਤ ਲੱਭਦਾ ਹੈ, ਅਤੇ ਉਹੀ ਸਰੋਤ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਉਹ ਹਵਾਲਾ ਦੇ ਸਕਦਾ ਹੈ। ਯੂਜ਼ਰ ਵੱਲੋਂ ਚਲਾਇਆ fetcher ਪੰਨਾ ਲਾਈਵ ਖੋਲ੍ਹਦਾ ਹੈ ਕਿਉਂਕਿ ਕਿਸੇ ਨੇ ਉਸ ਬਾਰੇ ਪੁੱਛਿਆ ਹੈ।

ਕੰਪਨੀਆਂ ਇਨ੍ਹਾਂ ਭੂਮਿਕਾਵਾਂ ਦਾ ਵੱਖ-ਵੱਖ ਵੇਰਵਾ ਦਿੰਦੀਆਂ ਹਨ ਅਤੇ ਕਹਿੰਦੀਆਂ ਹਨ ਕਿ ਸੈਟਿੰਗਾਂ ਇੱਕ-ਦੂਜੇ ਤੋਂ ਸੁਤੰਤਰ ਹਨ। ਮਿਸਾਲ ਵਜੋਂ, OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਹਰ robots.txt ਸੈਟਿੰਗ ਬਾਕੀਆਂ ਤੋਂ ਸੁਤੰਤਰ ਹੈ। ਇਸ ਲਈ ਸਹੀ ਢੰਗ ਨਾਲ ਕੀਤਾ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਹੋਣਾ ਤੁਹਾਡੀ ਸਰਚ ਦਿੱਖ ਨੂੰ ਨਹੀਂ ਛੇੜਦਾ।

ਕਿਹੜੇ ਟੋਕਨ ਸਿਖਲਾਈ ਅਤੇ ਕਿਹੜੇ ਸਰਚ ਨੂੰ ਕੰਟਰੋਲ ਕਰਦੇ ਹਨ?

ਇਹ ਉਹ ਟੋਕਨ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਕੰਪਨੀਆਂ ਵੇਰਵਾ ਦਿੰਦੀਆਂ ਹਨ, ਇਸ ਹਿਸਾਬ ਨਾਲ ਵੰਡੇ ਹੋਏ ਕਿ ਉਹ ਕੀ ਕੰਟਰੋਲ ਕਰਦੇ ਹਨ:

robots.txt ਕਿਹੋ ਜਿਹੀ ਦਿਸਦੀ ਹੈ?

RFC 9309 ਮੁਤਾਬਕ ਲਗਾਤਾਰ ਕਈ User-agent ਲਾਈਨਾਂ ਇੱਕ ਗਰੁੱਪ ਬਣਾਉਂਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਨਿਯਮ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਹਰ ਇੱਕ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ। ਇਹ ਫਾਈਲ ਉੱਪਰ ਦਿੱਤੇ ਸਿਖਲਾਈ ਟੋਕਨਾਂ ਨੂੰ ਰੋਕਦੀ ਹੈ, ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ, ਅਤੇ ਇੱਕ ਨਿੱਜੀ path ਸਾਰਿਆਂ ਲਈ ਬੰਦ ਰੱਖਦੀ ਹੈ:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: meta-webindexer
Allow: /
Disallow: /account/

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

ਦੋ ਗੱਲਾਂ ਅਹਿਮ ਹਨ। ਪਹਿਲੀ, ਨਾਮ ਵਾਲਾ ਗਰੁੱਪ * ਤੋਂ ਕੁਝ ਵਿਰਾਸਤ ਵਿੱਚ ਨਹੀਂ ਲੈਂਦਾ, ਇਸ ਲਈ ਨਿੱਜੀ paths ਸਰਚ ਗਰੁੱਪ ਵਿੱਚ ਦੁਹਰਾਉਣੇ ਪੈਂਦੇ ਹਨ। ਦੂਜੀ, Googlebot ਜਾਂ Applebot ਨੂੰ ਸਿਖਲਾਈ ਗਰੁੱਪ ਵਿੱਚ ਨਾ ਜੋੜੋ: ਇਹ ਸਰਚ ਕ੍ਰੌਲਰ ਹਨ, ਅਤੇ ਇਨ੍ਹਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ Google Search ਅਤੇ Apple ਦੇ ਸਰਚ ਫੀਚਰਾਂ ਤੋਂ ਬਾਹਰ ਹੋ ਜਾਂਦੇ ਹੋ। ਬਦਲਾਅ ਤੁਰੰਤ ਨਹੀਂ ਹੁੰਦੇ: OpenAI ਸਰਚ ਲਈ ਲਗਭਗ 24 ਘੰਟੇ ਦੱਸਦਾ ਹੈ, ਅਤੇ Perplexity 24 ਘੰਟੇ ਤੱਕ।

ਕਿੰਨੀਆਂ ਸਾਈਟਾਂ ਪਹਿਲਾਂ ਹੀ ਅਜਿਹਾ ਕਰਦੀਆਂ ਹਨ?

ਜਿੰਨੀਆਂ ਤੁਸੀਂ ਸੋਚਦੇ ਹੋ, ਉਸ ਤੋਂ ਘੱਟ। ਅਸੀਂ 2026-11-12 ਨੂੰ Tranco ਸੂਚੀ ਦੇ 1,000 ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਡੋਮੇਨਾਂ ਦੀਆਂ robots.txt ਫਾਈਲਾਂ ਪੜ੍ਹੀਆਂ। robots.txt ਦੇਣ ਵਾਲੀਆਂ 518 ਸਾਈਟਾਂ ਵਿੱਚੋਂ 155 (29.9%) ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਲਈ ਹੋਮ ਪੰਨਾ ਰੋਕਦੀਆਂ ਹਨ। ਸਿਰਫ਼ 57 (11.0%) ਚੋਣਵਾਂ ਰਾਹ ਅਪਣਾਉਂਦੀਆਂ ਹਨ: ਉਹ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ ਅਤੇ ਸਾਡੇ ਜਾਂਚੇ ਹਰ AI ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀਆਂ ਹਨ। ਕੁੱਲ ਮਿਲਾ ਕੇ 101 ਸਾਈਟਾਂ (19.5%) ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਸਰਚ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ।

ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਅੰਕੜੇ ਵੀ ਇਹੀ ਵੰਡ ਦਿਖਾਉਂਦੇ ਹਨ। GPTBot 111 ਸਾਈਟਾਂ (21.4%) 'ਤੇ ਬਲੌਕ ਹੈ ਅਤੇ OAI-SearchBot 58 (11.2%) 'ਤੇ। ClaudeBot 110 (21.2%) 'ਤੇ ਬਲੌਕ ਹੈ ਅਤੇ Claude-SearchBot 67 (12.9%) 'ਤੇ। Google-Extended 94 (18.1%) 'ਤੇ ਬਲੌਕ ਹੈ, Googlebot 14 (2.7%) 'ਤੇ। ਸਿਰਫ਼ 18 ਸਾਈਟਾਂ (3.5%) Content-Signal ਵਰਤਦੀਆਂ ਹਨ।

ਇਹ ਅਧਿਐਨ ਸਿਰਫ਼ ਹੋਮ ਪੰਨੇ ਲਈ robots.txt ਨਿਯਮ ਦੇਖਦਾ ਹੈ। ਇਹ ਫਾਇਰਵਾਲ ਬਲੌਕ ਨਹੀਂ ਮਾਪਦਾ, ਅਤੇ ਇਹ ਨਹੀਂ ਦਿਖਾਉਂਦਾ ਕਿ ਹਰ ਸਾਈਟ ਦਾ ਇਰਾਦਾ ਕੀ ਸੀ।

Content-Signal ਕੀ ਜੋੜਦਾ ਹੈ?

Content Signals ਇੱਕ robots.txt ਐਕਸਟੈਂਸ਼ਨ ਹੈ ਜੋ Cloudflare ਨੇ contentsignals.org 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਹੈ। Content-Signal ਲਾਈਨ ਦੱਸਦੀ ਹੈ ਕਿ ਸਮੱਗਰੀ ਕਿਵੇਂ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ, ਤਿੰਨ ਸਿਗਨਲਾਂ ਨਾਲ: search (ਸਰਚ ਇੰਡੈਕਸ ਬਣਾਉਣਾ ਅਤੇ ਲਿੰਕ ਤੇ ਛੋਟੇ ਅੰਸ਼ ਦਿਖਾਉਣਾ), ai-input (ਸਮੱਗਰੀ ਨੂੰ ਅਸਲ ਸਮੇਂ ਵਿੱਚ AI ਮਾਡਲਾਂ ਵਿੱਚ ਪਾਉਣਾ, ਜਿਵੇਂ ਜਨਰੇਟਿਵ ਜਵਾਬਾਂ ਲਈ grounding ਜਾਂ retrieval) ਅਤੇ ai-train (ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਜਾਂ fine-tuning)।

ਧਿਆਨ ਦਿਓ ਕਿ search ਦੀ ਪਰਿਭਾਸ਼ਾ ਵਿੱਚ AI ਵੱਲੋਂ ਬਣਾਏ ਸਰਚ ਸਾਰ ਸ਼ਾਮਲ ਨਹੀਂ ਹਨ। ਜੇ ਤੁਸੀਂ AI ਜਵਾਬਾਂ ਵਿੱਚ ਦਿਸਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਉੱਪਰਲੀ ਮਿਸਾਲ ਵਾਂਗ ai-input=yes ਵੀ ਸੈੱਟ ਕਰੋ। Cloudflare ਦੀ managed robots.txt ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ search=yes, ai-train=no ਜੋੜਦੀ ਹੈ; ਜੋ ਸਿਗਨਲ ਤੁਸੀਂ ਛੱਡ ਦਿੰਦੇ ਹੋ, ਉਹ ਉਸ ਵਰਤੋਂ ਦੀ ਨਾ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਨਾ ਰੋਕ ਲਾਉਂਦਾ ਹੈ।

ਇਹ ਦੱਸੀਆਂ ਗਈਆਂ ਪਸੰਦਾਂ ਹਨ। Content Signals ਸਾਈਟ ਕਹਿੰਦੀ ਹੈ ਕਿ ਇਹ ਤਕਨੀਕੀ ਪੱਧਰ 'ਤੇ ਕ੍ਰੌਲਿੰਗ ਨਹੀਂ ਰੋਕਦੇ, ਅਤੇ Cloudflare ਦੱਸਦਾ ਹੈ ਕਿ robots.txt ਦੀ ਪਾਲਣਾ ਸਵੈਇੱਛਤ ਹੈ। ਸਾਡੇ ਜਾਂਚੇ OpenAI, Anthropic, Google ਜਾਂ Perplexity ਦੇ ਕ੍ਰੌਲਰ ਪੰਨਿਆਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਨਹੀਂ ਦੱਸਦਾ ਕਿ ਉਹ Content-Signal ਪੜ੍ਹਦੇ ਹਨ ਜਾਂ ਨਹੀਂ, ਇਸ ਲਈ ਇਸਨੂੰ ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਗਰੁੱਪਾਂ ਦਾ ਵਾਧਾ ਸਮਝੋ, ਬਦਲ ਨਹੀਂ।

ਇਹ ਵੰਡ ਕਿੱਥੇ ਸਾਫ਼ ਕੰਮ ਨਹੀਂ ਕਰਦੀ?

ਕੁਝ ਮਾਮਲਿਆਂ ਵਿੱਚ ਧਿਆਨ ਚਾਹੀਦਾ ਹੈ:

ਮੈਂ ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਵੰਡ ਕੰਮ ਕਰਦੀ ਹੈ?

ਆਪਣੀ robots.txt ਨੂੰ ਉਵੇਂ ਪੜ੍ਹੋ ਜਿਵੇਂ ਹਰ ਕ੍ਰੌਲਰ ਪੜ੍ਹੇਗਾ: ਉਹ ਗਰੁੱਪ ਲੱਭੋ ਜੋ ਉਸਦਾ ਨਾਮ ਲੈਂਦਾ ਹੈ, * 'ਤੇ ਸਿਰਫ਼ ਤਾਂ ਜਾਓ ਜੇ ਅਜਿਹਾ ਕੋਈ ਗਰੁੱਪ ਨਾ ਹੋਵੇ, ਅਤੇ ਸਭ ਤੋਂ ਲੰਬਾ ਮੇਲ ਖਾਂਦਾ ਨਿਯਮ ਲਾਗੂ ਕਰੋ। ਫਿਰ ਹਰ ਸਰਚ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਇੱਕ ਪੰਨਾ ਮੰਗੋ ਅਤੇ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਉਸਨੂੰ ਪੂਰੀ ਸਮੱਗਰੀ ਨਾਲ 200 ਮਿਲਦਾ ਹੈ, 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਨਹੀਂ।

AISeeWhy ਇਹ ਦੋਵੇਂ ਕੰਮ 14 ਕ੍ਰੌਲਰਾਂ ਲਈ ਕਰਦਾ ਹੈ, ਜੋ ਸਿਖਲਾਈ, ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਵਿੱਚ ਵੰਡੇ ਹੋਏ ਹਨ, ਅਤੇ ਸਭ ਤੋਂ ਆਮ ਗਲਤੀ ਦੱਸਦਾ ਹੈ: ਸਿਖਲਾਈ ਰੋਕਣ ਦੇ ਇਰਾਦੇ ਨਾਲ PerplexityBot ਜਾਂ Claude-SearchBot ਵਰਗਾ ਸਰਚ ਟੋਕਨ ਬਲੌਕ ਕਰ ਦੇਣਾ।

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ GPTBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੇਰੀ ਸਾਈਟ ChatGPT ਦੇ ਜਵਾਬਾਂ ਤੋਂ ਹਟ ਜਾਵੇਗੀ?

ਨਹੀਂ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ GPTBot ਸਿਖਲਾਈ ਲਈ ਹੈ ਅਤੇ ਹਰ robots.txt ਸੈਟਿੰਗ ਸੁਤੰਤਰ ਹੈ। ChatGPT ਸਰਚ OAI-SearchBot ਵਰਤਦੀ ਹੈ; ਜਦੋਂ ਤੱਕ ਉਸਨੂੰ ਇਜਾਜ਼ਤ ਹੈ ਅਤੇ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਉਸਨੂੰ ਬਲੌਕ ਨਹੀਂ ਕਰਦੀ, ਤੁਹਾਡੇ ਪੰਨੇ ਯੋਗ ਰਹਿੰਦੇ ਹਨ।

ਕੀ Google-Extended ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੈਂ AI Overviews ਤੋਂ ਹਟ ਜਾਵਾਂਗਾ?

Google ਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਮੁਤਾਬਕ ਨਹੀਂ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ Google-Extended Google Search ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ, ਅਤੇ AI Overviews Search ਇੰਡੈਕਸ ਤੋਂ ਲੈਂਦੇ ਹਨ। ਕਿਸੇ ਸਾਈਟ ਨੂੰ AI Overviews ਅਤੇ AI Mode ਤੋਂ ਬਾਹਰ ਰੱਖਣ ਲਈ Google Search Console ਵਿੱਚ ਵੱਖਰਾ ਕੰਟਰੋਲ ਦਿੰਦਾ ਹੈ।

ਕੀ ਕੋਈ ਇੱਕ ਲਾਈਨ ਹੈ ਜੋ ਸਾਰੀ AI ਸਿਖਲਾਈ ਰੋਕ ਦੇਵੇ?

ਕੋਈ ਮਿਆਰੀ ਲਾਈਨ ਨਹੀਂ ਹੈ। Content-Signal: ai-train=no ਸਾਰੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਪਸੰਦ ਦੱਸਦੀ ਹੈ, ਪਰ ਕੋਈ ਕ੍ਰੌਲਰ ਇਸਦੀ ਪਾਲਣਾ ਕਰੇਗਾ ਜਾਂ ਨਹੀਂ, ਇਹ ਉਸਦੇ ਸੰਚਾਲਕ 'ਤੇ ਨਿਰਭਰ ਹੈ। ਹਰ ਸਿਖਲਾਈ ਟੋਕਨ ਲਈ ਨਾਮ ਵਾਲੇ ਗਰੁੱਪ ਹੀ ਦਸਤਾਵੇਜ਼ੀ ਤਰੀਕਾ ਹਨ।

ਕੀ AI ਸਿਖਲਾਈ ਰੋਕਣ ਲਈ ਮੈਨੂੰ Perplexity ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ?

Perplexity ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਏਜੰਟ ਸਿਖਲਾਈ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨ ਲਈ ਨਹੀਂ ਵਰਤੇ ਜਾਂਦੇ। PerplexityBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ Perplexity ਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਤੁਹਾਡੀ ਦਿੱਖ ਘਟਦੀ ਹੈ, ਪਰ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਹੋਣ ਦਾ ਕੰਮ ਨਹੀਂ ਹੁੰਦਾ।

ਸਰੋਤ

ਹੋਰ ਲੇਖ