AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt: ਕਿਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ, ਕਿਸਨੂੰ ਬਲੌਕ ਕਰਨਾ ਹੈ

ਪ੍ਰਕਾਸ਼ਿਤ

ਛੋਟਾ ਜਵਾਬ

ਜਿਸ ਵੀ AI ਕ੍ਰੌਲਰ ਦੀ ਤੁਹਾਨੂੰ ਪਰਵਾਹ ਹੈ, ਉਸਨੂੰ ਉਸਦਾ ਆਪਣਾ User-agent ਗਰੁੱਪ ਦਿਓ। ਜੇ ਤੁਸੀਂ ਹਵਾਲਾ ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ OAI-SearchBot, Claude-SearchBot ਅਤੇ PerplexityBot ਵਰਗੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ, ਅਤੇ GPTBot, ClaudeBot, Google-Extended ਅਤੇ Applebot-Extended ਵਰਗੇ ਸਿਖਲਾਈ ਟੋਕਨਾਂ ਬਾਰੇ ਵੱਖਰਾ ਫ਼ੈਸਲਾ ਕਰੋ। ਨਾਂ ਵਾਲਾ ਗਰੁੱਪ ਉਸ ਕ੍ਰੌਲਰ ਲਈ * ਗਰੁੱਪ ਦੀ ਥਾਂ ਲੈ ਲੈਂਦਾ ਹੈ।

robots.txt ਇੱਕ ਸਾਦੀ ਟੈਕਸਟ ਫ਼ਾਈਲ ਹੈ ਜੋ 1994 ਤੋਂ ਚੱਲੀ ਆ ਰਹੀ ਹੈ ਅਤੇ 2022 ਵਿੱਚ ਰਸਮੀ ਮਿਆਰ RFC 9309 ਬਣੀ। ਜ਼ਿਆਦਾਤਰ AI ਵੈਂਡਰ ਕਹਿੰਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਕ੍ਰੌਲਰ ਇਸਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ, ਅਤੇ ਕਈ ਸਰਚ ਅਤੇ ਸਿਖਲਾਈ ਲਈ ਵੱਖਰੇ ਟੋਕਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ। ਇਸ ਕਰਕੇ robots.txt ਆਪਣੀ AI ਨੀਤੀ ਦੱਸਣ ਦੀ ਸਭ ਤੋਂ ਸੌਖੀ ਥਾਂ ਹੈ, ਬਸ਼ਰਤੇ ਨਿਯਮਾਂ ਦਾ ਮਤਲਬ ਉਹੀ ਹੋਵੇ ਜੋ ਤੁਸੀਂ ਸਮਝਦੇ ਹੋ।

ਇਸ ਪੰਨੇ 'ਤੇ
  1. AI ਕ੍ਰੌਲਰ robots.txt ਦੇ ਕਿਹੜੇ ਟੋਕਨ ਵਰਤਦੇ ਹਨ?
  2. ਚੰਗਾ AI robots.txt ਕਿਹੋ ਜਿਹਾ ਹੁੰਦਾ ਹੈ?
  3. ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਚੁਣਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ 'ਤੇ ਕਿਹੜੇ ਨਿਯਮ ਲਾਗੂ ਹੁੰਦੇ ਹਨ?
  4. robots.txt ਦੀਆਂ ਸਭ ਤੋਂ ਆਮ ਗ਼ਲਤੀਆਂ ਕਿਹੜੀਆਂ ਹਨ?
  5. ਕੀ ਮੈਂ ਇਜਾਜ਼ਤ ਅਤੇ ਰੋਕ ਤੋਂ ਅੱਗੇ AI ਵਰਤੋਂ ਦੀ ਨੀਤੀ ਦੱਸ ਸਕਦਾ ਹਾਂ?
  6. ਤਬਦੀਲੀਆਂ ਵਿੱਚ ਕਿੰਨਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ, ਅਤੇ ਮੈਂ ਉਨ੍ਹਾਂ ਨੂੰ ਕਿਵੇਂ ਜਾਂਚਾਂ?

AI ਕ੍ਰੌਲਰ robots.txt ਦੇ ਕਿਹੜੇ ਟੋਕਨ ਵਰਤਦੇ ਹਨ?

ਇਹ ਉਹ ਟੋਕਨ ਹਨ ਜੋ ਵੈਂਡਰ ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਦੱਸਦੇ ਹਨ। RFC 9309 ਮੁਤਾਬਕ ਮੇਲ ਕਰਨ ਵੇਲੇ ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦਾ ਫ਼ਰਕ ਨਹੀਂ ਪੈਂਦਾ।

ਚੰਗਾ AI robots.txt ਕਿਹੋ ਜਿਹਾ ਹੁੰਦਾ ਹੈ?

ਇਹ ਮਿਸਾਲ AI ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਦੀ ਮੰਗ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਆਉਣ ਦਿੰਦੀ ਹੈ, ਮੁੱਖ ਸਿਖਲਾਈ ਟੋਕਨਾਂ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੀ ਹੈ ਅਤੇ ਇੱਕ ਨਿੱਜੀ ਹਿੱਸਾ ਸਾਰਿਆਂ ਲਈ ਬੰਦ ਰੱਖਦੀ ਹੈ:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

ਲਗਾਤਾਰ ਆਈਆਂ ਕਈ User-agent ਲਾਈਨਾਂ ਇੱਕ ਗਰੁੱਪ ਬਣਾਉਂਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਹੇਠਲੇ ਨਿਯਮ ਉਨ੍ਹਾਂ ਸਾਰੇ ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ। ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾਵੇ, ਤਾਂ ਬੱਸ ਦੂਜਾ ਗਰੁੱਪ ਛੱਡ ਦਿਓ। Google-Extended ਨੂੰ ਬਲੌਕ ਕਰਨ ਦਾ Google ਸਰਚ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ: Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸਦਾ ਸਰਚ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਣ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ ਅਤੇ ਇਹ ਰੈਂਕਿੰਗ ਦਾ ਸੰਕੇਤ ਨਹੀਂ ਹੈ। ਇਸੇ ਤਰ੍ਹਾਂ, Apple ਕਹਿੰਦਾ ਹੈ ਕਿ Applebot-Extended ਨੂੰ ਰੋਕਣ ਵਾਲੇ ਪੰਨੇ ਫਿਰ ਵੀ ਉਸਦੇ ਸਰਚ ਨਤੀਜਿਆਂ ਵਿੱਚ ਆ ਸਕਦੇ ਹਨ।

ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਚੁਣਦੇ ਹਨ ਕਿ ਉਨ੍ਹਾਂ 'ਤੇ ਕਿਹੜੇ ਨਿਯਮ ਲਾਗੂ ਹੁੰਦੇ ਹਨ?

RFC 9309 ਇਸਨੂੰ ਬਿਲਕੁਲ ਸਾਫ਼ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਹੀ ਵੇਰਵੇ ਜ਼ਿਆਦਾਤਰ ਹੈਰਾਨੀਆਂ ਦੀ ਵਜ੍ਹਾ ਦੱਸਦੇ ਹਨ:

robots.txt ਦੀਆਂ ਸਭ ਤੋਂ ਆਮ ਗ਼ਲਤੀਆਂ ਕਿਹੜੀਆਂ ਹਨ?

ਕੀ ਮੈਂ ਇਜਾਜ਼ਤ ਅਤੇ ਰੋਕ ਤੋਂ ਅੱਗੇ AI ਵਰਤੋਂ ਦੀ ਨੀਤੀ ਦੱਸ ਸਕਦਾ ਹਾਂ?

Cloudflare ਨੇ robots.txt ਲਈ ਤਿੰਨ ਸੰਕੇਤਾਂ ਵਾਲੀ Content-Signal ਲਾਈਨ ਦਾ ਪ੍ਰਸਤਾਵ ਦਿੱਤਾ ਹੈ: search (ਸਰਚ ਇੰਡੈਕਸ ਬਣਾਉਣਾ ਅਤੇ ਲਿੰਕ ਤੇ ਛੋਟੇ ਅੰਸ਼ ਦਿਖਾਉਣੇ), ai-input (AI ਜਵਾਬਾਂ ਲਈ ਸਮੱਗਰੀ ਨੂੰ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਵਰਤਣਾ) ਅਤੇ ai-train (ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਜਾਂ fine-tuning)। Cloudflare ਦਾ managed robots.txt ਇਸਨੂੰ ਤੁਹਾਡੇ ਲਈ ਜੋੜ ਸਕਦਾ ਹੈ।

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

robots.txt ਦੀ ਹਰ ਚੀਜ਼ ਵਾਂਗ, ਇਹ ਤਰਜੀਹਾਂ ਹਨ, ਤਕਨੀਕੀ ਕੰਟਰੋਲ ਨਹੀਂ। Cloudflare ਆਪ ਦੱਸਦਾ ਹੈ ਕਿ robots.txt ਦੀ ਪਾਲਣਾ ਸਵੈ-ਇੱਛਾ ਨਾਲ ਹੁੰਦੀ ਹੈ। ਇਹ ਲਾਈਨ ਚੋਣਵੀਂ ਹੈ ਅਤੇ ਕੋਈ ਨੁਕਸਾਨ ਨਹੀਂ ਕਰਦੀ, ਪਰ ਇਹ ਉੱਪਰਲੇ ਹਰ ਕ੍ਰੌਲਰ ਵਾਲੇ ਗਰੁੱਪਾਂ ਦੀ ਥਾਂ ਨਹੀਂ ਲੈਂਦੀ।

ਤਬਦੀਲੀਆਂ ਵਿੱਚ ਕਿੰਨਾ ਸਮਾਂ ਲੱਗਦਾ ਹੈ, ਅਤੇ ਮੈਂ ਉਨ੍ਹਾਂ ਨੂੰ ਕਿਵੇਂ ਜਾਂਚਾਂ?

RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੈਸ਼ ਕੀਤਾ robots.txt 24 ਘੰਟਿਆਂ ਤੋਂ ਵੱਧ ਨਹੀਂ ਵਰਤਣਾ ਚਾਹੀਦਾ, ਅਤੇ OpenAI ਤੇ Perplexity ਦੋਵੇਂ ਕਹਿੰਦੇ ਹਨ ਕਿ ਤਬਦੀਲੀਆਂ ਲਾਗੂ ਹੋਣ ਵਿੱਚ ਲਗਭਗ ਇੱਕ ਦਿਨ ਲੱਗ ਸਕਦਾ ਹੈ। ਇਹ ਵੀ ਯਾਦ ਰੱਖੋ ਕਿ robots.txt ਪਹੁੰਚ ਕੰਟਰੋਲ ਨਹੀਂ ਹੈ: ਜਿਸ ਕ੍ਰੌਲਰ ਨੂੰ ਤੁਹਾਡੇ ਨਿਯਮ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ, ਫਾਇਰਵਾਲ ਉਸਨੂੰ ਫਿਰ ਵੀ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ।

AISeeWhy ਜਿਸ ਵੀ ਕ੍ਰੌਲਰ ਨੂੰ ਜਾਂਚਦਾ ਹੈ ਉਸ ਲਈ ਤੁਹਾਡਾ robots.txt RFC 9309 ਮੁਤਾਬਕ ਪਾਰਸ ਕਰਦਾ ਹੈ, ਉਨ੍ਹਾਂ ਫ਼ਾਈਲਾਂ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਤੱਕ ਪਹੁੰਚ ਨਹੀਂ ਜਾਂ ਜੋ HTML ਵਜੋਂ ਮਿਲਦੀਆਂ ਹਨ, ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਨਿਯਮ ਅਤੇ ਤੁਹਾਡਾ ਸਰਵਰ ਕਿੱਥੇ ਵੱਖ ਹਨ ਅਤੇ ਤਬਦੀਲੀ ਲਈ ਤਿਆਰ diff ਦਿੰਦਾ ਹੈ।

ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ GPTBot ਜਾਂ ClaudeBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ AI ਜਵਾਬਾਂ ਵਿੱਚ ਮੇਰੀ ਦਿੱਖ ਘਟਦੀ ਹੈ?

ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਨਹੀਂ। ਦੋਵੇਂ ਵੈਂਡਰ ਸਰਚ ਲਈ ਵੱਖਰੇ ਸਰਚ ਕ੍ਰੌਲਰ ਵਰਤਦੇ ਹਨ, OAI-SearchBot ਅਤੇ Claude-SearchBot। ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਨੀਤੀ ਦੀ ਚੋਣ ਹੈ।

ਕੀ Google-Extended AI Overviews ਨੂੰ ਰੋਕਦਾ ਹੈ?

ਨਹੀਂ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਸਰਚ ਦੇ AI ਫੀਚਰ Googlebot ਅਤੇ nosnippet ਤੇ noindex ਵਰਗੇ ਆਮ ਸਰਚ ਕੰਟਰੋਲ ਵਰਤਦੇ ਹਨ। Google-Extended Gemini ਦੀ ਸਿਖਲਾਈ ਅਤੇ Google ਦੇ ਹੋਰ ਉਤਪਾਦਾਂ ਵਿੱਚ grounding ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ ਅਤੇ ਸਰਚ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ।

ਕੀ AI ਕ੍ਰੌਲਰ Crawl-delay ਨੂੰ ਮੰਨਦੇ ਹਨ?

ਇਹ RFC 9309 ਦਾ ਹਿੱਸਾ ਨਹੀਂ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ Crawl-delay ਨੂੰ ਗ਼ੈਰ-ਮਿਆਰੀ ਵਾਧੇ ਵਜੋਂ ਮੰਨਦਾ ਹੈ; ਹੋਰ ਵੈਂਡਰਾਂ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਦਸਤਾਵੇਜ਼ ਦੇਖੋ।

robots.txt ਕਿੱਥੇ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ?

ਹਰ ਹੋਸਟ ਦੇ ਰੂਟ 'ਤੇ, ਮਿਸਾਲ ਵਜੋਂ https://example.com/robots.txt। ਸਬਫੋਲਡਰ ਵਿਚਲੀ ਫ਼ਾਈਲ ਅਣਡਿੱਠ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਹਰ ਸਬਡੋਮੇਨ ਨੂੰ ਆਪਣੀ ਫ਼ਾਈਲ ਚਾਹੀਦੀ ਹੈ।

ਸਰੋਤ

ਹੋਰ ਲੇਖ