robots.txt ਵਿੱਚ Content-Signal ਕੀ ਹੈ, ਅਤੇ ਕੀ ਕੋਈ ਇਸਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ?
Content-Signal robots.txt ਦੀ ਇੱਕ ਵਿਕਲਪਿਕ ਲਾਈਨ ਹੈ, ਜੋ Cloudflare ਨੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਹੈ, ਅਤੇ ਦੱਸਦੀ ਹੈ ਕਿ ਲਿਆਂਦੇ ਜਾਣ ਤੋਂ ਬਾਅਦ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਕਿਵੇਂ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ: ਸਰਚ ਨਤੀਜਿਆਂ ਲਈ search, AI ਜਵਾਬਾਂ ਵਿੱਚ ਪਾਉਣ ਲਈ ai-input ਅਤੇ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ai-train, ਹਰ ਇੱਕ yes ਜਾਂ no 'ਤੇ, ਜਿਵੇਂ Content-Signal: search=yes, ai-input=yes, ai-train=no। ਇਹ ਪਸੰਦ ਦੱਸਦੀ ਹੈ ਅਤੇ ਕੁਝ ਵੀ ਬਲੌਕ ਨਹੀਂ ਕਰਦੀ। ਨਵੰਬਰ 2026 ਤੱਕ OpenAI, Anthropic, Google ਜਾਂ Perplexity ਦੇ ਕ੍ਰੌਲਰ ਪੰਨਿਆਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਨਹੀਂ ਕਹਿੰਦਾ ਕਿ ਉਹ ਇਸਨੂੰ ਪੜ੍ਹਦੇ ਹਨ, ਜਦਕਿ ਵੱਡੀਆਂ AI ਕੰਪਨੀਆਂ ਨੇ ਇਸਦੀ ਥਾਂ ਇੱਕ ਵੱਖਰੇ, ਸਿਰਫ਼ ਸਿਖਲਾਈ ਵਾਲੇ ਟੋਕਨ ਦਾ ਸਮਰਥਨ ਕੀਤਾ ਹੈ।
robots.txt ਇਹ ਦੱਸਣ ਲਈ ਬਣੀ ਸੀ ਕਿ ਕ੍ਰੌਲਰ ਕਿੱਥੇ ਜਾ ਸਕਦਾ ਹੈ, ਇਹ ਨਹੀਂ ਕਿ ਜੋ ਉਹ ਪੜ੍ਹਦਾ ਹੈ ਉਸ ਨਾਲ ਕੀ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਜਦੋਂ ਇੱਕੋ fetch ਸਰਚ ਇੰਡੈਕਸ, ਲਾਈਵ AI ਜਵਾਬ ਅਤੇ ਸਿਖਲਾਈ ਸੈੱਟ ਤਿੰਨਾਂ ਨੂੰ ਭਰ ਸਕਦੀ ਸੀ, ਤਾਂ ਇਹ ਖੱਪਾ ਅਹਿਮ ਹੋ ਗਿਆ। Cloudflare ਨੇ ਇਸਨੂੰ ਭਰਨ ਲਈ 24 ਸਤੰਬਰ 2025 ਨੂੰ CC0 ਲਾਇਸੈਂਸ ਹੇਠ Content Signals Policy ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ, ਅਤੇ ਉਦੋਂ ਕਿਹਾ ਕਿ ਉਸਦੇ ਗਾਹਕ 3.8 ਮਿਲੀਅਨ ਤੋਂ ਵੱਧ ਡੋਮੇਨਾਂ ਲਈ ਪ੍ਰਬੰਧਿਤ robots.txt ਚਾਲੂ ਕਰ ਚੁੱਕੇ ਹਨ, ਇੱਕ ਫੀਚਰ ਜੋ ਹੁਣ ਉਨ੍ਹਾਂ ਲਈ ਇਹ ਲਾਈਨ ਜੋੜਦਾ ਹੈ।
ਇਸ ਪੰਨੇ 'ਤੇ
- search, ai-input ਅਤੇ ai-train ਦਾ ਕੀ ਮਤਲਬ ਹੈ?
- robots.txt ਵਿੱਚ Content-Signal ਲਾਈਨ ਕਿਵੇਂ ਲਿਖੀਏ?
- ਲਾਈਨ ਦੇ ਉੱਪਰ ਵਾਲਾ ਨੀਤੀ ਪਾਠ ਕੀ ਕਹਿੰਦਾ ਹੈ?
- ਕੀ Content-Signal ਪਹਿਲਾਂ ਹੀ ਮੇਰੀ robots.txt ਵਿੱਚ ਹੈ?
- ਕੀ AI ਕ੍ਰੌਲਰ Content-Signal ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ?
- ਕੀ ਮੈਨੂੰ ਆਪਣੀ robots.txt ਵਿੱਚ Content-Signal ਜੋੜਨਾ ਚਾਹੀਦਾ ਹੈ?
- ਮੈਂ ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਮੇਰੀ robots.txt ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਕੀ ਦੱਸਦੀ ਹੈ?
search, ai-input ਅਤੇ ai-train ਦਾ ਕੀ ਮਤਲਬ ਹੈ?
ਨੀਤੀ ਤਿੰਨ ਸੰਕੇਤ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦੀ ਹੈ। ਹੇਠਲੀ ਸ਼ਬਦਾਵਲੀ contentsignals.org ਅਤੇ Cloudflare ਵੱਲੋਂ ਪ੍ਰਕਾਸ਼ਿਤ ਨੀਤੀ ਦੇ ਪਾਠ 'ਤੇ ਆਧਾਰਿਤ ਹੈ:
search: ਸਰਚ ਇੰਡੈਕਸ ਬਣਾਉਣਾ ਅਤੇ ਸਰਚ ਨਤੀਜੇ ਦੇਣਾ, ਜਿਵੇਂ ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਦੇ ਹਾਈਪਰਲਿੰਕ ਅਤੇ ਛੋਟੇ ਅੰਸ਼ ਦਿਖਾਉਣਾ। ਪਰਿਭਾਸ਼ਾ ਕਹਿੰਦੀ ਹੈ ਕਿ search ਵਿੱਚ AI ਨਾਲ ਬਣੇ ਸਰਚ ਸਾਰ ਸ਼ਾਮਲ ਨਹੀਂ।ai-input: ਸਮੱਗਰੀ ਨੂੰ ਇੱਕ ਜਾਂ ਵੱਧ AI ਮਾਡਲਾਂ ਵਿੱਚ ਪਾਉਣਾ, ਜਿਵੇਂ retrieval augmented generation, grounding ਜਾਂ ਜਨਰੇਟਿਵ AI ਸਰਚ ਜਵਾਬਾਂ ਲਈ ਸਮੱਗਰੀ ਦੀ ਹੋਰ ਰੀਅਲ-ਟਾਈਮ ਵਰਤੋਂ।ai-train: AI ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਜਾਂ fine-tuning।
ਹਰ ਸੰਕੇਤ yes ਜਾਂ no ਲੈਂਦਾ ਹੈ। ਨੀਤੀ ਦੀਆਂ ਸ਼ਰਤਾਂ ਵਿੱਚ yes ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਸਮੱਗਰੀ ਉਸ ਵਰਤੋਂ ਲਈ ਇਕੱਠੀ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ, no ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਨਹੀਂ, ਅਤੇ ਜੋ ਸੰਕੇਤ ਤੁਸੀਂ ਛੱਡ ਦਿੰਦੇ ਹੋ ਉਹ ਉਸ ਵਰਤੋਂ ਦੀ ਨਾ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਨਾ ਰੋਕ ਲਾਉਂਦਾ ਹੈ। Cloudflare ਦਾ ਡਿਫਾਲਟ search ਅਤੇ ai-train ਸੈੱਟ ਕਰਦਾ ਹੈ ਅਤੇ ai-input ਖਾਲੀ ਛੱਡਦਾ ਹੈ, ਕਿਉਂਕਿ ਉਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਨੂੰ ਇਸ ਸੰਕੇਤ ਬਾਰੇ ਹਰ ਗਾਹਕ ਦੀ ਪਸੰਦ ਨਹੀਂ ਪਤਾ ਅਤੇ ਉਹ ਅੰਦਾਜ਼ਾ ਨਹੀਂ ਲਾਉਣਾ ਚਾਹੁੰਦਾ।
search ਅਤੇ ai-input ਵਿਚਲਾ ਫ਼ਰਕ ਹੀ ਉਹ ਹੈ ਜੋ ਜ਼ਿਆਦਾਤਰ ਲੋਕਾਂ ਤੋਂ ਖੁੰਝ ਜਾਂਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਤੁਹਾਡੇ ਪੰਨੇ AI ਜਵਾਬਾਂ ਵਿੱਚ ਵਰਤੇ ਜਾਣ, ਤਾਂ ਸਿਰਫ਼ search=yes ਇਹ ਨਹੀਂ ਕਹਿੰਦਾ। ai-input=yes ਕਹਿੰਦਾ ਹੈ।
robots.txt ਵਿੱਚ Content-Signal ਲਾਈਨ ਕਿਵੇਂ ਲਿਖੀਏ?
Content-Signal ਯੂਜ਼ਰ ਏਜੰਟ ਗਰੁੱਪ ਦੇ ਅੰਦਰ, Allow ਅਤੇ Disallow ਦੇ ਨਾਲ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਸੰਕੇਤ ਕੌਮਿਆਂ ਨਾਲ ਵੱਖ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। contentsignals.org ਇੱਕ ਅਜਿਹਾ ਰੂਪ ਵੀ ਦਿਖਾਉਂਦੀ ਹੈ ਜੋ path ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਜੋ ਸਾਈਟ ਦੇ ਇੱਕ ਹਿੱਸੇ ਦੇ ਸੰਕੇਤ ਬਾਕੀ ਤੋਂ ਵੱਖਰੇ ਹੋ ਸਕਣ:
User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/ Allow ਅਤੇ Disallow ਬਿਲਕੁਲ ਪਹਿਲਾਂ ਵਾਂਗ ਕੰਮ ਕਰਦੇ ਰਹਿੰਦੇ ਹਨ, ਅਤੇ Content-Signal ਉਨ੍ਹਾਂ ਦੀ ਥਾਂ ਨਹੀਂ ਲੈਂਦੀ। RFC 9309 ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਪ੍ਰੋਟੋਕੋਲ ਤੋਂ ਬਾਹਰਲੇ ਰਿਕਾਰਡ ਸਮਝਣ ਦਿੰਦਾ ਹੈ, ਜਦੋਂ ਤੱਕ ਇਹ ਪਰਿਭਾਸ਼ਿਤ ਨਿਯਮਾਂ ਵਿੱਚ ਦਖ਼ਲ ਨਾ ਦੇਵੇ, ਇਸ ਲਈ ਜੋ ਪਾਰਸਰ ਇਸ ਲਾਈਨ ਨੂੰ ਨਹੀਂ ਜਾਣਦਾ, ਉਸਨੂੰ ਇਹ ਛੱਡ ਦੇਣੀ ਚਾਹੀਦੀ ਹੈ।
ਦੋ ਗੱਲਾਂ ਜਾਣਨ ਯੋਗ ਹਨ। ਪਹਿਲੀ, ਲਾਈਨ ਇੱਕ ਗਰੁੱਪ ਨਾਲ ਸੰਬੰਧਿਤ ਹੁੰਦੀ ਹੈ। RFC 9309 ਮੁਤਾਬਕ ਜਿਸ ਕ੍ਰੌਲਰ ਦੇ ਆਪਣੇ ਨਾਮ ਵਾਲਾ ਗਰੁੱਪ ਹੈ, ਉਹ User-agent: * ਗਰੁੱਪ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦਾ ਹੈ, ਅਤੇ Content Signals ਦੇ ਪੰਨੇ ਇਸ ਲਾਈਨ ਲਈ ਕੋਈ ਅਪਵਾਦ ਨਹੀਂ ਦੱਸਦੇ। ਜੇ ਤੁਸੀਂ Googlebot ਜਾਂ OAI-SearchBot ਨੂੰ ਆਪਣਾ ਗਰੁੱਪ ਦਿੰਦੇ ਹੋ, ਤਾਂ ਉੱਥੇ Content-Signal ਲਾਈਨ ਦੁਹਰਾਓ, ਜਿਵੇਂ contentsignals.org ਆਪਣੀ ਹਰ-ਕ੍ਰੌਲਰ ਵਾਲੀ ਮਿਸਾਲ ਵਿੱਚ ਕਰਦੀ ਹੈ। ਦੂਜੀ, Google Search Console ਇਸ ਲਾਈਨ ਲਈ Syntax not understood ਦੱਸ ਸਕਦਾ ਹੈ। Cloudflare ਦੇ ਦਸਤਾਵੇਜ਼ ਇਸਦਾ ਜ਼ਿਕਰ ਕਰਦੇ ਹਨ ਅਤੇ ਕਹਿੰਦੇ ਹਨ ਕਿ ਉਸਨੇ ਕ੍ਰੌਲਿੰਗ ਜਾਂ SEO 'ਤੇ ਕੋਈ ਅਸਰ ਨਹੀਂ ਦੇਖਿਆ। Google ਦੇ robots.txt ਦਸਤਾਵੇਜ਼ ਸਪੋਰਟ ਕੀਤੇ ਫੀਲਡਾਂ ਵਜੋਂ ਸਿਰਫ਼ user-agent, allow, disallow ਅਤੇ sitemap ਦੱਸਦੇ ਹਨ।
ਲਾਈਨ ਦੇ ਉੱਪਰ ਵਾਲਾ ਨੀਤੀ ਪਾਠ ਕੀ ਕਹਿੰਦਾ ਹੈ?
Content Signals Policy ਇੱਕ ਲਾਈਨ ਤੋਂ ਵੱਧ ਹੈ। contentsignals.org 'ਤੇ Cloudflare ਦਾ ਜਨਰੇਟਰ ਅਤੇ ਉਸਦੀ ਪ੍ਰਬੰਧਿਤ robots.txt ਦੋਵੇਂ ਸੰਕੇਤਾਂ ਦੇ ਉੱਪਰ ਟਿੱਪਣੀਆਂ ਦਾ ਇੱਕ ਬਲੌਕ ਰੱਖਦੇ ਹਨ। ਇਹ ਇਹ ਕਹਿ ਕੇ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ ਕਿ ਵੈੱਬਸਾਈਟ ਤੱਕ ਪਹੁੰਚ ਦੀ ਸ਼ਰਤ ਵਜੋਂ ਤੁਸੀਂ content signals ਦੀ ਪਾਲਣਾ ਕਰਨ ਲਈ ਸਹਿਮਤ ਹੋ, ਫਿਰ ਤਿੰਨ ਸੰਕੇਤ ਅਤੇ yes, no ਅਤੇ ਗ਼ੈਰ-ਮੌਜੂਦ ਹਾਲਤਾਂ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ।
ਇਹ ਵੱਡੇ ਅੱਖਰਾਂ ਵਾਲੇ ਇੱਕ ਵਾਕ ਨਾਲ ਖ਼ਤਮ ਹੁੰਦਾ ਹੈ, ਜੋ ਕਹਿੰਦਾ ਹੈ ਕਿ content signals ਰਾਹੀਂ ਦੱਸੀਆਂ ਕੋਈ ਵੀ ਪਾਬੰਦੀਆਂ Digital Single Market ਵਿੱਚ ਕਾਪੀਰਾਈਟ ਬਾਰੇ EU Directive 2019/790 ਦੇ Article 4 ਹੇਠ ਅਧਿਕਾਰਾਂ ਦਾ ਸਪਸ਼ਟ ਰਾਖਵਾਂਕਰਨ ਹਨ। Cloudflare ਦਾ ਐਲਾਨ ਜੋੜਦਾ ਹੈ ਕਿ ਵੱਖ-ਵੱਖ ਅਧਿਕਾਰ ਖੇਤਰਾਂ ਵਿੱਚ ਇਨ੍ਹਾਂ ਸੰਕੇਤਾਂ ਦਾ ਕਾਨੂੰਨੀ ਵਜ਼ਨ ਹੋ ਸਕਦਾ ਹੈ।
contentsignals.org ਖੁਦ ਚੇਤਾਵਨੀ ਦਿੰਦੀ ਹੈ ਕਿ ਅਦਾਲਤਾਂ ਅਤੇ ਰੈਗੂਲੇਟਰ ਇਸ ਨਤੀਜੇ 'ਤੇ ਪਹੁੰਚ ਸਕਦੇ ਹਨ ਕਿ robots.txt ਫਾਈਲਾਂ ਲਾਗੂ ਹੋਣ ਯੋਗ ਕਾਨੂੰਨੀ ਜ਼ਿੰਮੇਵਾਰੀਆਂ ਨਹੀਂ ਥੋਪਦੀਆਂ, ਅਤੇ ਵਕੀਲ ਦੀ ਸਲਾਹ ਲੈਣ ਦਾ ਸੁਝਾਅ ਦਿੰਦੀ ਹੈ। ਟਿੱਪਣੀਆਂ ਦੇ ਬਲੌਕ ਨੂੰ ਆਪਣੀ ਸਥਿਤੀ ਦਾ ਲਿਖਤੀ ਬਿਆਨ ਮੰਨੋ, ਇਕਰਾਰਨਾਮਾ ਨਹੀਂ।
ਕੀ Content-Signal ਪਹਿਲਾਂ ਹੀ ਮੇਰੀ robots.txt ਵਿੱਚ ਹੈ?
ਜੇ ਤੁਹਾਡੀ ਸਾਈਟ Cloudflare 'ਤੇ ਹੈ, ਤਾਂ ਹੋ ਸਕਦਾ ਹੈ, ਦੋ ਵਿੱਚੋਂ ਕਿਸੇ ਇੱਕ ਤਰੀਕੇ ਨਾਲ:
- ਪ੍ਰਬੰਧਿਤ robots.txt। ਜਦੋਂ Bot Preference Sync ਚਾਲੂ ਹੋਵੇ ਅਤੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI Crawler and Agent access ਨੀਤੀ Block, Block on pages with ads, ਜਾਂ Training ਲਈ Disallow 'ਤੇ ਹੋਵੇ, ਤਾਂ Cloudflare ਤੁਹਾਡੇ ਸਰਵਰ ਵੱਲੋਂ ਭੇਜੀ robots.txt ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਇੱਕ ਪ੍ਰਬੰਧਿਤ ਬਲੌਕ ਜੋੜਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਨੀਤੀ ਪਾਠ,
User-Agent: *ਹੇਠContent-signal: search=yes, ai-train=no, use=reference, ਅਤੇAmazonbot,Applebot-Extended,Bytespider,CCBot,ClaudeBot,Google-Extended,GPTBotਅਤੇmeta-externalagentਲਈDisallow: /ਹੁੰਦਾ ਹੈ। - ਕੋਈ robots.txt ਨਹੀਂ। Cloudflare ਕਹਿੰਦਾ ਹੈ ਕਿ Free ਪਲਾਨ ਵਾਲੇ ਡੋਮੇਨ, ਜਿਨ੍ਹਾਂ ਦੀ ਆਪਣੀ robots.txt ਨਹੀਂ ਅਤੇ ਜੋ ਪ੍ਰਬੰਧਿਤ ਫੀਚਰ ਨਹੀਂ ਵਰਤਦੇ, ਕ੍ਰੌਲਰ ਦੇ
/robots.txtਮੰਗਣ 'ਤੇ Content Signals Policy ਦਿਖਾਉਂਦੇ ਹਨ। ਉਸ ਸੰਸਕਰਣ ਵਿੱਚ ਪਰਿਭਾਸ਼ਾਵਾਂ ਹਨ ਪਰ ਕੋਈ ਪਸੰਦ ਨਹੀਂ ਦੱਸੀ ਗਈ।
use=reference ਵਾਲਾ ਹਿੱਸਾ ਨਵਾਂ ਹੈ। Cloudflare use ਨੂੰ ਇੱਕ ਵਿਕਲਪਿਕ ਚੌਥਾ ਫੀਲਡ ਦੱਸਦਾ ਹੈ ਜਿਸਦੀ ਉਹ ਜਾਂਚ ਕਰ ਰਿਹਾ ਹੈ, ਤਿੰਨ ਮੁੱਲਾਂ ਨਾਲ: immediate (ਵਰਤੋ, ਪਰ ਕੁਝ ਵੀ ਸਟੋਰ ਜਾਂ ਦੁਬਾਰਾ ਨਾ ਵਰਤੋ), reference (ਇੰਡੈਕਸ ਕਰੋ, ਅੰਸ਼ ਦਿਖਾਓ ਅਤੇ ਵਾਪਸ ਲਿੰਕ ਦਿਓ) ਅਤੇ full (ਸਾਰ ਦਿਓ ਅਤੇ ਦੁਹਰਾਓ)। ਇਹ ਤਿੰਨ ਅਸਲ ਸੰਕੇਤਾਂ ਵਿੱਚੋਂ ਨਹੀਂ, ਅਤੇ ਸਾਡੇ ਜਾਂਚੇ ਕਿਸੇ ਵੀ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ ਵਿੱਚ ਇਸਦਾ ਜ਼ਿਕਰ ਨਹੀਂ।
ਕਿਉਂਕਿ Cloudflare ਇਹ ਲਾਈਨਾਂ edge 'ਤੇ ਜੋੜਦਾ ਹੈ, ਤੁਹਾਡੀ ਰਿਪੋਜ਼ਟਰੀ ਵਾਲੀ ਫਾਈਲ ਬਿਨਾਂ ਬਦਲੀ ਲੱਗ ਸਕਦੀ ਹੈ ਜਦਕਿ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਮਿਲਣ ਵਾਲੀ ਫਾਈਲ ਵੱਖਰੀ ਹੁੰਦੀ ਹੈ। ਆਪਣੀ ਲਾਈਨ ਜੋੜਨ ਤੋਂ ਪਹਿਲਾਂ ਲਾਈਵ https://yourdomain.com/robots.txt ਲਿਆਓ, ਤਾਂ ਜੋ ਜਵਾਬ ਵਿੱਚ ਦੋ ਵੱਖਰੀਆਂ ਨੀਤੀਆਂ ਨਾ ਹੋਣ।
ਵੱਡੀਆਂ ਸਾਈਟਾਂ ਵਿੱਚ ਇਸਦੀ ਵਰਤੋਂ ਅਜੇ ਘੱਟ ਹੈ। 1,000 ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਡੋਮੇਨਾਂ ਦੇ ਸਾਡੇ ਨਵੰਬਰ 2026 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਦੇਣ ਵਾਲੀਆਂ 518 ਸਾਈਟਾਂ ਵਿੱਚੋਂ 18 (3.5%) ਨੇ Content-Signal ਵਰਤਿਆ।
ਕੀ AI ਕ੍ਰੌਲਰ Content-Signal ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ?
ਸਾਨੂੰ ਮਿਲੇ ਕਿਸੇ ਵੀ ਦਸਤਾਵੇਜ਼ ਮੁਤਾਬਕ ਨਹੀਂ। 17 ਨਵੰਬਰ 2026 ਨੂੰ ਅਸੀਂ OpenAI, Anthropic, Google ਅਤੇ Perplexity ਦੇ ਕ੍ਰੌਲਰ ਪੰਨੇ ਜਾਂਚੇ, ਅਤੇ ਕੋਈ ਵੀ Content-Signal ਦਾ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦਾ। Cloudflare ਖੁਦ ਸੰਕੇਤਾਂ ਨੂੰ ਪਸੰਦਾਂ ਦੱਸਦਾ ਹੈ, ਸਕ੍ਰੇਪਿੰਗ ਵਿਰੁੱਧ ਤਕਨੀਕੀ ਉਪਾਅ ਨਹੀਂ, ਅਤੇ ਕਹਿੰਦਾ ਹੈ ਕਿ ਕੁਝ ਕੰਪਨੀਆਂ ਇਨ੍ਹਾਂ ਨੂੰ ਸਿੱਧੇ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰ ਸਕਦੀਆਂ ਹਨ।
AI ਕੰਪਨੀਆਂ ਨੇ ਇਸਦੀ ਥਾਂ IETF AI Preferences working group ਦੇ ਕੰਮ 'ਤੇ ਆਧਾਰਿਤ ਇੱਕ ਵੱਖਰੇ ਤਰੀਕੇ ਦਾ ਵੇਰਵਾ ਦਿੱਤਾ ਹੈ: ਇੱਕ ਨੀਤੀ ਟੋਕਨ, __usage_ai-training, ਜੋ ਆਮ User-Agent ਗਰੁੱਪ ਵਜੋਂ ਲਿਖਿਆ ਜਾਂਦਾ ਹੈ। ਇਹ ਸਿਰਫ਼ ਸਿਖਲਾਈ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਸਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਕਰਨ ਵਾਲਾ Internet-Draft ਕਹਿੰਦਾ ਹੈ ਕਿ User-Agent: * ਗਰੁੱਪ ਨੂੰ ਇਸ ਟੋਕਨ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਮੰਨਿਆ ਜਾਂਦਾ:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/ ਸਮਰਥਨ ਅਸਮਾਨ ਹੈ ਅਤੇ ਕੁਝ ਹੱਦ ਤੱਕ ਅਜੇ ਆਉਣਾ ਬਾਕੀ ਹੈ। Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ 30 ਅਕਤੂਬਰ 2026 ਤੋਂ ਮਸ਼ੀਨ ਦੁਆਰਾ ਪੜ੍ਹੇ ਜਾ ਸਕਣ ਵਾਲੇ ਆਮ ਸਿਖਲਾਈ ਸੰਕੇਤ ਨੂੰ ਪਛਾਣਦਾ ਹੈ, ਇਸਨੂੰ ਹੌਲੀ-ਹੌਲੀ ਲਾਗੂ ਕਰ ਰਿਹਾ ਹੈ, ਅਤੇ ClaudeBot ਦਾ ਨਾਮ ਲੈਣ ਵਾਲਾ ਨਿਯਮ ਇਸ ਤੋਂ ਉੱਪਰ ਹੈ। Microsoft, Bing ਲਈ __usage_ai-training ਟੋਕਨ ਦਾ ਵੇਰਵਾ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਉਸਦੀਆਂ ਨਵੀਆਂ ਪਸੰਦਾਂ 1 ਫਰਵਰੀ 2027 ਤੋਂ ਪੰਨਿਆਂ ਦੇ ਕ੍ਰੌਲ ਹੋਣ ਨਾਲ ਲਾਗੂ ਹੋਣਗੀਆਂ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦਾ ਟੀਚਾ 2027 ਵਿੱਚ ਸਾਂਝੇ ਕੰਟਰੋਲ ਨੂੰ ਸਪੋਰਟ ਕਰਨਾ ਹੈ, ਅਤੇ ਜਦੋਂ ਉਸ ਟੋਕਨ ਦਾ ਨਾਮ ਨਾ ਲਿਆ ਗਿਆ ਹੋਵੇ ਤਾਂ ਇਸ ਰਾਹੀਂ ਸਿਖਲਾਈ opt-out ਨੂੰ Google-Extended ਦਾ disallow ਮੰਨਣ ਦੀ ਯੋਜਨਾ ਹੈ। OpenAI ਨੇ ਉਸੇ ਦਿਨ ਐਲਾਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਕਿ ਉਹ ਸਾਂਝੇ ਸੰਕੇਤ ਦਾ ਸਤਿਕਾਰ ਕਰੇਗਾ, ਬਿਨਾਂ ਕਿਸੇ ਤਾਰੀਖ ਦੇ।
ਇਸ ਲਈ ai-train=no ਅਤੇ __usage_ai-training ਮਿਲਦੀਆਂ-ਜੁਲਦੀਆਂ ਗੱਲਾਂ ਕਹਿੰਦੇ ਹਨ, ਪਰ ਸਿਰਫ਼ ਦੂਜੇ ਨੂੰ AI ਕੰਪਨੀਆਂ ਦਾ ਦਸਤਾਵੇਜ਼ੀ ਸਮਰਥਨ ਹੈ। GPTBot ਅਤੇ ClaudeBot ਵਰਗੇ ਹਰ-ਕ੍ਰੌਲਰ ਟੋਕਨ ਹੀ ਉਹ ਕੰਟਰੋਲ ਹਨ ਜੋ ਹਰ ਕੰਪਨੀ ਅੱਜ ਲਾਗੂ ਕਰਦੀ ਹੈ।
ਕੀ ਮੈਨੂੰ ਆਪਣੀ robots.txt ਵਿੱਚ Content-Signal ਜੋੜਨਾ ਚਾਹੀਦਾ ਹੈ?
ਜੋੜੋ, ਜੇ ਤੁਸੀਂ ਆਪਣੀ ਵਰਤੋਂ ਨੀਤੀ ਇੱਕ ਥਾਂ ਲਿਖਣੀ ਚਾਹੁੰਦੇ ਹੋ ਜੋ ਮਸ਼ੀਨਾਂ ਅਤੇ ਲੋਕ ਦੋਵੇਂ ਪੜ੍ਹ ਸਕਣ। ਇਹ ਇੱਕ ਲਾਈਨ ਵਿੱਚ ਹਰ ਕ੍ਰੌਲਰ ਲਈ ai-input ਪਸੰਦ ਵੀ ਦੱਸਦੀ ਹੈ, ਜੋ ਕੰਪਨੀਆਂ ਦੇ ਟੋਕਨ ਸਿਰਫ਼ ਇੱਕ-ਇੱਕ ਕ੍ਰੌਲਰ ਕਰਕੇ ਦੱਸ ਸਕਦੇ ਹਨ। ਇਸਦੀ ਕੀਮਤ ਇੱਕ ਲਾਈਨ ਹੈ, ਅਤੇ ਜੋ ਪਾਰਸਰ ਇਸਨੂੰ ਨਹੀਂ ਜਾਣਦੇ ਉਹ ਇਸਨੂੰ ਛੱਡ ਦਿੰਦੇ ਹਨ।
ਸਿਰਫ਼ ਇਸ 'ਤੇ ਨਿਰਭਰ ਨਾ ਕਰੋ। ਸਮੱਗਰੀ ਨੂੰ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਰੱਖਣ ਲਈ ਦਸਤਾਵੇਜ਼ੀ ਸਿਖਲਾਈ ਟੋਕਨਾਂ ਨੂੰ ਵੀ ਮਨ੍ਹਾ ਕਰੋ, ਅਤੇ ਸਾਂਝੇ ਸਿਖਲਾਈ ਟੋਕਨ 'ਤੇ ਵੀ ਵਿਚਾਰ ਕਰੋ; AI ਸਿਖਲਾਈ ਬਲੌਕ ਕਰਕੇ AI ਸਰਚ ਵਿੱਚ ਰਹਿਣ ਬਾਰੇ ਸਾਡੀ ਗਾਈਡ ਹਰ ਕੰਪਨੀ ਦੇ ਟੋਕਨ ਦੱਸਦੀ ਹੈ। ਜੋ ਵੀ robots.txt ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦਾ ਹੈ, ਉਸ 'ਤੇ ਸਿਰਫ਼ ਫਾਇਰਵਾਲ ਨਿਯਮ ਹੀ ਬਲੌਕ ਲਾਗੂ ਕਰਦਾ ਹੈ।
ਅਖ਼ੀਰ ਵਿੱਚ ਜਾਂਚੋ ਕਿ ਲਾਈਨ ਬਾਕੀ ਫਾਈਲ ਨਾਲ ਮੇਲ ਖਾਂਦੀ ਹੈ। OAI-SearchBot ਜਾਂ PerplexityBot ਲਈ Allow ਗਰੁੱਪ ਦੇ ਨਾਲ ai-input=no ਉਲਝੇ ਹੋਏ ਸੁਨੇਹੇ ਦਿੰਦਾ ਹੈ: ਤੁਸੀਂ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੇ ਹੋ, ਪਰ ਨਾਲ ਹੀ ਕਹਿੰਦੇ ਹੋ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਜਵਾਬ ਲਿਆਂਦੀ ਸਮੱਗਰੀ ਨਹੀਂ ਵਰਤ ਸਕਦੇ।
ਮੈਂ ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਮੇਰੀ robots.txt ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਕੀ ਦੱਸਦੀ ਹੈ?
ਮੁਫ਼ਤ AISeeWhy robots.txt ਜਾਂਚ ਟੂਲ ਪੰਨੇ ਦਾ ਪਤਾ ਜਾਂ ਪੇਸਟ ਕੀਤੀ robots.txt ਲੈਂਦਾ ਹੈ ਅਤੇ ਹਰ AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰ ਲਈ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਉਹ ਪੰਨਾ ਲਿਆਂਦਾ ਜਾ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਪੁਸ਼ਟੀ ਕਰ ਸਕੋ ਕਿ ਲਾਈਵ ਫਾਈਲ, Cloudflare ਵੱਲੋਂ ਸ਼ੁਰੂ ਵਿੱਚ ਜੋੜੀ ਹਰ ਚੀਜ਼ ਸਮੇਤ, ਉਹੀ ਕਹਿੰਦੀ ਹੈ ਜੋ ਤੁਹਾਡਾ ਮਤਲਬ ਸੀ। ਮੁਫ਼ਤ robots.txt ਜਨਰੇਟਰ ਤੁਹਾਡੀਆਂ ਚੋਣਾਂ ਤੋਂ ਫਾਈਲ ਲਿਖਦਾ ਹੈ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ Content-Signal robots.txt ਸਟੈਂਡਰਡ ਦਾ ਹਿੱਸਾ ਹੈ?
ਨਹੀਂ। RFC 9309 User-agent, Allow ਅਤੇ Disallow ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਹੋਰ ਰਿਕਾਰਡ ਸਮਝਣ ਦਿੰਦਾ ਹੈ। Content-Signal Cloudflare ਦੀ Content Signals Policy ਤੋਂ ਆਉਂਦੀ ਹੈ, ਜੋ CC0 ਲਾਇਸੈਂਸ ਹੇਠ ਜਾਰੀ ਹੋਈ। ਇਸ ਤੋਂ ਵੱਖਰਾ, IETF AI Preferences working group robots.txt ਲਈ ਆਪਣਾ Content-Usage ਨਿਯਮ ਤਿਆਰ ਕਰ ਰਿਹਾ ਹੈ, ਜੋ ਅਜੇ Internet-Draft ਹੈ, ਸਟੈਂਡਰਡ ਨਹੀਂ।
ਕੀ ai-train=no, GPTBot ਜਾਂ ClaudeBot ਨੂੰ ਰੋਕਦਾ ਹੈ?
ਜਿੱਥੋਂ ਤੱਕ ਕੰਪਨੀਆਂ ਦੇ ਦਸਤਾਵੇਜ਼ ਦੱਸਦੇ ਹਨ, ਨਹੀਂ। OpenAI ਅਤੇ Anthropic, GPTBot ਅਤੇ ClaudeBot ਦਾ ਨਾਮ ਲੈਣ ਵਾਲੇ robots.txt ਨਿਯਮਾਂ ਰਾਹੀਂ ਕੰਟਰੋਲ ਦੱਸਦੇ ਹਨ, ਅਤੇ ਕਿਸੇ ਵੀ ਕ੍ਰੌਲਰ ਪੰਨੇ 'ਤੇ Content-Signal ਦਾ ਜ਼ਿਕਰ ਨਹੀਂ। ਦੋਵਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਨਾਲ ਵੀ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਰਹਿਣ ਲਈ, ਟੋਕਨ ਨੂੰ ਨਾਮ ਲੈ ਕੇ ਮਨ੍ਹਾ ਕਰੋ।
Content-Signal ਅਤੇ __usage_ai-training ਵਿੱਚ ਕੀ ਫ਼ਰਕ ਹੈ?
Content-Signal ਗਰੁੱਪ ਦੇ ਅੰਦਰ ਇੱਕ ਲਾਈਨ ਹੈ ਅਤੇ ਸਰਚ, AI ਇਨਪੁਟ ਅਤੇ ਸਿਖਲਾਈ ਨੂੰ ਕਵਰ ਕਰਦੀ ਹੈ। __usage_ai-training ਇੱਕ ਨੀਤੀ ਟੋਕਨ ਹੈ ਜੋ ਆਪਣੇ User-Agent ਗਰੁੱਪ ਵਜੋਂ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਸਿਰਫ਼ ਸਿਖਲਾਈ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ। Anthropic, Microsoft, Google ਅਤੇ OpenAI ਨੇ ਸਾਂਝੇ ਸਿਖਲਾਈ ਸੰਕੇਤ ਬਾਰੇ ਬਿਆਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ ਹਨ; ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ Content-Signal ਦਾ ਵੇਰਵਾ ਨਹੀਂ ਦਿੰਦਾ।
Google Search Console ਵਿੱਚ Syntax not understood ਕਿਉਂ ਆਉਂਦਾ ਹੈ?
Google ਦੇ robots.txt ਦਸਤਾਵੇਜ਼ ਸਿਰਫ਼ user-agent, allow, disallow ਅਤੇ sitemap ਨੂੰ ਸਪੋਰਟ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ ਹੋਰ ਲਾਈਨਾਂ 'ਤੇ ਨਿਸ਼ਾਨ ਲੱਗ ਸਕਦਾ ਹੈ। Cloudflare ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਨੇ ਇਨ੍ਹਾਂ ਰਿਪੋਰਟਾਂ ਕਾਰਨ ਕ੍ਰੌਲਿੰਗ ਦਰਾਂ ਜਾਂ SEO 'ਤੇ ਕੋਈ ਅਸਰ ਨਹੀਂ ਦੇਖਿਆ।
use=reference ਦਾ ਕੀ ਮਤਲਬ ਹੈ?
ਇਹ ਚੌਥਾ ਫੀਲਡ ਹੈ ਜਿਸਦੀ Cloudflare ਜਾਂਚ ਕਰ ਰਿਹਾ ਹੈ। reference ਦਾ ਮਤਲਬ ਹੈ ਇੰਡੈਕਸ ਕਰੋ, ਅੰਸ਼ ਦਿਖਾਓ ਅਤੇ ਵਾਪਸ ਲਿੰਕ ਦਿਓ। Cloudflare ਇਸਨੂੰ ਪ੍ਰਬੰਧਿਤ robots.txt ਫਾਈਲਾਂ ਵਿੱਚ ਜੋੜਦਾ ਹੈ, ਅਤੇ ਸਾਡੇ ਜਾਂਚੇ ਕਿਸੇ ਵੀ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ ਵਿੱਚ ਇਸਦਾ ਜ਼ਿਕਰ ਨਹੀਂ।
ਸਰੋਤ
- Content Signals (contentsignals.org)
- Cloudflare blog: Giving users choice with Cloudflare's new Content Signals Policy
- Cloudflare: Managed robots.txt
- Cloudflare: AI crawler and agent access policies
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- IETF: Associating AI Usage Preferences with Content in HTTP (draft-ietf-aipref-attach)
- IETF: Machine-Readable Training Preference Signal (draft-kelley-aipref-training-preference-signal)
- Google Search Central Blog: Supporting a shared AI training control for websites
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Microsoft Bing Blog: Your content, your choice: clearer preferences for training and grounding
- OpenAI: Making it easier for websites to express AI training preferences
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI ਕ੍ਰੌਲਰ ਪਹੁੰਚ ਰਿਪੋਰਟ, 2026-11