ਅਸੀਂ 10,000 ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਦੀ robots.txt ਪੜ੍ਹੀ। AI ਕ੍ਰਾਲਰਾਂ ਬਾਰੇ ਉਹ ਇਹ ਕਰਦੀਆਂ ਹਨ

ਪ੍ਰਕਾਸ਼ਿਤ

ਛੋਟਾ ਜਵਾਬ

Tranco ਦੇ ਚੋਟੀ ਦੇ 10,000 ਵਿੱਚੋਂ 6,192 ਡੋਮੇਨ robots.txt ਦਿੰਦੇ ਹਨ। ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ 23.2% ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦੇ ਹਨ ਅਤੇ 12.3% ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ। ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਵਾਲੀਆਂ 51.6% ਸਾਈਟਾਂ AI ਖੋਜ ਵੀ ਰੋਕਦੀਆਂ ਹਨ। ਸਿਰਫ਼ 11.2% ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੀਆਂ ਹਨ ਅਤੇ ਹਰ AI ਖੋਜ ਕ੍ਰਾਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀਆਂ ਹਨ।

ਨਵੰਬਰ ਵਿੱਚ ਅਸੀਂ 1,000 ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਡੋਮੇਨਾਂ ਦੀ robots.txt ਪੜ੍ਹੀ ਸੀ। ਇਸ ਵਾਰ ਉਸੇ ਤਰੀਕੇ ਨਾਲ 10,000 ਪੜ੍ਹੀਆਂ ਅਤੇ ਇਹ ਵੀ ਦੇਖਿਆ ਕਿ ਸਾਈਟਾਂ ਦੇ ਛੋਟੇ ਹੋਣ ਨਾਲ ਤਸਵੀਰ ਕਿਵੇਂ ਬਦਲਦੀ ਹੈ। ਮੁੱਖ ਨਤੀਜਾ ਕਾਇਮ ਹੈ: ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਅਤੇ ਖੋਜ ਰੋਕਣ ਨੂੰ ਇੱਕੋ ਫ਼ੈਸਲਾ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ, ਜਦਕਿ ਇਹ ਦੋ ਵੱਖਰੇ ਫ਼ੈਸਲੇ ਹਨ।

ਇਸ ਪੰਨੇ 'ਤੇ
  1. ਅਸੀਂ ਇਹ ਕਿਵੇਂ ਮਾਪਿਆ?
  2. ਸਾਨੂੰ ਕੀ ਮਿਲਿਆ?
  3. ਕਿਹੜੇ ਕ੍ਰਾਲਰ ਸਭ ਤੋਂ ਵੱਧ ਰੋਕੇ ਜਾਂਦੇ ਹਨ?
  4. ਕੀ ਵੱਡੀਆਂ ਸਾਈਟਾਂ ਵੱਧ ਰੋਕਦੀਆਂ ਹਨ?
  5. ਕੀ 12 ਨਵੰਬਰ ਦੀ ਸਾਡੀ ਰਿਪੋਰਟ ਤੋਂ ਬਾਅਦ ਕੁਝ ਬਦਲਿਆ ਹੈ?
  6. ਤੁਹਾਡੀ robots.txt ਲਈ ਇਸ ਦਾ ਕੀ ਮਤਲਬ ਹੈ?
  7. ਇਹ ਅੰਕੜੇ ਕਿੰਨੇ ਭਰੋਸੇਯੋਗ ਹਨ?

ਅਸੀਂ ਇਹ ਕਿਵੇਂ ਮਾਪਿਆ?

ਅਸੀਂ Tranco ਸੂਚੀ (ਸੂਚੀ ID JZWZY) ਦੇ ਚੋਟੀ ਦੇ 10,000 ਡੋਮੇਨ ਲਏ ਅਤੇ 21 ਨਵੰਬਰ 2026 ਨੂੰ AISeeWhy ਦੇ ਆਪਣੇ user agent ਵਜੋਂ ਹਰ ਡੋਮੇਨ ਦਾ ਹੋਮ ਪੇਜ, robots.txt ਅਤੇ llms.txt ਇੱਕ ਵਾਰ ਮੰਗਵਾਇਆ। ਹਰ robots.txt ਨੂੰ RFC 9309 ਅਨੁਸਾਰ ਹੋਮ ਪੇਜ (/) ਅਤੇ 16 AI ਅਤੇ ਖੋਜ ਕ੍ਰਾਲਰਾਂ ਲਈ ਪਰਖਿਆ।

10,000 ਵਿੱਚੋਂ 6,192 ਡੋਮੇਨਾਂ ਨੇ robots.txt ਦਿੱਤੀ (ਸਫਲ ਜਵਾਬ ਜੋ HTML ਪੇਜ ਨਹੀਂ ਹੈ)। 1,121 ਨੇ 4xx ਨਾਲ ਜਵਾਬ ਦਿੱਤਾ, ਯਾਨੀ ਕੋਈ ਨਿਯਮ ਨਹੀਂ ਅਤੇ ਹਰ ਕ੍ਰਾਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਹੈ, ਅਤੇ 2,687 ਨੇ ਨਹੀਂ ਦਿੱਤੀ (HTTPS ਸਾਈਟ ਨਹੀਂ, ਗਲਤੀਆਂ, ਟਾਈਮਆਊਟ ਜਾਂ ਉਸ ਦੀ ਥਾਂ HTML ਪੇਜ)। ਹੇਠਾਂ ਹਰ ਪ੍ਰਤੀਸ਼ਤ 6,192 ਦਾ ਹੈ। ਸੂਚੀ ਵਿੱਚ CDN ਅਤੇ API ਵੀ ਹਨ ਜੋ ਕੋਈ ਵੈੱਬਸਾਈਟ ਨਹੀਂ ਚਲਾਉਂਦੇ।

ਸਾਨੂੰ ਕੀ ਮਿਲਿਆ?

ਕਿਹੜੇ ਕ੍ਰਾਲਰ ਸਭ ਤੋਂ ਵੱਧ ਰੋਕੇ ਜਾਂਦੇ ਹਨ?

6,192 ਡੋਮੇਨਾਂ ਦਾ ਉਹ ਹਿੱਸਾ ਜਿਨ੍ਹਾਂ ਦੀ robots.txt ਕ੍ਰਾਲਰ ਲਈ ਹੋਮ ਪੇਜ ਮਨ੍ਹਾ ਕਰਦੀ ਹੈ:

ਕੀ ਵੱਡੀਆਂ ਸਾਈਟਾਂ ਵੱਧ ਰੋਕਦੀਆਂ ਹਨ?

ਹਾਂ, ਅਤੇ ਉਹ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਖੋਜ ਨੂੰ ਵੱਧ ਵਾਰ ਰਲਾ ਦਿੰਦੀਆਂ ਹਨ। ਅਸੀਂ ਸੂਚੀ ਨੂੰ ਰੈਂਕ ਅਨੁਸਾਰ ਵੰਡਿਆ:

ਚੋਣਵਾਂ ਰਾਹ ਹਰ ਆਕਾਰ ਵਿੱਚ ਘੱਟ ਹੈ: ਤਿੰਨਾਂ ਸਮੂਹਾਂ ਦੇ ਡੋਮੇਨਾਂ ਵਿੱਚੋਂ 10.5%, 10.4% ਅਤੇ 11.5%।

ਕੀ 12 ਨਵੰਬਰ ਦੀ ਸਾਡੀ ਰਿਪੋਰਟ ਤੋਂ ਬਾਅਦ ਕੁਝ ਬਦਲਿਆ ਹੈ?

ਅਸੀਂ ਉਸੇ ਸੂਚੀ ਨਾਲ ਪਹਿਲੇ 1,000 ਡੋਮੇਨ ਦੁਬਾਰਾ ਚਲਾਏ। ਨਤੀਜਾ ਲਗਭਗ ਇੱਕ ਅੰਕ ਦੇ ਅੰਦਰ ਸਥਿਰ ਹੈ: 28.6% ਟ੍ਰੇਨਿੰਗ ਰੋਕਦੇ ਹਨ (12 ਨਵੰਬਰ ਨੂੰ 29.9%), 18.6% AI ਖੋਜ ਰੋਕਦੇ ਹਨ (19.5%), ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਵਾਲਿਆਂ ਵਿੱਚੋਂ 63.1% AI ਖੋਜ ਵੀ ਰੋਕਦੇ ਹਨ (63.2%)। ਹਰ ਹਿੱਸੇ ਦੇ ਕੁੱਲ ਥੋੜ੍ਹੇ ਵੱਖਰੇ ਹਨ (ਹੁਣ robots.txt ਵਾਲੇ 560 ਡੋਮੇਨ, ਉਦੋਂ 518) ਕਿਉਂਕਿ ਇਸ ਵਾਰ ਮੰਗ ਭੇਜਣ ਤੋਂ ਪਹਿਲਾਂ ਡੋਮੇਨ ਦੇ ਮੁੱਖ ਹੋਸਟ ਤੱਕ ਰੀਡਾਇਰੈਕਟ ਦਾ ਪਿੱਛਾ ਕੀਤਾ ਗਿਆ।

ਤੁਹਾਡੀ robots.txt ਲਈ ਇਸ ਦਾ ਕੀ ਮਤਲਬ ਹੈ?

ਜ਼ਿਆਦਾਤਰ AI ਕੰਪਨੀਆਂ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਖੋਜ ਲਈ ਵੱਖਰੇ ਕ੍ਰਾਲਰ ਦੱਸਦੀਆਂ ਹਨ ਅਤੇ ਕਹਿੰਦੀਆਂ ਹਨ ਕਿ ਸੈਟਿੰਗਾਂ ਇੱਕ ਦੂਜੇ ਤੋਂ ਸੁਤੰਤਰ ਹਨ। GPTBot ਨੂੰ ਮਨ੍ਹਾ ਕਰਨ ਨਾਲ OAI-SearchBot ਉੱਤੇ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ, ਅਤੇ ClaudeBot ਨੂੰ ਮਨ੍ਹਾ ਕਰਨ ਨਾਲ Claude-SearchBot ਉੱਤੇ ਨਹੀਂ। ਜੇ ਤੁਸੀਂ ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਬਾਹਰ ਰਹਿਣਾ ਚਾਹੁੰਦੇ ਹੋ ਪਰ ਹਵਾਲੇ ਵਿੱਚ ਆਉਣਾ ਵੀ, ਤਾਂ ਟ੍ਰੇਨਿੰਗ ਟੋਕਨ ਰੋਕੋ ਅਤੇ ਖੋਜ ਤੇ ਯੂਜ਼ਰ ਟੋਕਨਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ, ਅਤੇ ਕੋਈ ਵੀ ਨਿੱਜੀ ਪਾਥ ਹਰ ਸਮੂਹ ਵਿੱਚ ਦੁਹਰਾਓ, ਕਿਉਂਕਿ ਨਾਂ ਵਾਲਾ ਸਮੂਹ * ਤੋਂ ਕੁਝ ਵਿਰਾਸਤ ਵਿੱਚ ਨਹੀਂ ਲੈਂਦਾ।

ਇਹ ਅੰਕੜੇ ਕਿੰਨੇ ਭਰੋਸੇਯੋਗ ਹਨ?

ਇਹ ਹੋਮ ਪੇਜ ਲਈ robots.txt ਦੇ ਨਿਯਮ ਹਨ, ਇੱਕ ਦਿਨ ਇੱਕ ਪਾਰਸਰ ਨੇ ਪੜ੍ਹੇ। ਇਹ ਫਾਇਰਵਾਲ ਦੀਆਂ ਰੋਕਾਂ ਨਹੀਂ ਮਾਪਦੇ, ਜੋ ਉਸ ਕ੍ਰਾਲਰ ਨੂੰ ਵੀ ਮਨ੍ਹਾ ਕਰ ਸਕਦੀਆਂ ਹਨ ਜਿਸ ਨੂੰ robots.txt ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ। ਇਹ ਨਹੀਂ ਦੱਸ ਸਕਦੇ ਕਿ ਹਰ ਸਾਈਟ ਦਾ ਇਰਾਦਾ ਕੀ ਸੀ, ਅਤੇ Tranco ਸੂਚੀ ਵਿੱਚ ਅਜਿਹੇ ਡੋਮੇਨ ਵੀ ਹਨ ਜੋ ਕੋਈ ਵੈੱਬਸਾਈਟ ਨਹੀਂ ਚਲਾਉਂਦੇ। ਖੋਜ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਣ ਵਾਲਾ ਨਿਯਮ ਗਲਤੀ ਦਾ ਸਬੂਤ ਨਹੀਂ, ਸਿਰਫ਼ ਇੱਕ ਚੋਣ ਦਾ ਹੈ ਜੋ ਅਕਸਰ ਫ਼ਰਕ ਜਾਣੇ ਬਿਨਾਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਤੁਸੀਂ ਇਸ ਪੰਨੇ ਦੇ ਲਿੰਕ ਨਾਲ ਅੰਕੜੇ ਹਵਾਲੇ ਵਜੋਂ ਵਰਤ ਸਕਦੇ ਹੋ।

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਦਾ ਕਿੰਨਾ ਹਿੱਸਾ AI ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਰੋਕਦਾ ਹੈ?

Tranco ਦੇ ਚੋਟੀ ਦੇ 10,000 ਵਿੱਚੋਂ ਜੋ 6,192 ਡੋਮੇਨ robots.txt ਦਿੰਦੇ ਹਨ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 23.2% ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਅਤੇ 12.3% ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦੇ ਹਨ।

ਕੀ AI ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਵਾਲੀਆਂ ਸਾਈਟਾਂ AI ਖੋਜ ਵੀ ਰੋਕਦੀਆਂ ਹਨ?

ਅਕਸਰ ਹਾਂ। ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਣ ਵਾਲੀਆਂ 51.6% ਸਾਈਟਾਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ ਵੀ ਰੋਕਦੀਆਂ ਹਨ, ਹਾਲਾਂਕਿ ਕੰਪਨੀਆਂ ਇਨ੍ਹਾਂ ਨੂੰ ਸੁਤੰਤਰ ਸੈਟਿੰਗਾਂ ਵਾਲੇ ਵੱਖਰੇ ਕ੍ਰਾਲਰ ਦੱਸਦੀਆਂ ਹਨ।

ਕਿਹੜਾ AI ਕ੍ਰਾਲਰ ਸਭ ਤੋਂ ਵੱਧ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ?

ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰਾਂ ਵਿੱਚ Bytespider (18.7%) ਅਤੇ CCBot (18.5%), ਫਿਰ GPTBot (17.4%)। AI ਖੋਜ ਕ੍ਰਾਲਰਾਂ ਵਿੱਚ PerplexityBot ਸਭ ਤੋਂ ਵੱਧ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ, 10.4% ਡੋਮੇਨਾਂ ਉੱਤੇ।

ਤੁਹਾਡੇ ਅੰਕੜੇ 1,000 ਸਾਈਟਾਂ ਵਾਲੀ ਰਿਪੋਰਟ ਤੋਂ ਵੱਖਰੇ ਕਿਉਂ ਹਨ?

ਪਹਿਲੇ 1,000 ਡੋਮੇਨ ਲਗਭਗ ਉਹੀ ਪ੍ਰਤੀਸ਼ਤ ਦਿੰਦੇ ਹਨ (28.6% ਅਤੇ 18.6%, ਜਦਕਿ ਪਹਿਲਾਂ 29.9% ਅਤੇ 19.5%)। 10,000 ਸਾਈਟਾਂ ਦੇ ਅੰਕੜੇ ਘੱਟ ਹਨ ਕਿਉਂਕਿ ਛੋਟੀਆਂ ਸਾਈਟਾਂ ਘੱਟ ਰੋਕਦੀਆਂ ਹਨ।

ਸਰੋਤ

ਹੋਰ ਲੇਖ