ਅਸੀਂ 10,000 ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਦੀ robots.txt ਪੜ੍ਹੀ। AI ਕ੍ਰਾਲਰਾਂ ਬਾਰੇ ਉਹ ਇਹ ਕਰਦੀਆਂ ਹਨ
Tranco ਦੇ ਚੋਟੀ ਦੇ 10,000 ਵਿੱਚੋਂ 6,192 ਡੋਮੇਨ robots.txt ਦਿੰਦੇ ਹਨ। ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ 23.2% ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦੇ ਹਨ ਅਤੇ 12.3% ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ। ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਵਾਲੀਆਂ 51.6% ਸਾਈਟਾਂ AI ਖੋਜ ਵੀ ਰੋਕਦੀਆਂ ਹਨ। ਸਿਰਫ਼ 11.2% ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੀਆਂ ਹਨ ਅਤੇ ਹਰ AI ਖੋਜ ਕ੍ਰਾਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀਆਂ ਹਨ।
ਨਵੰਬਰ ਵਿੱਚ ਅਸੀਂ 1,000 ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਡੋਮੇਨਾਂ ਦੀ robots.txt ਪੜ੍ਹੀ ਸੀ। ਇਸ ਵਾਰ ਉਸੇ ਤਰੀਕੇ ਨਾਲ 10,000 ਪੜ੍ਹੀਆਂ ਅਤੇ ਇਹ ਵੀ ਦੇਖਿਆ ਕਿ ਸਾਈਟਾਂ ਦੇ ਛੋਟੇ ਹੋਣ ਨਾਲ ਤਸਵੀਰ ਕਿਵੇਂ ਬਦਲਦੀ ਹੈ। ਮੁੱਖ ਨਤੀਜਾ ਕਾਇਮ ਹੈ: ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਅਤੇ ਖੋਜ ਰੋਕਣ ਨੂੰ ਇੱਕੋ ਫ਼ੈਸਲਾ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ, ਜਦਕਿ ਇਹ ਦੋ ਵੱਖਰੇ ਫ਼ੈਸਲੇ ਹਨ।
ਇਸ ਪੰਨੇ 'ਤੇ
ਅਸੀਂ ਇਹ ਕਿਵੇਂ ਮਾਪਿਆ?
ਅਸੀਂ Tranco ਸੂਚੀ (ਸੂਚੀ ID JZWZY) ਦੇ ਚੋਟੀ ਦੇ 10,000 ਡੋਮੇਨ ਲਏ ਅਤੇ 21 ਨਵੰਬਰ 2026 ਨੂੰ AISeeWhy ਦੇ ਆਪਣੇ user agent ਵਜੋਂ ਹਰ ਡੋਮੇਨ ਦਾ ਹੋਮ ਪੇਜ, robots.txt ਅਤੇ llms.txt ਇੱਕ ਵਾਰ ਮੰਗਵਾਇਆ। ਹਰ robots.txt ਨੂੰ RFC 9309 ਅਨੁਸਾਰ ਹੋਮ ਪੇਜ (/) ਅਤੇ 16 AI ਅਤੇ ਖੋਜ ਕ੍ਰਾਲਰਾਂ ਲਈ ਪਰਖਿਆ।
10,000 ਵਿੱਚੋਂ 6,192 ਡੋਮੇਨਾਂ ਨੇ robots.txt ਦਿੱਤੀ (ਸਫਲ ਜਵਾਬ ਜੋ HTML ਪੇਜ ਨਹੀਂ ਹੈ)। 1,121 ਨੇ 4xx ਨਾਲ ਜਵਾਬ ਦਿੱਤਾ, ਯਾਨੀ ਕੋਈ ਨਿਯਮ ਨਹੀਂ ਅਤੇ ਹਰ ਕ੍ਰਾਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਹੈ, ਅਤੇ 2,687 ਨੇ ਨਹੀਂ ਦਿੱਤੀ (HTTPS ਸਾਈਟ ਨਹੀਂ, ਗਲਤੀਆਂ, ਟਾਈਮਆਊਟ ਜਾਂ ਉਸ ਦੀ ਥਾਂ HTML ਪੇਜ)। ਹੇਠਾਂ ਹਰ ਪ੍ਰਤੀਸ਼ਤ 6,192 ਦਾ ਹੈ। ਸੂਚੀ ਵਿੱਚ CDN ਅਤੇ API ਵੀ ਹਨ ਜੋ ਕੋਈ ਵੈੱਬਸਾਈਟ ਨਹੀਂ ਚਲਾਉਂਦੇ।
ਸਾਨੂੰ ਕੀ ਮਿਲਿਆ?
- 23.2% (1,437 ਡੋਮੇਨ) ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦੇ ਹਨ।
- 12.3% (762) ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦੇ ਹਨ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਪੇਜ ਉਨ੍ਹਾਂ ਜਵਾਬਾਂ ਵਿੱਚ ਵਰਤੇ ਜਾਂ ਹਵਾਲੇ ਵਜੋਂ ਨਹੀਂ ਦਿੱਤੇ ਜਾਣੇ ਚਾਹੀਦੇ ਜੋ ਇਸ ਉੱਤੇ ਨਿਰਭਰ ਹਨ।
- ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਣ ਵਾਲੇ ਡੋਮੇਨਾਂ ਵਿੱਚੋਂ 51.6% (1,437 ਵਿੱਚੋਂ 742) ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ ਵੀ ਰੋਕਦੇ ਹਨ।
- ਸਿਰਫ਼ 11.2% (695) ਚੋਣਵਾਂ ਰਾਹ ਅਪਣਾਉਂਦੇ ਹਨ: ਉਹ ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਰੋਕਦੇ ਹਨ ਅਤੇ ਹਰ AI ਖੋਜ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ।
- 6.5% (401) ਆਪਣੀਆਂ AI ਪਸੰਦਾਂ
Content-Signalਨਾਲ ਦੱਸਦੇ ਹਨ। - ਸਾਰੇ 10,000 ਡੋਮੇਨਾਂ ਵਿੱਚੋਂ 12.4% (1,240)
llms.txtਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ। - ਤੁਲਨਾ ਲਈ: 2.0% (124) ਹੋਮ ਪੇਜ ਉੱਤੇ
Googlebotਨੂੰ ਰੋਕਦੇ ਹਨ।
ਕਿਹੜੇ ਕ੍ਰਾਲਰ ਸਭ ਤੋਂ ਵੱਧ ਰੋਕੇ ਜਾਂਦੇ ਹਨ?
6,192 ਡੋਮੇਨਾਂ ਦਾ ਉਹ ਹਿੱਸਾ ਜਿਨ੍ਹਾਂ ਦੀ robots.txt ਕ੍ਰਾਲਰ ਲਈ ਹੋਮ ਪੇਜ ਮਨ੍ਹਾ ਕਰਦੀ ਹੈ:
Bytespider18.7%,CCBot18.5%,GPTBot17.4%,ClaudeBot16.5%।Meta-ExternalAgent15.5%,Google-Extended14.9%,Applebot-Extended14.6%।PerplexityBot10.4% ਸਭ ਤੋਂ ਵੱਧ ਰੋਕਿਆ ਜਾਣ ਵਾਲਾ AI ਖੋਜ ਕ੍ਰਾਲਰ ਹੈ, ਇਸ ਤੋਂ ਬਾਅਦOAI-SearchBot7.0% ਅਤੇClaude-SearchBot7.0%।- ਜਦੋਂ ਕੋਈ ਵਿਅਕਤੀ ਪੁੱਛਦਾ ਹੈ ਤਾਂ ਪੇਜ ਖੋਲ੍ਹਣ ਵਾਲੇ ਕ੍ਰਾਲਰ:
ChatGPT-User8.9%,Perplexity-User7.7%,Claude-User7.4%।
ਕੀ ਵੱਡੀਆਂ ਸਾਈਟਾਂ ਵੱਧ ਰੋਕਦੀਆਂ ਹਨ?
ਹਾਂ, ਅਤੇ ਉਹ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਖੋਜ ਨੂੰ ਵੱਧ ਵਾਰ ਰਲਾ ਦਿੰਦੀਆਂ ਹਨ। ਅਸੀਂ ਸੂਚੀ ਨੂੰ ਰੈਂਕ ਅਨੁਸਾਰ ਵੰਡਿਆ:
- ਰੈਂਕ 1 ਤੋਂ 1,000 (robots.txt ਵਾਲੇ 560 ਡੋਮੇਨ): 28.6% ਟ੍ਰੇਨਿੰਗ ਰੋਕਦੇ ਹਨ, 18.6% AI ਖੋਜ ਰੋਕਦੇ ਹਨ, ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਵਾਲਿਆਂ ਵਿੱਚੋਂ 63.1% AI ਖੋਜ ਵੀ ਰੋਕਦੇ ਹਨ।
- ਰੈਂਕ 1,001 ਤੋਂ 3,000 (1,256 ਡੋਮੇਨ): 23.5%, 13.5% ਅਤੇ 55.6%।
- ਰੈਂਕ 3,001 ਤੋਂ 10,000 (4,376 ਡੋਮੇਨ): 22.4%, 11.2% ਅਤੇ 48.6%।
ਚੋਣਵਾਂ ਰਾਹ ਹਰ ਆਕਾਰ ਵਿੱਚ ਘੱਟ ਹੈ: ਤਿੰਨਾਂ ਸਮੂਹਾਂ ਦੇ ਡੋਮੇਨਾਂ ਵਿੱਚੋਂ 10.5%, 10.4% ਅਤੇ 11.5%।
ਕੀ 12 ਨਵੰਬਰ ਦੀ ਸਾਡੀ ਰਿਪੋਰਟ ਤੋਂ ਬਾਅਦ ਕੁਝ ਬਦਲਿਆ ਹੈ?
ਅਸੀਂ ਉਸੇ ਸੂਚੀ ਨਾਲ ਪਹਿਲੇ 1,000 ਡੋਮੇਨ ਦੁਬਾਰਾ ਚਲਾਏ। ਨਤੀਜਾ ਲਗਭਗ ਇੱਕ ਅੰਕ ਦੇ ਅੰਦਰ ਸਥਿਰ ਹੈ: 28.6% ਟ੍ਰੇਨਿੰਗ ਰੋਕਦੇ ਹਨ (12 ਨਵੰਬਰ ਨੂੰ 29.9%), 18.6% AI ਖੋਜ ਰੋਕਦੇ ਹਨ (19.5%), ਅਤੇ ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਵਾਲਿਆਂ ਵਿੱਚੋਂ 63.1% AI ਖੋਜ ਵੀ ਰੋਕਦੇ ਹਨ (63.2%)। ਹਰ ਹਿੱਸੇ ਦੇ ਕੁੱਲ ਥੋੜ੍ਹੇ ਵੱਖਰੇ ਹਨ (ਹੁਣ robots.txt ਵਾਲੇ 560 ਡੋਮੇਨ, ਉਦੋਂ 518) ਕਿਉਂਕਿ ਇਸ ਵਾਰ ਮੰਗ ਭੇਜਣ ਤੋਂ ਪਹਿਲਾਂ ਡੋਮੇਨ ਦੇ ਮੁੱਖ ਹੋਸਟ ਤੱਕ ਰੀਡਾਇਰੈਕਟ ਦਾ ਪਿੱਛਾ ਕੀਤਾ ਗਿਆ।
ਤੁਹਾਡੀ robots.txt ਲਈ ਇਸ ਦਾ ਕੀ ਮਤਲਬ ਹੈ?
ਜ਼ਿਆਦਾਤਰ AI ਕੰਪਨੀਆਂ ਟ੍ਰੇਨਿੰਗ ਅਤੇ ਖੋਜ ਲਈ ਵੱਖਰੇ ਕ੍ਰਾਲਰ ਦੱਸਦੀਆਂ ਹਨ ਅਤੇ ਕਹਿੰਦੀਆਂ ਹਨ ਕਿ ਸੈਟਿੰਗਾਂ ਇੱਕ ਦੂਜੇ ਤੋਂ ਸੁਤੰਤਰ ਹਨ। GPTBot ਨੂੰ ਮਨ੍ਹਾ ਕਰਨ ਨਾਲ OAI-SearchBot ਉੱਤੇ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ, ਅਤੇ ClaudeBot ਨੂੰ ਮਨ੍ਹਾ ਕਰਨ ਨਾਲ Claude-SearchBot ਉੱਤੇ ਨਹੀਂ। ਜੇ ਤੁਸੀਂ ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਬਾਹਰ ਰਹਿਣਾ ਚਾਹੁੰਦੇ ਹੋ ਪਰ ਹਵਾਲੇ ਵਿੱਚ ਆਉਣਾ ਵੀ, ਤਾਂ ਟ੍ਰੇਨਿੰਗ ਟੋਕਨ ਰੋਕੋ ਅਤੇ ਖੋਜ ਤੇ ਯੂਜ਼ਰ ਟੋਕਨਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ, ਅਤੇ ਕੋਈ ਵੀ ਨਿੱਜੀ ਪਾਥ ਹਰ ਸਮੂਹ ਵਿੱਚ ਦੁਹਰਾਓ, ਕਿਉਂਕਿ ਨਾਂ ਵਾਲਾ ਸਮੂਹ * ਤੋਂ ਕੁਝ ਵਿਰਾਸਤ ਵਿੱਚ ਨਹੀਂ ਲੈਂਦਾ।
ਇਹ ਅੰਕੜੇ ਕਿੰਨੇ ਭਰੋਸੇਯੋਗ ਹਨ?
ਇਹ ਹੋਮ ਪੇਜ ਲਈ robots.txt ਦੇ ਨਿਯਮ ਹਨ, ਇੱਕ ਦਿਨ ਇੱਕ ਪਾਰਸਰ ਨੇ ਪੜ੍ਹੇ। ਇਹ ਫਾਇਰਵਾਲ ਦੀਆਂ ਰੋਕਾਂ ਨਹੀਂ ਮਾਪਦੇ, ਜੋ ਉਸ ਕ੍ਰਾਲਰ ਨੂੰ ਵੀ ਮਨ੍ਹਾ ਕਰ ਸਕਦੀਆਂ ਹਨ ਜਿਸ ਨੂੰ robots.txt ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ। ਇਹ ਨਹੀਂ ਦੱਸ ਸਕਦੇ ਕਿ ਹਰ ਸਾਈਟ ਦਾ ਇਰਾਦਾ ਕੀ ਸੀ, ਅਤੇ Tranco ਸੂਚੀ ਵਿੱਚ ਅਜਿਹੇ ਡੋਮੇਨ ਵੀ ਹਨ ਜੋ ਕੋਈ ਵੈੱਬਸਾਈਟ ਨਹੀਂ ਚਲਾਉਂਦੇ। ਖੋਜ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਣ ਵਾਲਾ ਨਿਯਮ ਗਲਤੀ ਦਾ ਸਬੂਤ ਨਹੀਂ, ਸਿਰਫ਼ ਇੱਕ ਚੋਣ ਦਾ ਹੈ ਜੋ ਅਕਸਰ ਫ਼ਰਕ ਜਾਣੇ ਬਿਨਾਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਤੁਸੀਂ ਇਸ ਪੰਨੇ ਦੇ ਲਿੰਕ ਨਾਲ ਅੰਕੜੇ ਹਵਾਲੇ ਵਜੋਂ ਵਰਤ ਸਕਦੇ ਹੋ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- llms.txt checker ਅਤੇ ਪ੍ਰਮਾਣਕ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਦਾ ਕਿੰਨਾ ਹਿੱਸਾ AI ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਰੋਕਦਾ ਹੈ?
Tranco ਦੇ ਚੋਟੀ ਦੇ 10,000 ਵਿੱਚੋਂ ਜੋ 6,192 ਡੋਮੇਨ robots.txt ਦਿੰਦੇ ਹਨ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 23.2% ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਅਤੇ 12.3% ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦੇ ਹਨ।
ਕੀ AI ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਵਾਲੀਆਂ ਸਾਈਟਾਂ AI ਖੋਜ ਵੀ ਰੋਕਦੀਆਂ ਹਨ?
ਅਕਸਰ ਹਾਂ। ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਣ ਵਾਲੀਆਂ 51.6% ਸਾਈਟਾਂ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ ਵੀ ਰੋਕਦੀਆਂ ਹਨ, ਹਾਲਾਂਕਿ ਕੰਪਨੀਆਂ ਇਨ੍ਹਾਂ ਨੂੰ ਸੁਤੰਤਰ ਸੈਟਿੰਗਾਂ ਵਾਲੇ ਵੱਖਰੇ ਕ੍ਰਾਲਰ ਦੱਸਦੀਆਂ ਹਨ।
ਕਿਹੜਾ AI ਕ੍ਰਾਲਰ ਸਭ ਤੋਂ ਵੱਧ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ?
ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰਾਂ ਵਿੱਚ Bytespider (18.7%) ਅਤੇ CCBot (18.5%), ਫਿਰ GPTBot (17.4%)। AI ਖੋਜ ਕ੍ਰਾਲਰਾਂ ਵਿੱਚ PerplexityBot ਸਭ ਤੋਂ ਵੱਧ ਰੋਕਿਆ ਜਾਂਦਾ ਹੈ, 10.4% ਡੋਮੇਨਾਂ ਉੱਤੇ।
ਤੁਹਾਡੇ ਅੰਕੜੇ 1,000 ਸਾਈਟਾਂ ਵਾਲੀ ਰਿਪੋਰਟ ਤੋਂ ਵੱਖਰੇ ਕਿਉਂ ਹਨ?
ਪਹਿਲੇ 1,000 ਡੋਮੇਨ ਲਗਭਗ ਉਹੀ ਪ੍ਰਤੀਸ਼ਤ ਦਿੰਦੇ ਹਨ (28.6% ਅਤੇ 18.6%, ਜਦਕਿ ਪਹਿਲਾਂ 29.9% ਅਤੇ 19.5%)। 10,000 ਸਾਈਟਾਂ ਦੇ ਅੰਕੜੇ ਘੱਟ ਹਨ ਕਿਉਂਕਿ ਛੋਟੀਆਂ ਸਾਈਟਾਂ ਘੱਟ ਰੋਕਦੀਆਂ ਹਨ।
ਸਰੋਤ
- AISeeWhy: AI ਕ੍ਰਾਲਰ ਪਹੁੰਚ ਰਿਪੋਰਟ, 2026-11
- Tranco: ਖੋਜ-ਮੁਖੀ ਚੋਟੀ ਦੀਆਂ ਸਾਈਟਾਂ ਦੀ ਦਰਜਾਬੰਦੀ
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ਕ੍ਰਾਲਰਾਂ ਦੀ ਜਾਣਕਾਰੀ
- Anthropic: ਕੀ Anthropic ਵੈੱਬ ਤੋਂ ਡੇਟਾ ਕ੍ਰਾਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਸਾਈਟ ਮਾਲਕ ਕ੍ਰਾਲਰ ਨੂੰ ਕਿਵੇਂ ਰੋਕ ਸਕਦੇ ਹਨ?
- Perplexity: Perplexity ਕ੍ਰਾਲਰ