ਕਿੰਨੀਆਂ ਸਾਈਟਾਂ llms.txt ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ? ਅਸੀਂ 10,000 ਡੋਮੇਨ ਜਾਂਚੇ
10,000 ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਡੋਮੇਨਾਂ ਵਿੱਚੋਂ 12.4% llms.txt ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ (1,240), ਅਤੇ ਜਿਨ੍ਹਾਂ ਦਾ ਹੋਮ ਪੇਜ HTML ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 16.7%। ਵੱਡੀਆਂ ਸਾਈਟਾਂ ਵੱਧ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ। ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਵਾਲੀਆਂ ਸਾਈਟਾਂ 1.4% ਮਾਮਲਿਆਂ ਵਿੱਚ AI ਖੋਜ ਕ੍ਰਾਲਰ ਰੋਕਦੀਆਂ ਹਨ, ਜਦਕਿ ਨਾ ਕਰਨ ਵਾਲੀਆਂ 15.0% ਵਿੱਚ। ਇਹ ਸਿਰਫ਼ ਪ੍ਰਕਾਸ਼ਨ ਗਿਣਦਾ ਹੈ: ਇਹ ਨਹੀਂ ਦੱਸਦਾ ਕਿ ਕੋਈ AI ਸਹਾਇਕ ਇਹ ਫ਼ਾਈਲ ਪੜ੍ਹਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।
llms.txt AI ਖੋਜ ਦੀਆਂ ਸਭ ਤੋਂ ਵੱਧ ਚਰਚਾ ਵਾਲੀਆਂ ਫ਼ਾਈਲਾਂ ਵਿੱਚੋਂ ਹੈ, ਅਤੇ ਸਭ ਤੋਂ ਘੱਟ ਮਾਪੀਆਂ ਗਈਆਂ ਵਿੱਚੋਂ ਵੀ। ਅਸੀਂ ਪਹਿਲਾਂ ਚੋਟੀ ਦੇ 10,000 ਡੋਮੇਨਾਂ ਦੀ robots.txt ਪੜ੍ਹੀ ਸੀ, ਅਤੇ ਉਸੇ ਗੇੜ ਵਿੱਚ ਹਰ ਇੱਕ ਤੋਂ /llms.txt ਵੀ ਮੰਗੀ। ਨਤੀਜਾ ਇਹ ਹੈ।
ਇਸ ਪੰਨੇ 'ਤੇ
ਅਸੀਂ ਜਾਂਚ ਕਿਵੇਂ ਕੀਤੀ?
ਅਸੀਂ Tranco ਸੂਚੀ (ਸੂਚੀ ID JZWZY) ਦੇ ਚੋਟੀ ਦੇ 10,000 ਡੋਮੇਨ ਲਏ। 21 ਨਵੰਬਰ 2026 ਨੂੰ ਹੋਮ ਪੇਜ ਪੜ੍ਹਨ ਅਤੇ ਉਸ ਦੇ ਮੁੱਖ ਹੋਸਟ ਤੱਕ ਰੀਡਾਇਰੈਕਟ ਦਾ ਪਿੱਛਾ ਕਰਨ ਤੋਂ ਬਾਅਦ, AISeeWhy ਦੇ ਆਪਣੇ user agent ਵਜੋਂ ਹਰ ਇੱਕ ਤੋਂ /llms.txt ਇੱਕ ਵਾਰ ਮੰਗੀ।
ਕੋਈ ਡੋਮੇਨ ਉਦੋਂ llms.txt ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਗਿਣਿਆ ਗਿਆ ਜਦੋਂ /llms.txt ਆਪ 200 ਨਾਲ ਜਵਾਬ ਦੇਵੇ, ਉਸ ਦੀ ਸਮੱਗਰੀ ਖਾਲੀ ਨਾ ਹੋਵੇ ਅਤੇ HTML ਪੇਜ ਨਾ ਹੋਵੇ, ਅਤੇ ਲੌਗਇਨ ਜਾਂ ਹੋਮ ਪੇਜ ਵਰਗੇ ਕਿਸੇ ਹੋਰ ਪੇਜ ਵੱਲ ਰੀਡਾਇਰੈਕਟ ਨਾ ਹੋਵੇ। ਇਸ ਵਾਰ ਅਸੀਂ ਫ਼ਾਈਲ ਦਾ ਫਾਰਮੈਟ ਨਹੀਂ ਜਾਂਚਿਆ।
ਸਾਨੂੰ ਕੀ ਮਿਲਿਆ?
- 10,000 ਡੋਮੇਨਾਂ ਵਿੱਚੋਂ 1,240 (12.4%)
llms.txtਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ। - ਸੂਚੀ ਵਿੱਚ CDN ਅਤੇ API ਹੋਸਟ ਵੀ ਹਨ ਜੋ ਕੋਈ ਵੈੱਬਸਾਈਟ ਨਹੀਂ ਚਲਾਉਂਦੇ। ਜਿਨ੍ਹਾਂ 7,367 ਡੋਮੇਨਾਂ ਦਾ ਹੋਮ ਪੇਜ HTML ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 1,233 (16.7%) ਇਹ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ।
- ਲਗਭਗ ਸਾਰੇ robots.txt ਵੀ ਦਿੰਦੇ ਹਨ: 1,240 ਵਿੱਚੋਂ 1,229।
ਕੀ ਵੱਡੀਆਂ ਸਾਈਟਾਂ ਵੱਧ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ?
ਹਾਂ, ਸਾਫ਼ ਫ਼ਰਕ ਨਾਲ। ਅਸੀਂ ਵੈੱਬਸਾਈਟਾਂ (ਜਿਨ੍ਹਾਂ ਡੋਮੇਨਾਂ ਦਾ ਹੋਮ ਪੇਜ HTML ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ) ਨੂੰ Tranco ਰੈਂਕ ਅਨੁਸਾਰ ਵੰਡਿਆ:
- ਰੈਂਕ 1 ਤੋਂ 1,000: 22.6% llms.txt ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ (658 ਵੈੱਬਸਾਈਟਾਂ ਵਿੱਚੋਂ 149)।
- ਰੈਂਕ 1,001 ਤੋਂ 3,000: 18.2% (1,449 ਵਿੱਚੋਂ 264)।
- ਰੈਂਕ 3,001 ਤੋਂ 10,000: 15.6% (5,260 ਵਿੱਚੋਂ 820)।
ਇਸ ਨੂੰ ਕੌਣ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ?
ਜਿਨ੍ਹਾਂ 6,192 ਡੋਮੇਨਾਂ ਨੇ robots.txt ਦਿੱਤੀ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ llms.txt ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਵਾਲੇ ਬਾਕੀਆਂ ਨਾਲੋਂ ਵੱਖਰੇ ਦਿਸਦੇ ਹਨ:
- ਉਹ 11.8% ਮਾਮਲਿਆਂ ਵਿੱਚ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਟ੍ਰੇਨਿੰਗ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦੇ ਹਨ, ਜਦਕਿ llms.txt ਤੋਂ ਬਿਨਾਂ ਡੋਮੇਨ 26.0% ਵਿੱਚ।
- ਉਹ 1.4% ਮਾਮਲਿਆਂ ਵਿੱਚ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਖੋਜ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਨੂੰ ਰੋਕਦੇ ਹਨ, ਜਦਕਿ ਦੂਜੇ 15.0% ਵਿੱਚ।
- ਉਹ 12.9% ਮਾਮਲਿਆਂ ਵਿੱਚ
Content-Signalਲਾਈਨ ਵਰਤਦੇ ਹਨ, ਜਦਕਿ ਦੂਜੇ 4.9% ਵਿੱਚ।
ਯਾਨੀ ਜੋ ਸਾਈਟਾਂ llms.txt ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਦੀ ਖੇਚਲ ਕਰਦੀਆਂ ਹਨ, ਉਹ ਜ਼ਿਆਦਾਤਰ ਉਹੀ ਹਨ ਜੋ ਪਹਿਲਾਂ ਹੀ AI ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀਆਂ ਹਨ।
ਇਹ ਕੀ ਨਹੀਂ ਦਿਖਾਉਂਦਾ?
ਇਹ ਇੱਕ ਸਬੰਧ ਦਿਖਾਉਂਦਾ ਹੈ, ਕਾਰਨ ਨਹੀਂ। ਜਿਹੜੀ ਸਾਈਟ AI ਦਿੱਖ ਨੂੰ ਗੰਭੀਰਤਾ ਨਾਲ ਲੈਂਦੀ ਹੈ, ਉਹ llms.txt ਪ੍ਰਕਾਸ਼ਿਤ ਵੀ ਕਰ ਸਕਦੀ ਹੈ ਅਤੇ robots.txt ਖੁੱਲ੍ਹੀ ਵੀ ਰੱਖ ਸਕਦੀ ਹੈ; ਇਸ ਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਕਿ ਫ਼ਾਈਲ ਨੇ ਫ਼ਰਕ ਪਾਇਆ। ਇਹ ਗਿਣਤੀ ਸਿਰਫ਼ ਪ੍ਰਕਾਸ਼ਨ ਮਾਪਦੀ ਹੈ। ਇਹ ਨਹੀਂ ਦੱਸਦੀ ਕਿ ਕੋਈ AI ਸਹਾਇਕ ਇਹ ਫ਼ਾਈਲ ਪੜ੍ਹਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਵੱਡੇ AI ਖੋਜ ਕ੍ਰਾਲਰ ਇਹ ਨਹੀਂ ਕਹਿੰਦੇ ਕਿ ਉਹ ਇਸ ਨੂੰ ਵਰਤਦੇ ਹਨ।
ਇਹ ਅੰਕੜੇ ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਡੋਮੇਨਾਂ ਲਈ ਇੱਕ ਦਿਨ ਇੱਕ ਪਤੇ ਉੱਤੇ ਹੋਮ ਪੇਜ ਦੇ ਨਿਯਮਾਂ ਅਤੇ ਫ਼ਾਈਲ ਦਾ ਹਾਲ ਦੱਸਦੇ ਹਨ। ਛੋਟੀਆਂ ਸਾਈਟਾਂ ਵੱਖਰੀਆਂ ਹੋ ਸਕਦੀਆਂ ਹਨ।
ਕੀ ਤੁਹਾਨੂੰ ਇਹ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ?
ਇਹ ਸਸਤੀ ਅਤੇ ਨੁਕਸਾਨ ਰਹਿਤ ਹੈ: ਤੁਹਾਡੀ ਸਾਈਟ ਦਾ ਛੋਟਾ Markdown ਸਾਰ ਅਤੇ ਸਭ ਤੋਂ ਲਾਭਦਾਇਕ ਪੇਜਾਂ ਦੀ ਸੂਚੀ। ਇਸ ਨੂੰ ਸਹੀ ਰੱਖੋ ਅਤੇ ਇਸ ਦੇ ਲਿੰਕ ਚਲਦੇ ਰੱਖੋ। ਇਸ ਨੂੰ ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦੇਣ ਦਾ ਬਦਲ ਨਾ ਸਮਝੋ: ਜਿਸ ਸਾਈਟ ਦੀ ਫਾਇਰਵਾਲ ਕ੍ਰਾਲਰ ਨੂੰ ਮੋੜਦੀ ਹੈ, ਜਾਂ ਜਿਸ ਦੀ robots.txt ਉਸ ਨੂੰ ਮਨ੍ਹਾ ਕਰਦੀ ਹੈ, ਉਸ ਉੱਤੇ llms.txt ਕਿਸੇ ਦੇ ਕੰਮ ਨਹੀਂ ਆਉਂਦੀ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- llms.txt checker ਅਤੇ ਪ੍ਰਮਾਣਕ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕਿੰਨੀਆਂ ਵੈੱਬਸਾਈਟਾਂ ਕੋਲ llms.txt ਹੈ?
ਜਿਹੜੇ 10,000 ਸਭ ਤੋਂ ਪ੍ਰਸਿੱਧ ਡੋਮੇਨ ਅਸੀਂ ਜਾਂਚੇ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 12.4% ਇਹ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ। ਜਿਨ੍ਹਾਂ ਦਾ ਹੋਮ ਪੇਜ HTML ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ ਉਨ੍ਹਾਂ ਵਿੱਚ ਇਹ ਹਿੱਸਾ 16.7% ਹੈ, ਅਤੇ ਸਭ ਤੋਂ ਵੱਡੀਆਂ ਸਾਈਟਾਂ ਵਿੱਚ ਵੱਧ ਹੈ: ਚੋਟੀ ਦੇ 1,000 ਵਿੱਚ 22.6%।
ਕੀ llms.txt ਵਾਲੀਆਂ ਸਾਈਟਾਂ AI ਕ੍ਰਾਲਰਾਂ ਨੂੰ ਵੱਧ ਇਜਾਜ਼ਤ ਦਿੰਦੀਆਂ ਹਨ?
ਸਾਡੇ ਡੇਟਾ ਵਿੱਚ ਹਾਂ: ਉਹ 1.4% ਮਾਮਲਿਆਂ ਵਿੱਚ AI ਖੋਜ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰਾਲਰ ਰੋਕਦੀਆਂ ਹਨ, ਜਦਕਿ ਇਸ ਤੋਂ ਬਿਨਾਂ ਸਾਈਟਾਂ 15.0% ਵਿੱਚ। ਇਹ ਸਬੰਧ ਹੈ। ਇਹ ਸਾਬਤ ਨਹੀਂ ਕਰਦਾ ਕਿ ਫ਼ਾਈਲ ਕ੍ਰਾਲਰਾਂ ਦੇ ਸਾਈਟ ਨਾਲ ਵਿਹਾਰ ਨੂੰ ਬਦਲਦੀ ਹੈ।
ਕੀ llms.txt ਨਾਲ AI ਸਹਾਇਕਾਂ ਵਿੱਚ ਹਵਾਲਾ ਮਿਲਣ ਵਿੱਚ ਮਦਦ ਮਿਲਦੀ ਹੈ?
ਸਾਡਾ ਡੇਟਾ ਇਹ ਨਹੀਂ ਦੱਸ ਸਕਦਾ। ਇਹ ਗਿਣਦਾ ਹੈ ਕਿ ਕਿਹੜੀਆਂ ਸਾਈਟਾਂ ਫ਼ਾਈਲ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ, ਇਹ ਨਹੀਂ ਕਿ ਕੋਈ ਸਹਾਇਕ ਇਹ ਵਰਤਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਵੱਡੇ AI ਖੋਜ ਕ੍ਰਾਲਰ ਇਹ ਨਹੀਂ ਕਹਿੰਦੇ ਕਿ ਉਹ ਇਸ ਨੂੰ ਪੜ੍ਹਦੇ ਹਨ। ਕ੍ਰਾਲ ਹੋਣ ਯੋਗ ਪੇਜ ਅਤੇ ਖੁੱਲ੍ਹੀ ਪਹੁੰਚ ਵੱਧ ਮਾਇਨੇ ਰੱਖਦੇ ਹਨ।
ਤੁਸੀਂ ਕਿਵੇਂ ਪਛਾਣਦੇ ਹੋ ਕਿ ਕਿਸੇ ਸਾਈਟ ਕੋਲ ਅਸਲੀ llms.txt ਹੈ?
/llms.txt ਮੰਗੋ ਅਤੇ ਦੇਖੋ ਕਿ ਉਹ ਉਸੇ ਪਤੇ ਉੱਤੇ 200 ਨਾਲ ਜਵਾਬ ਦਿੰਦੀ ਹੈ ਅਤੇ ਉਸ ਦੀ ਸਮੱਗਰੀ ਟੈਕਸਟ ਹੈ, HTML ਪੇਜ ਨਹੀਂ। ਹੋਮ ਪੇਜ ਜਾਂ ਲੌਗਇਨ ਪੇਜ ਵੱਲ ਰੀਡਾਇਰੈਕਟ llms.txt ਨਹੀਂ ਹੈ।
ਸਰੋਤ
- llmstxt.org: /llms.txt ਫ਼ਾਈਲ
- AISeeWhy: AI ਕ੍ਰਾਲਰ ਪਹੁੰਚ ਰਿਪੋਰਟ, 2026-11
- Tranco: ਖੋਜ-ਮੁਖੀ ਚੋਟੀ ਦੀਆਂ ਸਾਈਟਾਂ ਦੀ ਦਰਜਾਬੰਦੀ
- Google Search Central: AI ਫ਼ੀਚਰ ਅਤੇ ਤੁਹਾਡੀ ਵੈੱਬਸਾਈਟ
- OpenAI: OpenAI ਕ੍ਰਾਲਰਾਂ ਦੀ ਜਾਣਕਾਰੀ