llms-full.txt ਕੀ ਹੈ, ਅਤੇ ਕੀ ਇਸਨੂੰ llms.txt ਦੇ ਨਾਲ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ?
llms-full.txt ਇੱਕ ਇਕੱਲੀ ਟੈਕਸਟ ਫਾਈਲ ਹੈ ਜਿਸ ਵਿੱਚ ਸਾਈਟ ਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਦਾ ਪੂਰਾ ਟੈਕਸਟ ਹੁੰਦਾ ਹੈ, ਆਮ ਤੌਰ 'ਤੇ Markdown ਵਿੱਚ, ਅਤੇ ਇਹ ਛੋਟੇ /llms.txt index ਦੇ ਨਾਲ ਪ੍ਰਕਾਸ਼ਿਤ ਹੁੰਦੀ ਹੈ। ਇਹ llmstxt.org ਵਾਲੇ llms.txt ਪ੍ਰਸਤਾਵ ਦਾ ਹਿੱਸਾ ਨਹੀਂ, ਸਗੋਂ ਦਸਤਾਵੇਜ਼ੀ ਸਾਈਟਾਂ ਵੱਲੋਂ ਅਪਣਾਇਆ ਰਿਵਾਜ ਹੈ। ਜੇ ਤੁਸੀਂ ਡਿਵੈਲਪਰ ਦਸਤਾਵੇਜ਼ ਚਲਾਉਂਦੇ ਹੋ ਜਿਨ੍ਹਾਂ ਨੂੰ ਏਜੰਟ ਇੱਕੋ ਵਾਰ ਵਿੱਚ ਲੋਡ ਕਰਦੇ ਹਨ ਤਾਂ ਇਹ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰੋ; ਜ਼ਿਆਦਾਤਰ ਕਾਰੋਬਾਰੀ ਸਾਈਟਾਂ ਲਈ ਚੰਗੀ llms.txt ਅਤੇ ਸਾਫ਼ ਪੰਨੇ ਕਾਫ਼ੀ ਹਨ।
llms.txt ਕੀ ਹੈ ਬਾਰੇ ਸਾਡਾ ਲੇਖ index ਫਾਈਲ ਨੂੰ ਹੀ ਕਵਰ ਕਰਦਾ ਹੈ: ਉਸਦਾ ਫਾਰਮੈਟ, ਉਹ ਕਿੱਥੋਂ ਆਈ ਅਤੇ ਉਸਨੂੰ ਕੌਣ ਪੜ੍ਹਦਾ ਹੈ। ਇਹ ਉਸਦੀ ਵੱਡੀ ਭੈਣ ਬਾਰੇ ਹੈ। ਜੇ ਤੁਸੀਂ ਕਿਸੇ ਦਸਤਾਵੇਜ਼ੀ ਸਾਈਟ 'ਤੇ llms-full.txt ਦੇਖੀ ਹੈ, ਜਾਂ ਕਿਸੇ checker ਨੇ ਪੁੱਛਿਆ ਕਿ ਤੁਹਾਡੇ ਕੋਲ ਹੈ ਜਾਂ ਨਹੀਂ, ਤਾਂ ਇੱਥੇ ਦੱਸਿਆ ਹੈ ਕਿ ਫਾਈਲ ਕੀ ਹੈ, ਪ੍ਰਸਤਾਵ ਕੀ ਕਹਿੰਦਾ ਹੈ ਤੇ ਕੀ ਨਹੀਂ, ਅਤੇ ਕੀ ਇਹ ਮਿਹਨਤ ਦੇ ਯੋਗ ਹੈ।
ਇਸ ਪੰਨੇ 'ਤੇ
- ਕੀ llms-full.txt, llms.txt ਨਿਰਧਾਰਨ ਦਾ ਹਿੱਸਾ ਹੈ?
- llms-full.txt, llms.txt ਅਤੇ .md ਪੰਨਿਆਂ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰੀ ਹੈ?
- llms-full.txt ਕੌਣ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ?
- ਕੀ AI ਕ੍ਰੌਲਰ llms.txt ਜਾਂ llms-full.txt ਪੜ੍ਹਦੇ ਹਨ?
- llms-full.txt ਕਿੰਨੀ ਵੱਡੀ ਹੋ ਸਕਦੀ ਹੈ?
- llms-full.txt ਕਿਵੇਂ ਬਣਾਈਏ ਅਤੇ ਜਾਂਚੀਏ?
- ਕੀ llms-full.txt ਤਰਜੀਹ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ?
ਕੀ llms-full.txt, llms.txt ਨਿਰਧਾਰਨ ਦਾ ਹਿੱਸਾ ਹੈ?
ਨਹੀਂ। llmstxt.org ਵਾਲਾ ਪ੍ਰਸਤਾਵ, ਜੋ ਹੁਣ ਸੰਸਕਰਣ 2 ਵਿੱਚ ਹੈ (10 ਅਗਸਤ 2026 ਨੂੰ ਬਦਲਿਆ), ਸਿਰਫ਼ llms.txt ਨਾਮ ਵਾਲੀਆਂ ਫਾਈਲਾਂ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ, ਸਾਈਟ ਦੀ root 'ਤੇ ਜਾਂ ਕਿਸੇ ਵੀ path 'ਤੇ, ਜਿੱਥੇ ਫਾਈਲ ਆਪਣੇ path ਹੇਠਲੇ ਪੰਨਿਆਂ ਨੂੰ ਕਵਰ ਕਰਦੀ ਹੈ। ਇਹ ਇਕੱਲੇ ਪੰਨਿਆਂ ਦੇ Markdown ਸੰਸਕਰਣ ਵੀ ਪ੍ਰਸਤਾਵਿਤ ਕਰਦਾ ਹੈ, ਪੰਨੇ ਦੇ URL ਨਾਲ .md ਜੋੜ ਕੇ (page.html.md) ਜਾਂ extension ਬਦਲ ਕੇ (page.md), ਅਤੇ ਫਾਈਲ ਨਾਮ ਤੋਂ ਬਿਨਾਂ URLs ਲਈ index.html.md ਜਾਂ index.md।
ਸਾਰੀ ਸਮੱਗਰੀ ਵਾਲੀ ਇਕੱਲੀ ਫਾਈਲ ਨਿਰਧਾਰਨ ਵਿੱਚ ਕਿਤੇ ਨਹੀਂ। ਸੰਸਕਰਣ 1 ਵਿੱਚ llms_txt2ctx ਨਾਮ ਦੇ ਟੂਲ ਦਾ ਵੇਰਵਾ ਸੀ ਜੋ llms.txt ਨੂੰ ਇੱਕ context ਫਾਈਲ ਵਿੱਚ ਫੈਲਾਉਂਦਾ ਸੀ। ਸੰਸਕਰਣ 2 ਨੇ ਉਹ ਟੂਲ ਪ੍ਰਸਤਾਵ ਵਿੱਚੋਂ ਹਟਾ ਦਿੱਤਾ ਅਤੇ ਇਸਦੀ ਥਾਂ ਉਮੀਦ ਕੀਤੀ ਵਰਤੋਂ ਦੱਸੀ: ਏਜੰਟ llms.txt ਪੜ੍ਹਦੇ ਜਾਂ ਉਸ ਵਿੱਚ ਸਰਚ ਕਰਦੇ ਹਨ, ਫਿਰ ਲੋੜੀਂਦੇ ਲਿੰਕਾਂ 'ਤੇ ਜਾਂਦੇ ਹਨ। FastHTML ਦੇ ਦਸਤਾਵੇਜ਼, ਜੋ ਪ੍ਰਸਤਾਵ ਦੀ ਆਪਣੀ ਮਿਸਾਲ ਹਨ, ਹਾਲੇ ਵੀ llms-ctx-full.txt ਨਾਮ ਦੀ ਫੈਲਾਈ ਫਾਈਲ ਦਿੰਦੇ ਹਨ।
ਤਾਂ llms-full.txt ਨਾਮ ਰੱਖਣ ਦਾ ਇੱਕ ਰਿਵਾਜ ਹੈ। "ਸਾਰੇ ਪੰਨੇ, ਇੱਕ ਤੋਂ ਬਾਅਦ ਇੱਕ" ਤੋਂ ਇਲਾਵਾ ਕੋਈ ਸਹਿਮਤ ਫਾਰਮੈਟ ਨਹੀਂ।
llms-full.txt, llms.txt ਅਤੇ .md ਪੰਨਿਆਂ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰੀ ਹੈ?
ਪ੍ਰਸਤਾਵ ਦਾ ਸੰਸਕਰਣ 2 HTTP ਹੈਡਰ ਜਾਂ ਪੰਨੇ ਦੇ HTML ਵਿੱਚ standard link relations ਵਰਤ ਕੇ ਏਜੰਟਾਂ ਲਈ ਪੰਨੇ ਦਾ Markdown ਸੰਸਕਰਣ ਅਤੇ ਉਸਨੂੰ ਕਵਰ ਕਰਨ ਵਾਲੀ llms.txt ਲੱਭਣ ਦਾ ਤਰੀਕਾ ਜੋੜਦਾ ਹੈ:
llms.txtਇੱਕ index ਹੈ: ਸਿਰਲੇਖ, ਸਾਰਾਂਸ਼ ਅਤੇ ਲਿੰਕਾਂ ਦੀਆਂ ਸੂਚੀਆਂ। ਪ੍ਰਸਤਾਵ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਇੰਨੀ ਛੋਟੀ ਰਹਿਣੀ ਚਾਹੀਦੀ ਹੈ ਕਿ ਮਾਡਲ ਦੇ context ਵਿੱਚ ਆ ਜਾਵੇ।.mdਪੰਨੇ ਇਕੱਲੇ ਪੰਨਿਆਂ ਦੀਆਂ ਸਾਫ਼ ਕਾਪੀਆਂ ਹਨ। ਇਹ ਪ੍ਰਸਤਾਵ ਦਾ ਹਿੱਸਾ ਹਨ, ਅਤੇ ਏਜੰਟ ਸਿਰਫ਼ ਲੋੜੀਂਦੇ ਪੰਨੇ ਲਿਆਉਂਦਾ ਹੈ।llms-full.txtਸਾਰੇ ਪੰਨਿਆਂ ਨੂੰ ਇੱਕ ਫਾਈਲ ਵਿੱਚ ਜੋੜਦੀ ਹੈ। ਇੱਕ ਬੇਨਤੀ ਏਜੰਟ ਨੂੰ ਸਭ ਕੁਝ ਦੇ ਦਿੰਦੀ ਹੈ, ਆਕਾਰ ਦੀ ਕੀਮਤ 'ਤੇ।
# HTTP response header on https://example.com/docs/setup.html
Link: </docs/setup.html.md>; rel="alternate"; type="text/markdown", </docs/llms.txt>; rel="describedby"
# The same as HTML link elements in the page <head>
<link rel="alternate" type="text/markdown" href="/docs/setup.html.md">
<link rel="describedby" href="/docs/llms.txt"> llms-full.txt ਲਈ ਅਜਿਹੀ ਕੋਈ link relation ਨਹੀਂ। ਇਸਨੂੰ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਵਾਲੀਆਂ ਸਾਈਟਾਂ ਆਮ ਤੌਰ 'ਤੇ ਆਪਣੀ llms.txt ਤੋਂ ਇਸਦਾ ਲਿੰਕ ਦਿੰਦੀਆਂ ਹਨ।
llms-full.txt ਕੌਣ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ?
ਜ਼ਿਆਦਾਤਰ ਡਿਵੈਲਪਰ ਦਸਤਾਵੇਜ਼ੀ ਸਾਈਟਾਂ। ਜਦੋਂ ਅਸੀਂ 17 ਨਵੰਬਰ 2026 ਨੂੰ ਜਾਂਚਿਆ, ਤਾਂ ਇਹ ਫਾਈਲਾਂ ਲਾਈਵ ਸਨ:
- Cloudflare:
developers.cloudflare.com/llms-full.txt, ਲਗਭਗ 71 MB। ਇਸਦੀ root llms.txt 17 KB ਦੀ ਹੈ ਅਤੇ ਹਰ ਉਤਪਾਦ ਦੀ ਵੱਖਰੀ llms.txt ਦਾ ਲਿੰਕ ਦਿੰਦੀ ਹੈ। - Anthropic:
platform.claude.com/llms-full.txt, ਲਗਭਗ 53 MB। 102 KB ਦੀ llms.txt ਅੰਤ ਵਿੱਚ ਇਸਦਾ ਲਿੰਕ ਦਿੰਦੀ ਹੈ। - OpenAI:
developers.openai.com/llms-full.txt, ਲਗਭਗ 9.7 MB, ਜਿਸਨੂੰ ਫਾਈਲ ਵਿੱਚ ਇੱਕ-ਫਾਈਲ Markdown ਐਕਸਪੋਰਟ ਦੱਸਿਆ ਗਿਆ ਹੈ। ਇਸਦੀ llms.txt 6 KB ਦੀ ਹੈ। - Perplexity:
docs.perplexity.ai/llms-full.txt, ਲਗਭਗ 4 MB, ਹਰ ਪੰਨੇ ਦਾ URL ਦੱਸਣ ਵਾਲੀSource:ਲਾਈਨ ਨਾਲ। ਇਸਦੀ llms.txt 46 KB ਦੀ ਹੈ।
ਚਾਰੇ API ਅਤੇ ਉਤਪਾਦ ਦਸਤਾਵੇਜ਼ ਹਨ, ਜਿਨ੍ਹਾਂ ਨੂੰ ਡਿਵੈਲਪਰ ਅਤੇ ਕੋਡਿੰਗ ਏਜੰਟ ਪੜ੍ਹਦੇ ਹਨ। 1,000 ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਡੋਮੇਨਾਂ ਬਾਰੇ ਸਾਡੇ ਨਵੰਬਰ 2026 ਦੇ ਅਧਿਐਨ ਵਿੱਚ ਅਸੀਂ llms-full.txt ਨਹੀਂ ਗਿਣੀ; ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 132 ਨੇ llms.txt ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ, ਅਤੇ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ 117 llmstxt.org ਫਾਰਮੈਟ ਮੁਤਾਬਕ ਸਨ।
ਕੀ AI ਕ੍ਰੌਲਰ llms.txt ਜਾਂ llms-full.txt ਪੜ੍ਹਦੇ ਹਨ?
ਸਾਨੂੰ ਮਿਲੇ ਕਿਸੇ ਵੀ ਦਸਤਾਵੇਜ਼ ਮੁਤਾਬਕ ਨਹੀਂ। OpenAI, Anthropic ਅਤੇ Perplexity ਦੇ ਕ੍ਰੌਲਰ ਪੰਨੇ ਆਪਣੇ ਬੋਟਾਂ ਅਤੇ robots.txt ਟੋਕਨਾਂ ਦਾ ਵੇਰਵਾ ਦਿੰਦੇ ਹਨ, ਅਤੇ ਕੋਈ ਵੀ ਇਹ ਨਹੀਂ ਕਹਿੰਦਾ ਕਿ ਉਹ ਕ੍ਰੌਲਰ ਹੋਰ ਸਾਈਟਾਂ 'ਤੇ llms.txt ਜਾਂ llms-full.txt ਪੜ੍ਹਦੇ ਹਨ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ AI Overviews ਜਾਂ AI Mode ਵਿੱਚ ਆਉਣ ਲਈ ਤੁਹਾਨੂੰ ਨਵੀਆਂ ਮਸ਼ੀਨ ਦੇ ਪੜ੍ਹਨ ਯੋਗ ਫਾਈਲਾਂ, AI ਟੈਕਸਟ ਫਾਈਲਾਂ ਜਾਂ ਮਾਰਕਅੱਪ ਬਣਾਉਣ ਦੀ ਲੋੜ ਨਹੀਂ।
ਆਪਣੇ ਦਸਤਾਵੇਜ਼ਾਂ ਲਈ ਇਹ ਫਾਈਲਾਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨਾ ਤੁਹਾਡੀਆਂ ਪੜ੍ਹਨ ਦੇ ਬਰਾਬਰ ਨਹੀਂ। llmstxt.org ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਫਾਈਲਾਂ ਸਭ ਤੋਂ ਵੱਧ ਸੌਫਟਵੇਅਰ ਦਸਤਾਵੇਜ਼ਾਂ ਲਈ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਜਿੱਥੇ ਕੋਡਿੰਗ ਏਜੰਟ ਇਨ੍ਹਾਂ 'ਤੇ ਚੱਲਦੇ ਹਨ। Chrome ਦੇ Lighthouse ਵਿੱਚ llms.txt audit ਹੈ, ਪਰ ਇਹ ਸਿਰਫ਼ /llms.txt ਲਿਆਉਣ ਵੇਲੇ ਸਰਵਰ error ਨੂੰ ਚਿੰਨ੍ਹਿਤ ਕਰਦਾ ਹੈ; ਗੁੰਮ ਫਾਈਲ ਨੂੰ ਲਾਗੂ ਨਹੀਂ ਗਿਣਿਆ ਜਾਂਦਾ, ਅਤੇ audit llms-full.txt ਦਾ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦਾ।
ਜੇ ਤੁਸੀਂ ਆਪਣੀ ਸਾਈਟ ਲਈ ਸਬੂਤ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਆਪਣੇ ਸਰਵਰ ਲੌਗਾਂ ਵਿੱਚ /llms-full.txt ਦੀਆਂ ਬੇਨਤੀਆਂ ਲੱਭੋ ਅਤੇ ਯੂਜ਼ਰ ਏਜੰਟ ਦੇਖੋ।
llms-full.txt ਕਿੰਨੀ ਵੱਡੀ ਹੋ ਸਕਦੀ ਹੈ?
ਕੋਈ ਹੱਦ ਦਰਜ ਨਹੀਂ, ਕਿਉਂਕਿ ਕੋਈ ਨਿਰਧਾਰਨ ਇਸ ਫਾਈਲ ਨੂੰ ਪਰਿਭਾਸ਼ਿਤ ਨਹੀਂ ਕਰਦਾ। ਅਮਲੀ ਹੱਦ ਪੜ੍ਹਨ ਵਾਲਾ ਹੈ। llmstxt.org ਦੱਸਦਾ ਹੈ ਕਿ context windows, ਭਾਵੇਂ ਪਹਿਲਾਂ ਨਾਲੋਂ ਵੱਡੀਆਂ ਹਨ, ਜ਼ਿਆਦਾਤਰ ਵੈੱਬਸਾਈਟਾਂ ਨੂੰ ਪੂਰਾ ਸਮਾਉਣ ਲਈ ਹਾਲੇ ਵੀ ਛੋਟੀਆਂ ਹਨ। ਕਈ ਮੈਗਾਬਾਈਟ ਦੀ ਫਾਈਲ ਇੱਕੋ ਵਾਰ ਨਹੀਂ ਪੜ੍ਹੀ ਜਾ ਸਕਦੀ, ਇਸ ਲਈ ਏਜੰਟ ਨੂੰ ਉਸ ਵਿੱਚ ਸਰਚ ਕਰਨਾ ਜਾਂ ਹਿੱਸਿਆਂ ਵਿੱਚ ਪੜ੍ਹਨਾ ਪੈਂਦਾ ਹੈ, ਜੋ llms.txt index ਅਤੇ .md ਪੰਨੇ ਪਹਿਲਾਂ ਹੀ ਸੰਭਵ ਕਰਦੇ ਹਨ।
ਜੇ ਫਿਰ ਵੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨੀ ਹੈ:
- ਇੱਕ ਵੱਡੀ ਫਾਈਲ ਭੇਜਣ ਦੀ ਥਾਂ ਵੱਡੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਉਤਪਾਦ ਜਾਂ ਭਾਗ ਮੁਤਾਬਕ ਵੰਡੋ, ਜਿਵੇਂ Cloudflare ਆਪਣੀਆਂ ਹਰ ਉਤਪਾਦ ਵਾਲੀਆਂ llms.txt ਫਾਈਲਾਂ ਨਾਲ ਕਰਦਾ ਹੈ।
- ਹਰ ਪੰਨੇ ਤੋਂ ਉੱਪਰ ਸਰੋਤ URL ਰੱਖੋ, ਤਾਂ ਜੋ ਫਾਈਲ ਤੋਂ ਬਣਿਆ ਜਵਾਬ ਫਿਰ ਵੀ ਸਹੀ ਪੰਨੇ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰ ਸਕੇ।
- ਸਿਰਫ਼ ਜਨਤਕ ਸਮੱਗਰੀ ਸ਼ਾਮਲ ਕਰੋ। ਫਾਈਲ ਪੂਰੀ ਨਕਲ ਕਰਨੀ ਸੌਖੀ ਹੈ, ਅਤੇ robots.txt ਦੇ ਨਿਯਮ ਇਸ 'ਤੇ ਕਿਸੇ ਹੋਰ URL ਵਾਂਗ ਲਾਗੂ ਹੁੰਦੇ ਹਨ, ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਦੀਆਂ ਰੋਕਾਂ ਸਮੇਤ।
- ਹਰ deploy 'ਤੇ ਇਸਨੂੰ ਦੁਬਾਰਾ ਬਣਾਓ। ਪੁਰਾਣੀ ਪੂਰੀ ਕਾਪੀ ਨਾ ਹੋਣ ਨਾਲੋਂ ਬੁਰੀ ਹੈ, ਕਿਉਂਕਿ ਇਹ ਪੁਰਾਣੇ ਤੱਥ ਇੱਕ ਸੌਖੀ ਥਾਂ 'ਤੇ ਦੁਹਰਾਉਂਦੀ ਹੈ।
llms-full.txt ਕਿਵੇਂ ਬਣਾਈਏ ਅਤੇ ਜਾਂਚੀਏ?
ਵੈਧ llms.txt ਅਤੇ ਆਪਣੇ ਪੰਨਿਆਂ ਦੇ Markdown ਸੰਸਕਰਣਾਂ ਤੋਂ ਸ਼ੁਰੂ ਕਰੋ; ਫਿਰ llms-full.txt ਇੱਕ build ਕਦਮ ਹੈ। ਇਹ ਸਕ੍ਰਿਪਟ ਤੁਹਾਡੀ llms.txt ਪੜ੍ਹਦੀ ਹੈ, ਹਰ ਲਿੰਕ ਕੀਤਾ .md ਪੰਨਾ ਲਿਆਉਂਦੀ ਹੈ ਅਤੇ ਹਰ ਇੱਕ ਲਈ ਸਰੋਤ ਲਾਈਨ ਨਾਲ ਉਨ੍ਹਾਂ ਨੂੰ ਜੋੜਦੀ ਹੈ:
import re
import urllib.request
SITE_INDEX = "https://example.com/llms.txt"
HEADERS = {"User-Agent": "llms-full-builder/1.0"}
def get(url):
req = urllib.request.Request(url, headers=HEADERS)
with urllib.request.urlopen(req, timeout=20) as resp:
return resp.read().decode("utf-8", "replace")
index = get(SITE_INDEX)
links = re.findall(r"^\s*-\s*\[([^\]]+)\]\((https?://[^)\s]+)\)", index, re.M)
parts = [index.strip()]
for title, url in links:
if not url.endswith(".md"):
continue # include only pages that have a clean Markdown version
parts.append(f"# {title}\nSource: {url}\n\n{get(url).strip()}")
with open("llms-full.txt", "w", encoding="utf-8") as f:
f.write("\n\n---\n\n".join(parts) + "\n")
print(len(parts) - 1, "pages,", sum(len(p) for p in parts), "characters") ਫਿਰ ਨਤੀਜਾ ਜਾਂਚੋ। ਫਾਈਲ ਨੂੰ HTML ਪੰਨੇ ਵਜੋਂ ਨਹੀਂ, text/plain ਜਾਂ text/markdown ਵਜੋਂ status 200 ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ, ਅਤੇ ਇਸਦੇ ਪੰਨਿਆਂ ਦੀ ਗਿਣਤੀ ਤੁਹਾਡੀ llms.txt ਦੇ ਲਿੰਕਾਂ ਨਾਲ ਮੇਲ ਖਾਣੀ ਚਾਹੀਦੀ ਹੈ। ਮੁਫ਼ਤ AISeeWhy llms.txt ਜਨਰੇਟਰ index ਲਿਖਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ, ਅਤੇ ਮੁਫ਼ਤ llms.txt ਪ੍ਰਮਾਣਕ ਇਸਨੂੰ llmstxt.org ਫਾਰਮੈਟ ਨਾਲ ਜਾਂਚਦਾ ਹੈ: ਸਿਰਲੇਖ, ਸਾਰਾਂਸ਼, ਭਾਗ ਅਤੇ ਲਿੰਕ, ਹਰ ਸਮੱਸਿਆ ਲਈ ਲਾਈਨ ਨੰਬਰਾਂ ਨਾਲ। llms-full.txt ਲਈ ਜਾਂਚਣ ਯੋਗ ਕੋਈ ਫਾਰਮੈਟ ਨਹੀਂ, ਇਸ ਲਈ ਉੱਪਰਲੀਆਂ ਜਾਂਚਾਂ ਹੀ ਕੰਮ ਦੀਆਂ ਹਨ।
ਕੀ llms-full.txt ਤਰਜੀਹ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ?
ਜ਼ਿਆਦਾਤਰ ਸਾਈਟਾਂ ਲਈ, ਨਹੀਂ। ਦੋਵੇਂ ਫਾਈਲਾਂ ਤਾਂ ਹੀ ਮਦਦ ਕਰਦੀਆਂ ਹਨ ਜਦੋਂ ਪੜ੍ਹਨ ਵਾਲਾ ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਤੱਕ ਪਹੁੰਚ ਸਕੇ। ਮੁਫ਼ਤ AISeeWhy ਜਾਂਚ ਪੰਨੇ ਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ 16 AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਲਿਆਉਂਦੀ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਕੀ robots.txt, ਫਾਇਰਵਾਲ ਜਾਂ JavaScript ਉਨ੍ਹਾਂ ਨੂੰ ਰੋਕਦੇ ਹਨ, ਜੋ AI ਵਿੱਚ ਦਿੱਖ ਬਾਰੇ ਦੋਵਾਂ ਟੈਕਸਟ ਫਾਈਲਾਂ ਨਾਲੋਂ ਵੱਧ ਤੈਅ ਕਰਦਾ ਹੈ।
ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ
- ਕੋਈ llms.txt ਨਹੀਂ
- llms.txt ਸਿਰਲੇਖ ਨਾਲ ਸ਼ੁਰੂ ਨਹੀਂ ਹੁੰਦੀ
- ਪੰਨਾ llms.txt ਵਿੱਚ ਸੂਚੀਬੱਧ ਨਹੀਂ ਹੈ
- llms.txt ਬਹੁਤ ਵੱਡੀ ਹੈ: 1200 KB
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- llms.txt checker ਅਤੇ ਪ੍ਰਮਾਣਕ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ llms.txt ਪ੍ਰਸਤਾਵ llms-full.txt ਨੂੰ ਲਾਜ਼ਮੀ ਕਰਦਾ ਹੈ?
ਨਹੀਂ। ਪ੍ਰਸਤਾਵ llms.txt ਅਤੇ ਪੰਨਿਆਂ ਦੇ Markdown ਸੰਸਕਰਣ ਪਰਿਭਾਸ਼ਿਤ ਕਰਦਾ ਹੈ। llms-full.txt ਇੱਕ ਰਿਵਾਜ ਹੈ ਜੋ ਕੁਝ ਦਸਤਾਵੇਜ਼ੀ ਸਾਈਟਾਂ ਮੰਨਦੀਆਂ ਹਨ।
llm.txt ਅਤੇ llms.txt ਵਿੱਚ ਕੀ ਫ਼ਰਕ ਹੈ?
ਪ੍ਰਸਤਾਵ ਦਾ ਫਾਈਲ ਨਾਮ s ਨਾਲ llms.txt ਹੈ। /llm.txt ਵਾਲੀ ਫਾਈਲ ਪ੍ਰਸਤਾਵ ਮੁਤਾਬਕ ਨਹੀਂ, ਅਤੇ llms.txt ਲੱਭਣ ਵਾਲੇ ਟੂਲ ਉਸਨੂੰ ਨਹੀਂ ਲੱਭਣਗੇ।
llms-full.txt ਕਿੱਥੇ ਰੱਖਣੀ ਚਾਹੀਦੀ ਹੈ?
ਕੋਈ ਨਿਰਧਾਰਨ ਨਹੀਂ ਦੱਸਦਾ। ਉੱਪਰਲੀਆਂ ਮਿਸਾਲਾਂ ਇਸਨੂੰ ਦਸਤਾਵੇਜ਼ੀ ਸਾਈਟ ਦੀ root 'ਤੇ llms.txt ਦੇ ਨਾਲ ਰੱਖਦੀਆਂ ਹਨ, ਅਤੇ llms.txt ਤੋਂ ਇਸਦਾ ਲਿੰਕ ਦਿੰਦੀਆਂ ਹਨ ਤਾਂ ਜੋ ਪੜ੍ਹਨ ਵਾਲੇ ਇਸਨੂੰ ਲੱਭ ਸਕਣ।
ਕੀ llms-full.txt Google AI Overviews ਵਿੱਚ ਮਦਦ ਕਰਦੀ ਹੈ?
Google ਕਹਿੰਦਾ ਹੈ ਕਿ AI Overviews ਜਾਂ AI Mode ਵਿੱਚ ਆਉਣ ਲਈ ਤੁਹਾਨੂੰ ਨਵੀਆਂ ਮਸ਼ੀਨ ਦੇ ਪੜ੍ਹਨ ਯੋਗ ਫਾਈਲਾਂ ਜਾਂ AI ਟੈਕਸਟ ਫਾਈਲਾਂ ਦੀ ਲੋੜ ਨਹੀਂ। ਪੰਨੇ ਇੰਡੈਕਸ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ ਅਤੇ ਸਨਿੱਪਟ ਦਿਖਾਉਣ ਦੇ ਯੋਗ ਹੋਣੇ ਚਾਹੀਦੇ ਹਨ।
ਕੀ llms.txt checker ਨਾਲ llms-full.txt ਜਾਂਚ ਸਕਦਾ ਹਾਂ?
ਸਿਰਫ਼ ਕੁਝ ਹੱਦ ਤੱਕ। llms.txt checker index ਫਾਰਮੈਟ ਜਾਂਚਦਾ ਹੈ, ਜਿਸ ਮੁਤਾਬਕ ਪੂਰੀ ਸਮੱਗਰੀ ਵਾਲੀ ਫਾਈਲ ਨਹੀਂ ਹੁੰਦੀ। llms-full.txt ਲਈ ਸਟੇਟਸ ਕੋਡ, content type, ਆਕਾਰ ਅਤੇ ਇਹ ਜਾਂਚੋ ਕਿ ਇਹ ਤੁਹਾਡੇ ਮੌਜੂਦਾ ਪੰਨਿਆਂ ਨਾਲ ਮੇਲ ਖਾਂਦੀ ਹੈ।
ਸਰੋਤ
- llmstxt.org: The /llms.txt file, v2
- llmstxt.org: Changes
- Chrome for Developers: Lighthouse llms.txt audit
- Google Search Central: AI features and your website
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Cloudflare: llms-full.txt
- Anthropic: llms-full.txt
- OpenAI: llms-full.txt
- Perplexity: llms-full.txt
- AISeeWhy: AI ਕ੍ਰੌਲਰ ਪਹੁੰਚ ਰਿਪੋਰਟ, 2026-11