llms.txt ਕੀ ਹੈ, ਅਤੇ ਕੀ ਇਸਨੂੰ ਜੋੜਨਾ ਫ਼ਾਇਦੇਮੰਦ ਹੈ?

ਪ੍ਰਕਾਸ਼ਿਤ

ਛੋਟਾ ਜਵਾਬ

llms.txt ਇੱਕ ਪ੍ਰਸਤਾਵਿਤ Markdown ਫ਼ਾਈਲ ਹੈ ਜੋ /llms.txt 'ਤੇ ਰੱਖੀ ਜਾਂਦੀ ਹੈ ਅਤੇ AI ਟੂਲਾਂ ਨੂੰ ਤੁਹਾਡੀ ਸਾਈਟ ਦਾ ਛੋਟਾ ਸਾਰ ਅਤੇ ਇਸਦੇ ਸਭ ਤੋਂ ਕੰਮ ਦੇ ਪੰਨਿਆਂ ਦੇ ਲਿੰਕਾਂ ਦੀ ਸੂਚੀ ਦਿੰਦੀ ਹੈ। ਇਹ ਭਾਈਚਾਰੇ ਦਾ ਪ੍ਰਸਤਾਵ ਹੈ, ਮਿਆਰ ਨਹੀਂ, ਅਤੇ ਵੱਡੇ AI ਸਰਚ ਕ੍ਰੌਲਰ ਇਹ ਨਹੀਂ ਕਹਿੰਦੇ ਕਿ ਉਹ ਇਸਨੂੰ ਵਰਤਦੇ ਹਨ। ਇਸਨੂੰ ਜੋੜਨਾ ਸੌਖਾ ਹੈ, ਪਰ ਇਹ ਕ੍ਰੌਲ ਹੋਣ ਯੋਗ HTML ਦੀ ਥਾਂ ਨਹੀਂ ਲੈਂਦੀ।

llms.txt ਬਾਰੇ ਬਹੁਤ ਚਰਚਾ ਹੈ, ਅਕਸਰ ਇਸਨੂੰ AI ਦਾ robots.txt ਕਹਿ ਕੇ ਪੇਸ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ। ਇਹ ਕੁਝ ਵੱਖਰਾ ਹੈ: robots.txt ਦੱਸਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਕੀ ਲੈ ਸਕਦੇ ਹਨ, ਜਦਕਿ llms.txt ਪੜ੍ਹਨ ਦੀ ਗਾਈਡ ਹੈ ਜੋ AI ਟੂਲਾਂ ਨੂੰ ਪੜ੍ਹਨ ਯੋਗ ਸਮੱਗਰੀ ਵੱਲ ਭੇਜਦੀ ਹੈ। ਇੱਥੇ ਦੇਖੋ ਕਿ ਪ੍ਰਸਤਾਵ ਕੀ ਕਹਿੰਦਾ ਹੈ, ਇਸਦੀ ਵਰਤੋਂ ਬਾਰੇ ਕੀ ਪਤਾ ਹੈ, ਅਤੇ ਇਸਨੂੰ ਕਿਵੇਂ ਲਿਖਣਾ ਹੈ।

ਇਸ ਪੰਨੇ 'ਤੇ
  1. llms.txt ਕਿੱਥੋਂ ਆਈ?
  2. llms.txt ਫ਼ਾਈਲ ਵਿੱਚ ਕੀ ਹੁੰਦਾ ਹੈ?
  3. ਅੱਜ llms.txt ਨੂੰ ਅਸਲ ਵਿੱਚ ਕੌਣ ਪੜ੍ਹਦਾ ਹੈ?
  4. ਕੀ ਮੈਨੂੰ ਫਿਰ ਵੀ ਇਹ ਜੋੜਨੀ ਚਾਹੀਦੀ ਹੈ?
  5. ਚੰਗੀ llms.txt ਕਿਵੇਂ ਲਿਖਾਂ?
  6. AISeeWhy llms.txt ਨੂੰ ਕਿਵੇਂ ਦੇਖਦਾ ਹੈ?

llms.txt ਕਿੱਥੋਂ ਆਈ?

Jeremy Howard ਨੇ ਸਤੰਬਰ 2024 ਵਿੱਚ /llms.txt ਫ਼ਾਈਲ ਦਾ ਪ੍ਰਸਤਾਵ ਦਿੱਤਾ, ਅਤੇ ਇਹ ਪ੍ਰਸਤਾਵ llmstxt.org 'ਤੇ ਸੰਭਾਲਿਆ ਜਾਂਦਾ ਹੈ। ਇਸਦਾ ਮਕਸਦ ਇੱਕ ਅਜਿਹੀ ਫ਼ਾਈਲ ਨੂੰ ਮਿਆਰੀ ਬਣਾਉਣਾ ਹੈ ਜੋ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਅਤੇ ਏਜੰਟਾਂ ਨੂੰ ਸਿਖਲਾਈ ਲਈ ਨਹੀਂ, ਸਗੋਂ ਵਰਤੋਂ ਵੇਲੇ ਵੈੱਬਸਾਈਟ ਵਰਤਣ ਵਿੱਚ ਮਦਦ ਕਰੇ, ਮਿਸਾਲ ਵਜੋਂ ਜਦੋਂ ਕਿਸੇ ਕੋਡਿੰਗ ਸਹਾਇਕ ਨੂੰ ਕਿਸੇ ਲਾਇਬ੍ਰੇਰੀ ਦੇ ਦਸਤਾਵੇਜ਼ ਚਾਹੀਦੇ ਹੋਣ।

ਇਹ ਵਿਚਾਰ ਇੱਕ ਅਸਲੀ ਸਮੱਸਿਆ ਦਾ ਜਵਾਬ ਹੈ। ਵੈੱਬ ਪੰਨਿਆਂ ਵਿੱਚ ਨੈਵੀਗੇਸ਼ਨ, ਸਕ੍ਰਿਪਟਾਂ, ਬੈਨਰ ਅਤੇ ਲੇਆਊਟ ਹੁੰਦਾ ਹੈ। ਮੁੱਖ ਪੰਨਿਆਂ ਦੇ ਸਾਫ਼ ਰੂਪਾਂ ਦੇ ਲਿੰਕਾਂ ਵਾਲੀ ਛੋਟੀ, ਚੁਣੀ ਹੋਈ Markdown ਫ਼ਾਈਲ ਨਾਲ ਮਾਡਲ ਲਈ ਸੀਮਤ ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਅੰਦਰ ਕੰਮ ਕਰਨਾ ਸੌਖਾ ਹੁੰਦਾ ਹੈ।

llms.txt ਫ਼ਾਈਲ ਵਿੱਚ ਕੀ ਹੁੰਦਾ ਹੈ?

ਇਹ ਫ਼ਾਈਲ ਪੱਕੀ ਤਰਤੀਬ ਵਾਲਾ Markdown ਹੈ। ਸਿਰਫ਼ ਪਹਿਲਾ ਹਿੱਸਾ ਲਾਜ਼ਮੀ ਹੈ:

# Example Co

> Example Co makes scheduling software for clinics. This file lists our product, pricing and help pages.

## Product

- [Features](https://example.com/features): What the app does
- [Pricing](https://example.com/pricing): Plans and prices in USD

## Help

- [Getting started](https://example.com/help/start): Setup in 10 minutes

## Optional

- [Changelog](https://example.com/changelog)

ਪ੍ਰਸਤਾਵ ਇਹ ਵੀ ਸੁਝਾਉਂਦਾ ਹੈ ਕਿ ਪੰਨਿਆਂ ਦੇ Markdown ਰੂਪ ਉਸੇ URL 'ਤੇ .md ਜੋੜ ਕੇ ਦਿੱਤੇ ਜਾਣ, ਮਿਸਾਲ ਵਜੋਂ page.html.md, ਤਾਂ ਜੋ ਟੂਲ ਸਾਫ਼ ਲਿਖਤ ਲੈ ਸਕਣ।

ਅੱਜ llms.txt ਨੂੰ ਅਸਲ ਵਿੱਚ ਕੌਣ ਪੜ੍ਹਦਾ ਹੈ?

ਇੱਥੇ ਧਿਆਨ ਰੱਖਣਾ ਜ਼ਰੂਰੀ ਹੈ। llmstxt.org ਸਾਈਟ ਕਹਿੰਦੀ ਹੈ ਕਿ ਇਹ ਫ਼ਾਈਲਾਂ ਸਭ ਤੋਂ ਵੱਧ ਸਾਫ਼ਟਵੇਅਰ ਦਸਤਾਵੇਜ਼ਾਂ ਲਈ ਵਰਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ, ਜਿੱਥੇ ਕੋਡਿੰਗ ਏਜੰਟ ਇਨ੍ਹਾਂ ਨੂੰ ਵਰਤਦੇ ਹਨ। ਜਿਹੜੇ ਕ੍ਰੌਲਰ ਦਸਤਾਵੇਜ਼ ਅਸੀਂ ਦੇਖੇ, ਉਨ੍ਹਾਂ ਵਿੱਚ OpenAI, Anthropic, Google ਅਤੇ Perplexity ਆਪਣੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਦੇ ਵਰਤੇ ਸੰਕੇਤਾਂ ਵਿੱਚ llms.txt ਦਾ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦੇ।

Google ਆਪਣੇ ਸਰਚ ਫੀਚਰਾਂ ਬਾਰੇ ਹੋਰ ਅੱਗੇ ਜਾਂਦਾ ਹੈ। AI Overviews ਅਤੇ AI Mode ਬਾਰੇ ਉਸਦੀ ਸੇਧ ਕਹਿੰਦੀ ਹੈ ਕਿ ਉਨ੍ਹਾਂ ਵਿੱਚ ਆਉਣ ਲਈ ਤੁਹਾਨੂੰ ਨਵੀਆਂ ਮਸ਼ੀਨ-ਪੜ੍ਹਨਯੋਗ ਫ਼ਾਈਲਾਂ, AI ਟੈਕਸਟ ਫ਼ਾਈਲਾਂ ਜਾਂ ਮਾਰਕਅੱਪ ਬਣਾਉਣ ਦੀ ਲੋੜ ਨਹੀਂ। Google ਸਰਚ ਲਈ llms.txt ਦੀ ਕੋਈ ਦੱਸੀ ਹੋਈ ਭੂਮਿਕਾ ਨਹੀਂ ਹੈ।

ਇਸ ਲਈ ਇਮਾਨਦਾਰ ਜਵਾਬ ਇਹ ਹੈ: ਕੁਝ AI ਟੂਲ, ਜ਼ਿਆਦਾਤਰ ਕੋਡਿੰਗ ਸਹਾਇਕ ਅਤੇ ਉਹ ਏਜੰਟ ਜਿਨ੍ਹਾਂ ਨੂੰ ਕਿਸੇ ਸਾਈਟ ਵੱਲ ਭੇਜਿਆ ਗਿਆ ਹੋਵੇ, ਇਸਨੂੰ ਪੜ੍ਹ ਸਕਦੇ ਹਨ। ਜਿਹੜੇ ਕ੍ਰੌਲਰ ਤੈਅ ਕਰਦੇ ਹਨ ਕਿ AI ਸਰਚ ਤੁਹਾਡੇ ਪੰਨੇ ਦਾ ਹਵਾਲਾ ਦੇਵੇਗੀ ਜਾਂ ਨਹੀਂ, ਉਹ ਤੁਹਾਡੇ HTML ਤੋਂ ਕੰਮ ਕਰਦੇ ਹਨ।

ਤੁਸੀਂ ਆਪ ਦੇਖ ਸਕਦੇ ਹੋ ਕਿ ਤੁਹਾਡੀ ਫ਼ਾਈਲ ਕੋਈ ਪੜ੍ਹਦਾ ਹੈ ਜਾਂ ਨਹੀਂ। ਆਪਣੇ ਸਰਵਰ ਜਾਂ CDN ਦੇ ਲੌਗਾਂ ਵਿੱਚ /llms.txt ਦੀਆਂ ਬੇਨਤੀਆਂ ਖੋਜੋ ਅਤੇ ਯੂਜ਼ਰ ਏਜੰਟ ਦੇਖੋ। ਜੇ ਕੁਝ ਹਫ਼ਤਿਆਂ ਵਿੱਚ ਕੋਈ ਬੇਨਤੀ ਨਹੀਂ ਦਿਖਦੀ, ਤਾਂ ਇਹ ਤੁਹਾਡੀ ਸਾਈਟ ਲਈ ਇਸਦੀ ਕੀਮਤ ਬਾਰੇ ਕਿਸੇ ਵੀ ਆਮ ਦਾਅਵੇ ਨਾਲੋਂ ਵੱਧ ਦੱਸਦਾ ਹੈ।

ਕੀ ਮੈਨੂੰ ਫਿਰ ਵੀ ਇਹ ਜੋੜਨੀ ਚਾਹੀਦੀ ਹੈ?

ਜ਼ਿਆਦਾਤਰ ਸਾਈਟਾਂ ਲਈ ਇਹ ਘੱਟ ਮਿਹਨਤ ਵਾਲਾ ਵਾਧਾ ਹੈ ਜਿਸਦਾ ਫ਼ਾਇਦਾ ਪੱਕਾ ਨਹੀਂ। ਇਸ 'ਤੇ ਕੁਝ ਮਿੰਟ ਲੱਗਦੇ ਹਨ, ਇਹ ਤੁਹਾਡੀ ਸਰਚ ਵਿੱਚ ਦਿੱਖ ਨੂੰ ਨੁਕਸਾਨ ਨਹੀਂ ਪਹੁੰਚਾ ਸਕਦੀ ਅਤੇ ਉਨ੍ਹਾਂ ਏਜੰਟਾਂ ਦੀ ਮਦਦ ਕਰ ਸਕਦੀ ਹੈ ਜੋ ਇਸਨੂੰ ਲੱਭਦੇ ਹਨ। ਇਹ ਦਸਤਾਵੇਜ਼ਾਂ, ਡਿਵੈਲਪਰ ਟੂਲਾਂ ਅਤੇ ਬਹੁਤ ਸਾਰੀ ਹਵਾਲਾ ਸਮੱਗਰੀ ਵਾਲੇ ਉਤਪਾਦਾਂ ਲਈ ਸਭ ਤੋਂ ਕੰਮ ਦੀ ਹੈ।

ਜੋ ਇਹ ਨਹੀਂ ਕਰ ਸਕਦੀ ਉਹ ਹੈ ਪਹੁੰਚ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ ਠੀਕ ਕਰਨਾ। ਜੇ ਫਾਇਰਵਾਲ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀ ਹੈ, ਤੁਹਾਡਾ robots.txt ਉਨ੍ਹਾਂ ਨੂੰ ਰੋਕਦਾ ਹੈ ਜਾਂ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਸਿਰਫ਼ JavaScript ਚੱਲਣ ਤੋਂ ਬਾਅਦ ਦਿਖਦੀ ਹੈ, ਤਾਂ llms.txt ਕੁਝ ਨਹੀਂ ਬਦਲਦੀ। ਪਹਿਲਾਂ ਉਹ ਠੀਕ ਕਰੋ।

ਚੰਗੀ llms.txt ਕਿਵੇਂ ਲਿਖਾਂ?

AISeeWhy llms.txt ਨੂੰ ਕਿਵੇਂ ਦੇਖਦਾ ਹੈ?

AISeeWhy ਜਾਂਚਦਾ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਾਈਟ 'ਤੇ llms.txt ਹੈ ਜਾਂ ਨਹੀਂ ਅਤੇ ਜਾਂਚਿਆ ਪੰਨਾ ਉਸ ਵਿੱਚ ਸੂਚੀਬੱਧ ਹੈ ਜਾਂ ਨਹੀਂ। ਕਿਉਂਕਿ AI ਕ੍ਰੌਲਰ ਅੱਜ ਇਸਨੂੰ ਘੱਟ ਹੀ ਪੜ੍ਹਦੇ ਹਨ, ਫ਼ਾਈਲ ਦਾ ਨਾ ਹੋਣਾ P3 ਖੋਜ ਹੈ, ਸਭ ਤੋਂ ਘੱਟ ਤਰਜੀਹ, ਅਤੇ ਰਿਪੋਰਟ ਵਿੱਚ ਤੁਹਾਡੇ ਪੰਨੇ ਦੇ ਸਿਰਲੇਖ, ਵੇਰਵੇ ਅਤੇ ਸਾਈਟਮੈਪ ਤੋਂ ਬਣਿਆ ਖਰੜਾ ਹੁੰਦਾ ਹੈ ਜਿਸਨੂੰ ਤੁਸੀਂ ਸੋਧ ਕੇ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰ ਸਕਦੇ ਹੋ।

ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ llms.txt ਅਧਿਕਾਰਤ ਮਿਆਰ ਹੈ?

ਨਹੀਂ। ਇਹ llmstxt.org 'ਤੇ ਪ੍ਰਕਾਸ਼ਿਤ ਭਾਈਚਾਰੇ ਦਾ ਪ੍ਰਸਤਾਵ ਹੈ। ਇਹ IETF ਜਾਂ W3C ਦਾ ਮਿਆਰ ਨਹੀਂ ਹੈ, ਅਤੇ ਕੋਈ AI ਵੈਂਡਰ ਇਸਨੂੰ ਪੜ੍ਹਨ ਲਈ ਪਾਬੰਦ ਨਹੀਂ ਹੈ।

ਕੀ llms.txt AI ਸਿਖਲਾਈ ਨੂੰ ਬਲੌਕ ਕਰਦੀ ਹੈ?

ਨਹੀਂ। ਇਹ ਲਿੰਕਾਂ ਦੀ ਸੂਚੀ ਹੈ, ਇਜਾਜ਼ਤਾਂ ਦਾ ਸੈੱਟ ਨਹੀਂ। ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਰਹਿਣ ਲਈ robots.txt ਵਿੱਚ ਸਿਖਲਾਈ ਟੋਕਨ ਵਰਤੋ, ਜਿਵੇਂ GPTBot, ClaudeBot ਜਾਂ Google-Extended।

ਕੀ Google AI Overviews ਵਿੱਚ ਆਉਣ ਲਈ ਮੈਨੂੰ llms.txt ਚਾਹੀਦੀ ਹੈ?

ਨਹੀਂ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ AI Overviews ਜਾਂ AI Mode ਵਿੱਚ ਆਉਣ ਲਈ AI ਟੈਕਸਟ ਫ਼ਾਈਲਾਂ ਜਾਂ ਖ਼ਾਸ ਮਾਰਕਅੱਪ ਦੀ ਲੋੜ ਨਹੀਂ। ਪੰਨਾ ਇੰਡੈਕਸ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਅਤੇ ਸਨਿੱਪਟ ਦਿਖਾਉਣ ਦੇ ਯੋਗ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ।

ਕੀ llms.txt ਸਬਫੋਲਡਰ ਵਿੱਚ ਹੋ ਸਕਦੀ ਹੈ?

ਪ੍ਰਸਤਾਵ ਦਾ ਮੌਜੂਦਾ ਰੂਪ ਕਿਸੇ ਸਬਪਾਥ 'ਤੇ ਫ਼ਾਈਲ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜਿਵੇਂ /docs/llms.txt, ਜੋ ਉਸ ਪਾਥ ਹੇਠਲੇ ਪੰਨਿਆਂ ਨੂੰ ਕਵਰ ਕਰਦੀ ਹੈ। ਜ਼ਿਆਦਾਤਰ ਸਾਈਟਾਂ ਨੂੰ ਰੂਟ 'ਤੇ ਇੱਕੋ ਫ਼ਾਈਲ ਕਾਫ਼ੀ ਹੈ।

ਸਰੋਤ

ਹੋਰ ਲੇਖ