ਗਾਈਡ
robots.txt ਜਨਰੇਟਰ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ
ਇਹ ਟੈਕਸਟ ਅੰਗਰੇਜ਼ੀ ਤੋਂ ਮਸ਼ੀਨ ਰਾਹੀਂ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ।
ਜਨਰੇਟਰ ਕੀ ਲਿਖਦਾ ਹੈ
ਜਿਹੜੇ ਕ੍ਰੌਲਰ ਤੁਹਾਡੀ ਸਾਈਟ ਪੜ੍ਹ ਸਕਦੇ ਹਨ ਉਨ੍ਹਾਂ 'ਤੇ ਟਿੱਕ ਲਾਓ ਅਤੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਹੈ ਉਨ੍ਹਾਂ ਤੋਂ ਟਿੱਕ ਹਟਾਓ। ਜਨਰੇਟਰ ਹਰ ਬਲੌਕ ਕੀਤੇ ਕ੍ਰੌਲਰ ਲਈ ਇੱਕ ਗਰੁੱਪ ਵਾਲੀ robots.txt ਲਿਖਦਾ ਹੈ, User-agent: <token> ਅਤੇ ਉਸ ਤੋਂ ਬਾਅਦ Disallow: /, ਫਿਰ ਬਾਕੀ ਸਭ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ ਵਾਲਾ ਆਖਰੀ User-agent: * ਗਰੁੱਪ। sitemap ਦਾ ਪਤਾ ਜੋੜੋ ਤਾਂ ਇਹ Sitemap ਲਾਈਨ ਜੋੜਦਾ ਹੈ। Content-Signal ਵਿਕਲਪਾਂ 'ਤੇ ਟਿੱਕ ਲਾਓ ਤਾਂ ਇਹ Content-Signal ਲਾਈਨ ਜੋੜਦਾ ਹੈ ਜੋ ਦੱਸਦੀ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਕਿਵੇਂ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ।
ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਤੋਂ ਕੁਝ ਵੀ ਬਾਹਰ ਨਹੀਂ ਜਾਂਦਾ: ਤੁਹਾਡੇ ਕਲਿੱਕ ਕਰਨ ਦੇ ਨਾਲ ਫਾਈਲ ਪੰਨੇ 'ਤੇ ਹੀ ਬਣਦੀ ਹੈ, ਅਤੇ ਤੁਸੀਂ ਉਸਨੂੰ ਆਉਟਪੁੱਟ ਬਾਕਸ ਤੋਂ ਕਾਪੀ ਕਰਦੇ ਹੋ।
ਕਿਸ ਪ੍ਰੀਸੈੱਟ ਤੋਂ ਸ਼ੁਰੂ ਕਰਨਾ ਹੈ
- ਸਭ ਨੂੰ ਇਜਾਜ਼ਤ: ਹਰ ਕ੍ਰੌਲਰ ਹਰ ਪੰਨਾ ਪੜ੍ਹ ਸਕਦਾ ਹੈ। ਉਨ੍ਹਾਂ ਜ਼ਿਆਦਾਤਰ ਸਾਈਟਾਂ ਲਈ ਸਹੀ ਜੋ ਲੱਭੀਆਂ ਜਾਣਾ ਅਤੇ ਹਵਾਲੇ ਵਿੱਚ ਆਉਣਾ ਚਾਹੁੰਦੀਆਂ ਹਨ।
- ਟ੍ਰੇਨਿੰਗ ਬਲੌਕ, AI ਸਰਚ ਨੂੰ ਇਜਾਜ਼ਤ:
GPTBot, ClaudeBot, CCBot ਅਤੇ Google-Extended ਵਰਗੇ ਟ੍ਰੇਨਿੰਗ ਕ੍ਰੌਲਰ ਬਲੌਕ ਹੁੰਦੇ ਹਨ; OAI-SearchBot, Claude-SearchBot, PerplexityBot ਅਤੇ ChatGPT-User ਵਰਗੇ ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਰਹਿੰਦੀ ਹੈ। ਤੁਹਾਡੇ ਪੰਨੇ AI ਜਵਾਬਾਂ ਵਿੱਚ ਫਿਰ ਵੀ ਦਿਸ ਸਕਦੇ ਹਨ ਅਤੇ ਉਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਦਿੱਤਾ ਜਾ ਸਕਦਾ ਹੈ। - ਸਾਰੇ AI ਕ੍ਰੌਲਰ ਬਲੌਕ: ਸੂਚੀ ਦਾ ਹਰ AI ਕ੍ਰੌਲਰ ਬਲੌਕ ਹੁੰਦਾ ਹੈ। ਉਹ ਕ੍ਰੌਲਰ AI ਜਵਾਬਾਂ ਲਈ ਤੁਹਾਡੇ ਪੰਨੇ ਨਹੀਂ ਲੈਣਗੇ, ਜਿਸਦਾ ਮਤਲਬ ਆਮ ਤੌਰ 'ਤੇ ਅਸਿਸਟੈਂਟਾਂ ਤੋਂ ਘੱਟ ਹਵਾਲੇ ਅਤੇ ਘੱਟ ਟ੍ਰੈਫਿਕ ਹੁੰਦਾ ਹੈ।
ਉਦਾਹਰਣ: ਟ੍ਰੇਨਿੰਗ ਬਲੌਕ, AI ਸਰਚ ਨੂੰ ਇਜਾਜ਼ਤ
ਹਰ ਬਲੌਕ ਕੀਤੇ ਕ੍ਰੌਲਰ ਦਾ ਆਪਣਾ ਗਰੁੱਪ ਹੈ, ਇਸ ਲਈ ਉਸਦਾ Disallow: / ਸਿਰਫ਼ ਉਸੇ 'ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ। OAI-SearchBot ਅਤੇ Googlebot ਸਮੇਤ ਬਾਕੀ ਸਾਰੇ ਕ੍ਰੌਲਰ User-agent: * 'ਤੇ ਪਹੁੰਚਦੇ ਹਨ ਅਤੇ ਸਭ ਕੁਝ ਪੜ੍ਹ ਸਕਦੇ ਹਨ। Content-Signal ਲਾਈਨ ਉਸਨੂੰ ਪੜ੍ਹਨ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਉਹੀ ਇਰਾਦਾ ਦੁਹਰਾਉਂਦੀ ਹੈ: ਸਰਚ ਅਤੇ ਰੀਅਲ-ਟਾਈਮ ਜਵਾਬ ਹਾਂ, ਟ੍ਰੇਨਿੰਗ ਨਹੀਂ।
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /
Sitemap: https://example.com/sitemap.xml
ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ
- ਬਦਲੋ ਨਹੀਂ, ਮਿਲਾਓ। ਜੇ ਤੁਹਾਡੀ ਮੌਜੂਦਾ robots.txt ਵਿੱਚ ਐਡਮਿਨ ਹਿੱਸਿਆਂ, ਕਾਰਟ ਜਾਂ ਸਰਚ ਪੰਨਿਆਂ ਲਈ ਨਿਯਮ ਹਨ, ਤਾਂ ਉਨ੍ਹਾਂ ਨੂੰ ਨਵੀਂ ਫਾਈਲ ਦੇ
User-agent: * ਗਰੁੱਪ ਵਿੱਚ ਕਾਪੀ ਕਰੋ, ਨਹੀਂ ਤਾਂ ਉਹ ਹਿੱਸੇ ਸਾਰੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਖੁੱਲ੍ਹ ਜਾਣਗੇ। - ਫਾਈਲ ਹਰ ਹੋਸਟ ਦੇ ਰੂਟ ਵਿੱਚ ਰੱਖੋ:
https://example.com/robots.txt। ਸਬਡੋਮੇਨ ਨੂੰ ਆਪਣੀ ਫਾਈਲ ਚਾਹੀਦੀ ਹੈ। - ਇਸਨੂੰ ਸਥਿਤੀ 200 ਨਾਲ ਸਾਦੇ ਟੈਕਸਟ ਵਜੋਂ ਦਿਓ। ਉਸ ਪਤੇ 'ਤੇ HTML ਪੰਨਾ ਜਾਂ ਗਲਤੀ robots.txt ਵਜੋਂ ਕੰਮ ਨਹੀਂ ਕਰਦੀ।
- ਨਤੀਜਾ robots.txt ਟੈਸਟਰ ਵਿੱਚ ਪੇਸਟ ਕਰੋ ਅਤੇ ਤੁਹਾਡੇ ਲਈ ਅਹਿਮ ਕ੍ਰੌਲਰਾਂ ਲਈ ਕੁਝ ਅਸਲ ਪਾਥ ਜਾਂਚੋ।
- ਯਾਦ ਰੱਖੋ ਕਿ robots.txt ਇੱਕ ਬੇਨਤੀ ਹੈ। ਜੇ ਫਾਇਰਵਾਲ ਤੁਹਾਡੇ ਇਜਾਜ਼ਤ ਦਿੱਤੇ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਦੀ ਹੈ, ਤਾਂ ਫਾਈਲ ਉਸਨੂੰ ਠੀਕ ਨਹੀਂ ਕਰ ਸਕਦੀ; ਪੂਰੀ ਜਾਂਚ ਇਹ ਦਿਖਾਉਂਦੀ ਹੈ।
ਆਮ ਗਲਤੀਆਂ
- ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਲਈ
OAI-SearchBot ਜਾਂ PerplexityBot ਨੂੰ ਬਲੌਕ ਕਰਨਾ। ਉਹ ਸਰਚ ਕ੍ਰੌਲਰ ਹਨ; ਉਨ੍ਹਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ ਜਵਾਬਾਂ ਵਿੱਚੋਂ ਬਾਹਰ ਹੋ ਜਾਂਦੇ ਹੋ। - ਜਦੋਂ ਸਿਰਫ਼ ਇੱਕ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਹੋਵੇ ਤਾਂ ਇੱਕ
Disallow: / ਦੇ ਉੱਪਰ ਕਈ User-agent ਲਾਈਨਾਂ ਲਿਖਣਾ: ਇੱਕ ਦੇ ਹੇਠਾਂ ਇੱਕ ਲਾਈਨਾਂ ਇੱਕ ਗਰੁੱਪ ਬਣਾਉਂਦੀਆਂ ਹਨ। - ਇਹ ਉਮੀਦ ਕਿ
ChatGPT-User ਵਰਗੇ ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਪੰਨੇ ਲੈਣ ਵਾਲੇ fetchers ਬਲੌਕ ਮੰਨਣਗੇ। ਕੁਝ ਕੰਪਨੀਆਂ ਕਹਿੰਦੀਆਂ ਹਨ ਕਿ ਜਦੋਂ ਕਿਸੇ ਵਿਅਕਤੀ ਨੇ ਪੰਨਾ ਮੰਗਿਆ ਹੋਵੇ ਤਾਂ ਇਹ ਏਜੰਟ robots.txt ਦੀ ਪਾਲਣਾ ਸ਼ਾਇਦ ਨਾ ਕਰਨ। Crawl-delay ਜਾਂ Noindex ਲਾਈਨਾਂ ਜੋੜਨਾ। ਇਹ RFC 9309 ਦਾ ਹਿੱਸਾ ਨਹੀਂ ਹਨ ਅਤੇ Google ਦੋਵਾਂ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਦਾ ਹੈ।
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ GPTBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੇਰੀ ਸਾਈਟ ChatGPT ਵਿੱਚੋਂ ਹਟ ਜਾਵੇਗੀ?
ਨਹੀਂ। GPTBot ਟ੍ਰੇਨਿੰਗ ਡਾਟਾ ਇਕੱਠਾ ਕਰਦਾ ਹੈ। ChatGPT ਸਰਚ OAI-SearchBot ਵਰਤਦੀ ਹੈ, ਅਤੇ ChatGPT-User ਲੋਕਾਂ ਵੱਲੋਂ ਮੰਗੇ ਪੰਨੇ ਖੋਲ੍ਹਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਹਵਾਲੇ ਵਿੱਚ ਆਉਣਾ ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ ਉਨ੍ਹਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਰੱਖੋ।
Content-Signal ਕੀ ਹੈ?
robots.txt ਵਿੱਚ ਇੱਕ ਲਾਈਨ ਜੋ ਦੱਸਦੀ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਕਿਵੇਂ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ: search, ai-input (ਰੀਅਲ-ਟਾਈਮ ਜਵਾਬ) ਅਤੇ ai-train (ਟ੍ਰੇਨਿੰਗ), ਹਰੇਕ ਹਾਂ ਜਾਂ ਨਹੀਂ। ਸਮਰਥਨ ਕੰਪਨੀ ਮੁਤਾਬਕ ਵੱਖਰਾ ਹੈ; ਕ੍ਰੌਲਰ ਜਿਸ ਨਿਯਮ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ ਉਹ ਕ੍ਰੌਲਰ-ਵਿਸ਼ੇਸ਼ ਗਰੁੱਪ ਹੀ ਰਹਿੰਦੇ ਹਨ।
ਕੀ Google-Extended Google Search 'ਤੇ ਅਸਰ ਪਾਉਂਦਾ ਹੈ?
ਨਹੀਂ। ਇਹ ਸਿਰਫ਼ robots.txt ਵਿੱਚ ਵਰਤਿਆ ਜਾਂਦਾ ਟੋਕਨ ਹੈ ਜੋ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ ਕਿ Google ਤੁਹਾਡੇ ਪੰਨੇ ਆਪਣੇ AI ਮਾਡਲਾਂ ਲਈ ਵਰਤ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ; ਇਹ Google Search ਵਿੱਚ ਕ੍ਰੌਲਿੰਗ ਜਾਂ ਰੈਂਕਿੰਗ ਨਹੀਂ ਬਦਲਦਾ।
ਕੀ ਮੇਰੀ ਚੋਣ ਕਿਤੇ ਭੇਜੀ ਜਾਂਦੀ ਹੈ?
ਨਹੀਂ। ਜਨਰੇਟਰ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਚੱਲਦਾ ਹੈ ਅਤੇ ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਫਾਈਲ ਟੈਸਟ ਕਰਨ ਦੀ ਚੋਣ ਨਹੀਂ ਕਰਦੇ, ਸਾਡੇ ਸਰਵਰ ਨੂੰ ਕੁਝ ਨਹੀਂ ਭੇਜਿਆ ਜਾਂਦਾ।
ਸੰਬੰਧਿਤ ਟੂਲ ਅਤੇ ਗਾਈਡਾਂ