AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt ਜਨਰੇਟਰ

ਚੁਣੋ ਕਿ ਕਿਹੜੇ AI ਕ੍ਰੌਲਰ ਤੁਹਾਡੀ ਸਾਈਟ ਪੜ੍ਹ ਸਕਦੇ ਹਨ ਅਤੇ ਬਣਿਆ robots.txt ਕਾਪੀ ਕਰੋ। ਆਮ ਚੋਣ ਇਹ ਹੈ ਕਿ GPTBot ਅਤੇ ClaudeBot ਵਰਗੇ AI ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕੀਤਾ ਜਾਵੇ ਪਰ OAI-SearchBot ਅਤੇ PerplexityBot ਵਰਗੇ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੱਤੀ ਜਾਵੇ, ਤਾਂ ਜੋ ਤੁਹਾਡੇ ਪੰਨੇ ਫਿਰ ਵੀ AI ਜਵਾਬਾਂ ਵਿੱਚ ਦਿਸ ਸਕਣ ਅਤੇ ਉਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ ਦਿੱਤਾ ਜਾ ਸਕੇ।

ਇੱਥੋਂ ਸ਼ੁਰੂ ਕਰੋ
AI ਸਿਖਲਾਈ
AI ਸਰਚ
ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਲੈਣਾ
Content-Signal (ਵਿਕਲਪਿਕ): ਜਿਸਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹੋ ਉਸ 'ਤੇ ਨਿਸ਼ਾਨ ਲਾਓ

ਯੂਜ਼ਰ ਦੀ ਬੇਨਤੀ 'ਤੇ ਪੰਨੇ ਲੈਣ ਵਾਲਿਆਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਦਾ ਅਸਰ ਸੀਮਤ ਹੈ: ਕੁਝ ਕੰਪਨੀਆਂ ਕਹਿੰਦੀਆਂ ਹਨ ਕਿ ਇਹ ਏਜੰਟ robots.txt ਨੂੰ ਨਹੀਂ ਮੰਨਦੇ ਹੋ ਸਕਦੇ, ਕਿਉਂਕਿ ਪੰਨਾ ਕਿਸੇ ਵਿਅਕਤੀ ਨੇ ਮੰਗਿਆ ਸੀ। ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਨਤੀਜੇ ਨੂੰ robots.txt ਜਾਂਚ ਨਾਲ ਪਰਖੋ। AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ →

ਇਸਨੂੰ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ

ਫਾਈਲ ਨੂੰ ਆਪਣੇ ਡੋਮੇਨ ਦੇ ਰੂਟ 'ਤੇ ਰੱਖੋ (https://example.com/robots.txt)। ਜੇ ਤੁਹਾਡੇ ਕੋਲ ਪਹਿਲਾਂ ਹੀ ਹੋਰ ਕ੍ਰੌਲਰਾਂ ਲਈ ਨਿਯਮ ਹਨ, ਤਾਂ ਉਨ੍ਹਾਂ ਨੂੰ ਰੱਖੋ ਅਤੇ ਸਿਰਫ਼ AI ਗਰੁੱਪ ਜੋੜੋ। ਬਦਲਾਅ ਉਦੋਂ ਲਾਗੂ ਹੁੰਦੇ ਹਨ ਜਦੋਂ ਹਰ ਕ੍ਰੌਲਰ ਅਗਲੀ ਵਾਰ ਫਾਈਲ ਪੜ੍ਹਦਾ ਹੈ, ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਦਿਨ ਅੰਦਰ।

ਪੂਰੀ ਜਾਂਚ ਚਲਾਓ →

ਗਾਈਡ

robots.txt ਜਨਰੇਟਰ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ

ਇਹ ਟੈਕਸਟ ਅੰਗਰੇਜ਼ੀ ਤੋਂ ਮਸ਼ੀਨ ਰਾਹੀਂ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ।

ਜਨਰੇਟਰ ਕੀ ਲਿਖਦਾ ਹੈ

ਜਿਹੜੇ ਕ੍ਰੌਲਰ ਤੁਹਾਡੀ ਸਾਈਟ ਪੜ੍ਹ ਸਕਦੇ ਹਨ ਉਨ੍ਹਾਂ 'ਤੇ ਟਿੱਕ ਲਾਓ ਅਤੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਹੈ ਉਨ੍ਹਾਂ ਤੋਂ ਟਿੱਕ ਹਟਾਓ। ਜਨਰੇਟਰ ਹਰ ਬਲੌਕ ਕੀਤੇ ਕ੍ਰੌਲਰ ਲਈ ਇੱਕ ਗਰੁੱਪ ਵਾਲੀ robots.txt ਲਿਖਦਾ ਹੈ, User-agent: <token> ਅਤੇ ਉਸ ਤੋਂ ਬਾਅਦ Disallow: /, ਫਿਰ ਬਾਕੀ ਸਭ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ ਵਾਲਾ ਆਖਰੀ User-agent: * ਗਰੁੱਪ। sitemap ਦਾ ਪਤਾ ਜੋੜੋ ਤਾਂ ਇਹ Sitemap ਲਾਈਨ ਜੋੜਦਾ ਹੈ। Content-Signal ਵਿਕਲਪਾਂ 'ਤੇ ਟਿੱਕ ਲਾਓ ਤਾਂ ਇਹ Content-Signal ਲਾਈਨ ਜੋੜਦਾ ਹੈ ਜੋ ਦੱਸਦੀ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਕਿਵੇਂ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ।

ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਤੋਂ ਕੁਝ ਵੀ ਬਾਹਰ ਨਹੀਂ ਜਾਂਦਾ: ਤੁਹਾਡੇ ਕਲਿੱਕ ਕਰਨ ਦੇ ਨਾਲ ਫਾਈਲ ਪੰਨੇ 'ਤੇ ਹੀ ਬਣਦੀ ਹੈ, ਅਤੇ ਤੁਸੀਂ ਉਸਨੂੰ ਆਉਟਪੁੱਟ ਬਾਕਸ ਤੋਂ ਕਾਪੀ ਕਰਦੇ ਹੋ।

ਕਿਸ ਪ੍ਰੀਸੈੱਟ ਤੋਂ ਸ਼ੁਰੂ ਕਰਨਾ ਹੈ

ਉਦਾਹਰਣ: ਟ੍ਰੇਨਿੰਗ ਬਲੌਕ, AI ਸਰਚ ਨੂੰ ਇਜਾਜ਼ਤ

ਹਰ ਬਲੌਕ ਕੀਤੇ ਕ੍ਰੌਲਰ ਦਾ ਆਪਣਾ ਗਰੁੱਪ ਹੈ, ਇਸ ਲਈ ਉਸਦਾ Disallow: / ਸਿਰਫ਼ ਉਸੇ 'ਤੇ ਲਾਗੂ ਹੁੰਦਾ ਹੈ। OAI-SearchBot ਅਤੇ Googlebot ਸਮੇਤ ਬਾਕੀ ਸਾਰੇ ਕ੍ਰੌਲਰ User-agent: * 'ਤੇ ਪਹੁੰਚਦੇ ਹਨ ਅਤੇ ਸਭ ਕੁਝ ਪੜ੍ਹ ਸਕਦੇ ਹਨ। Content-Signal ਲਾਈਨ ਉਸਨੂੰ ਪੜ੍ਹਨ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਉਹੀ ਇਰਾਦਾ ਦੁਹਰਾਉਂਦੀ ਹੈ: ਸਰਚ ਅਤੇ ਰੀਅਲ-ਟਾਈਮ ਜਵਾਬ ਹਾਂ, ਟ੍ਰੇਨਿੰਗ ਨਹੀਂ।

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

Sitemap: https://example.com/sitemap.xml

ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ

ਆਮ ਗਲਤੀਆਂ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ GPTBot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੇਰੀ ਸਾਈਟ ChatGPT ਵਿੱਚੋਂ ਹਟ ਜਾਵੇਗੀ?

ਨਹੀਂ। GPTBot ਟ੍ਰੇਨਿੰਗ ਡਾਟਾ ਇਕੱਠਾ ਕਰਦਾ ਹੈ। ChatGPT ਸਰਚ OAI-SearchBot ਵਰਤਦੀ ਹੈ, ਅਤੇ ChatGPT-User ਲੋਕਾਂ ਵੱਲੋਂ ਮੰਗੇ ਪੰਨੇ ਖੋਲ੍ਹਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਹਵਾਲੇ ਵਿੱਚ ਆਉਣਾ ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ ਉਨ੍ਹਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਰੱਖੋ।

Content-Signal ਕੀ ਹੈ?

robots.txt ਵਿੱਚ ਇੱਕ ਲਾਈਨ ਜੋ ਦੱਸਦੀ ਹੈ ਕਿ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਕਿਵੇਂ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ: search, ai-input (ਰੀਅਲ-ਟਾਈਮ ਜਵਾਬ) ਅਤੇ ai-train (ਟ੍ਰੇਨਿੰਗ), ਹਰੇਕ ਹਾਂ ਜਾਂ ਨਹੀਂ। ਸਮਰਥਨ ਕੰਪਨੀ ਮੁਤਾਬਕ ਵੱਖਰਾ ਹੈ; ਕ੍ਰੌਲਰ ਜਿਸ ਨਿਯਮ ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ ਉਹ ਕ੍ਰੌਲਰ-ਵਿਸ਼ੇਸ਼ ਗਰੁੱਪ ਹੀ ਰਹਿੰਦੇ ਹਨ।

ਕੀ Google-Extended Google Search 'ਤੇ ਅਸਰ ਪਾਉਂਦਾ ਹੈ?

ਨਹੀਂ। ਇਹ ਸਿਰਫ਼ robots.txt ਵਿੱਚ ਵਰਤਿਆ ਜਾਂਦਾ ਟੋਕਨ ਹੈ ਜੋ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ ਕਿ Google ਤੁਹਾਡੇ ਪੰਨੇ ਆਪਣੇ AI ਮਾਡਲਾਂ ਲਈ ਵਰਤ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ; ਇਹ Google Search ਵਿੱਚ ਕ੍ਰੌਲਿੰਗ ਜਾਂ ਰੈਂਕਿੰਗ ਨਹੀਂ ਬਦਲਦਾ।

ਕੀ ਮੇਰੀ ਚੋਣ ਕਿਤੇ ਭੇਜੀ ਜਾਂਦੀ ਹੈ?

ਨਹੀਂ। ਜਨਰੇਟਰ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਚੱਲਦਾ ਹੈ ਅਤੇ ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਫਾਈਲ ਟੈਸਟ ਕਰਨ ਦੀ ਚੋਣ ਨਹੀਂ ਕਰਦੇ, ਸਾਡੇ ਸਰਵਰ ਨੂੰ ਕੁਝ ਨਹੀਂ ਭੇਜਿਆ ਜਾਂਦਾ।

ਸੰਬੰਧਿਤ ਟੂਲ ਅਤੇ ਗਾਈਡਾਂ