AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ

ਪੰਨੇ ਦਾ ਪਤਾ ਦਰਜ ਕਰੋ: ਅਸੀਂ ਸਾਈਟ ਦਾ robots.txt ਪੜ੍ਹਦੇ ਹਾਂ ਅਤੇ ਹਰ AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰ ਲਈ ਦਿਖਾਉਂਦੇ ਹਾਂ ਕਿ ਕੀ ਉਹ ਉਸ ਪੰਨੇ ਨੂੰ ਲੈ ਸਕਦਾ ਹੈ। ਜਾਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਜਾਂਚਣ ਲਈ robots.txt ਪੇਸਟ ਕਰੋ।

robots.txt ਸਿਰਫ਼ ਇੱਕ ਬੇਨਤੀ ਹੈ। ਫਾਇਰਵਾਲ ਜਾਂ ਬੋਟ ਸੁਰੱਖਿਆ ਫਿਰ ਵੀ ਉਸ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ ਜਿਸਨੂੰ robots.txt ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ; ਪੂਰੀ ਜਾਂਚ ਇਸਨੂੰ ਪਰਖਦੀ ਹੈ। ਪੂਰੀ ਜਾਂਚ ਚਲਾਓ →

ਜਿਸ ਪੰਨੇ 'ਤੇ ਤੁਸੀਂ ਹੋ, ਉਸਦੀ ਇਹੀ ਜਾਂਚ, ਇੱਕ ਕਲਿੱਕ ਵਿੱਚ: AI ਕ੍ਰੌਲਰ ਜਾਂਚ ↗

AI ਕ੍ਰੌਲਰ robots.txt ਕਿਵੇਂ ਪੜ੍ਹਦੇ ਹਨ

ਹਰ ਕ੍ਰੌਲਰ ਉਸ ਗਰੁੱਪ ਨੂੰ ਮੰਨਦਾ ਹੈ ਜਿਸ ਵਿੱਚ ਉਸਦਾ ਟੋਕਨ ਹੋਵੇ (ਜਿਵੇਂ GPTBot ਜਾਂ PerplexityBot); ਜੇ ਕੋਈ ਨਹੀਂ, ਤਾਂ ਹੀ ਉਹ User-agent: * ਨੂੰ ਮੰਨਦਾ ਹੈ। ਗਰੁੱਪ ਅੰਦਰ ਸਭ ਤੋਂ ਲੰਬਾ ਮੇਲ ਖਾਂਦਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ, ਅਤੇ ਬਰਾਬਰੀ 'ਤੇ Allow ਜਿੱਤਦਾ ਹੈ। GPTBot, ClaudeBot ਜਾਂ Google-Extended ਵਰਗੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਮਾਡਲ ਸਿਖਲਾਈ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੀ ਹੈ; OAI-SearchBot, ChatGPT-User ਜਾਂ PerplexityBot ਵਰਗੇ ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੇ ਪੰਨੇ AI ਜਵਾਬਾਂ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੇ ਹਨ।

ਗਾਈਡ

robots.txt ਟੈਸਟਰ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ

ਇਹ ਟੈਕਸਟ ਅੰਗਰੇਜ਼ੀ ਤੋਂ ਮਸ਼ੀਨ ਰਾਹੀਂ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ।

ਇਹ robots.txt ਟੈਸਟਰ ਕੀ ਜਾਂਚਦਾ ਹੈ

ਕਿਸੇ ਪੰਨੇ ਦਾ ਪਤਾ ਦਰਜ ਕਰੋ। ਟੈਸਟਰ ਉਸ ਪਤੇ ਦੀ ਸਕੀਮ ਅਤੇ ਹੋਸਟ ਲੈਂਦਾ ਹੈ, ਉਸ ਹੋਸਟ ਦੇ ਰੂਟ ਤੋਂ /robots.txt ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡੇ ਪੰਨੇ ਦੇ ਪਾਥ ਲਈ ਉਸਦੇ ਨਿਯਮ ਪਰਖਦਾ ਹੈ। ਇਹ 16 ਕ੍ਰੌਲਰਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਲਈ ਇੱਕੋ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ: ਕੀ ਇਹ ਕ੍ਰੌਲਰ ਇਹ ਪੰਨਾ ਲੈ ਸਕਦਾ ਹੈ?

ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਕੰਮ ਮੁਤਾਬਕ ਗਰੁੱਪਾਂ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ। ਟ੍ਰੇਨਿੰਗ ਕ੍ਰੌਲਰ AI ਮਾਡਲਾਂ ਲਈ ਪੰਨੇ ਇਕੱਠੇ ਕਰਦੇ ਹਨ: GPTBot, ClaudeBot, CCBot, Bytespider ਅਤੇ Meta-ExternalAgent, ਨਾਲ ਹੀ ਸਿਰਫ਼ robots.txt ਵਿੱਚ ਵਰਤੇ ਜਾਂਦੇ ਟੋਕਨ Google-Extended ਅਤੇ Applebot-Extended, ਜੋ ਆਪ ਕਦੇ ਨਹੀਂ ਆਉਂਦੇ ਪਰ Google ਅਤੇ Apple ਨੂੰ ਦੱਸਦੇ ਹਨ ਕਿ ਕੀ ਉਹ ਪਹਿਲਾਂ ਤੋਂ ਲਏ ਪੰਨੇ ਵਰਤ ਸਕਦੇ ਹਨ। ਸਰਚ ਕ੍ਰੌਲਰ ਉਹ ਇੰਡੈਕਸ ਬਣਾਉਂਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ AI ਜਵਾਬ ਅਤੇ ਸਰਚ ਨਤੀਜੇ ਦਿੰਦੇ ਹਨ: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot ਅਤੇ Applebot। ਜਦੋਂ ਕੋਈ ਵਿਅਕਤੀ ਅਸਿਸਟੈਂਟ ਨੂੰ ਪੰਨਾ ਖੋਲ੍ਹਣ ਲਈ ਕਹਿੰਦਾ ਹੈ, ਤਾਂ ਯੂਜ਼ਰ ਏਜੰਟ ਉਹ ਪੰਨਾ ਲੈਂਦੇ ਹਨ: ChatGPT-User, Claude-User ਅਤੇ Perplexity-User।

ਪਤੇ ਦੀ ਥਾਂ ਤੁਸੀਂ robots.txt ਪੇਸਟ ਵੀ ਕਰ ਸਕਦੇ ਹੋ। ਤਦ ਕੁਝ ਵੀ ਨਹੀਂ ਲਿਆ ਜਾਂਦਾ: ਟੈਸਟਰ ਤੁਹਾਡੇ ਪੇਸਟ ਕੀਤੇ ਟੈਕਸਟ ਨੂੰ ਪਰਖਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਬਦਲਾਅ ਅਜ਼ਮਾ ਸਕਦੇ ਹੋ। ਪੇਸਟ ਕੀਤਾ ਟੈਕਸਟ ਸਿਰਫ਼ ਜਵਾਬ ਦੇਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਸੇਵ ਨਹੀਂ ਹੁੰਦਾ।

ਨਤੀਜੇ ਕਿਵੇਂ ਪੜ੍ਹਨੇ ਹਨ

ਟੇਬਲ ਵਿੱਚ ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਇੱਕ ਕਤਾਰ ਹੁੰਦੀ ਹੈ। ਤੁਹਾਡੇ ਪਾਥ ਵਾਲੇ ਕਾਲਮ ਵਿੱਚ ਇਜਾਜ਼ਤ ਹੈ ਜਾਂ ਬਲੌਕ ਲਿਖਿਆ ਹੁੰਦਾ ਹੈ। ਆਖਰੀ ਕਾਲਮ ਦੱਸਦਾ ਹੈ ਕਿ ਫਾਈਲ ਦੇ ਕਿਹੜੇ ਹਿੱਸੇ ਨੇ ਫ਼ੈਸਲਾ ਕੀਤਾ:

ਟੇਬਲ ਦੇ ਹੇਠਾਂ ਫਾਈਲ ਵਿੱਚ ਦਿੱਤੀਆਂ Sitemap ਲਾਈਨਾਂ ਅਤੇ, ਜੇ ਹੋਵੇ, ਉਸਦੀ Content-Signal ਲਾਈਨ ਦਿਸਦੀ ਹੈ। ਜੇ ਪਤੇ ਨੇ ਟੈਕਸਟ ਫਾਈਲ ਦੀ ਥਾਂ ਵੈੱਬ ਪੰਨਾ ਦਿੱਤਾ, ਜਾਂ ਕੋਈ ਫਾਈਲ ਨਹੀਂ ਦਿੱਤੀ, ਤਾਂ ਟੈਸਟਰ ਇਹ ਦੱਸਦਾ ਹੈ: ਕ੍ਰੌਲਰ /robots.txt 'ਤੇ ਮਿਲੇ HTML ਪੰਨੇ ਨੂੰ ਗੈਰਹਾਜ਼ਰ ਫਾਈਲ ਮੰਨਦੇ ਹਨ।

ਇਜਾਜ਼ਤ ਹੈ ਵਾਲੀ ਕਤਾਰ ਦਾ ਮਤਲਬ ਸਿਰਫ਼ ਇਹ ਹੈ ਕਿ robots.txt ਉਸ ਕ੍ਰੌਲਰ ਨੂੰ ਨਹੀਂ ਰੋਕਦੀ। ਇਸਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਕਿ ਕ੍ਰੌਲਰ ਆਵੇਗਾ, ਅਤੇ ਇਹ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਬਾਰੇ ਕੁਝ ਨਹੀਂ ਦੱਸਦੀ।

ਕ੍ਰੌਲਰ ਆਪਣੇ ਨਿਯਮ ਕਿਵੇਂ ਚੁਣਦਾ ਹੈ

robots.txt ਦਾ ਮਿਆਰ RFC 9309 ਤਿੰਨ ਨਿਯਮ ਤੈਅ ਕਰਦਾ ਹੈ ਜੋ ਲਗਭਗ ਹਰ ਹੈਰਾਨੀਜਨਕ ਨਤੀਜੇ ਨੂੰ ਸਮਝਾਉਂਦੇ ਹਨ। ਕ੍ਰੌਲਰ ਪਹਿਲਾਂ ਉਹ ਗਰੁੱਪ ਲੱਭਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਦਾ User-agent ਉਸਦੇ ਟੋਕਨ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ਅੱਖਰਾਂ ਦੇ ਕੇਸ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਕੇ। ਜੇ ਉਸਨੂੰ ਅਜਿਹਾ ਗਰੁੱਪ ਮਿਲ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਉਹ ਸਿਰਫ਼ ਉਨ੍ਹਾਂ ਗਰੁੱਪਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ ਅਤੇ User-agent: * ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਣਡਿੱਠਾ ਕਰਦਾ ਹੈ। ਚੁਣੇ ਗਰੁੱਪ ਵਿੱਚ ਸਭ ਤੋਂ ਲੰਬੇ ਮੇਲ ਖਾਂਦੇ ਪਾਥ ਵਾਲਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ, ਅਤੇ ਜੇ Allow ਅਤੇ Disallow ਇੱਕੋ ਲੰਬਾਈ ਨਾਲ ਮੇਲ ਖਾਣ, ਤਾਂ Allow ਜਿੱਤਦਾ ਹੈ।

User-agent: *
Disallow: /private/
Allow: /private/press/

User-agent: GPTBot
Disallow: /

ਇਸ ਫਾਈਲ ਨਾਲ GPTBot ਹਰ ਪੰਨੇ ਤੋਂ ਬਲੌਕ ਹੈ, ਕਿਉਂਕਿ ਉਸਦਾ ਆਪਣਾ ਗਰੁੱਪ ਹੈ। ਬਾਕੀ ਹਰ ਕ੍ਰੌਲਰ /private/press/kit.pdf ਲੈ ਸਕਦਾ ਹੈ, ਕਿਉਂਕਿ Allow: /private/press/ ਲੰਬਾਈ ਵਿੱਚ Disallow: /private/ ਤੋਂ ਵੱਡਾ ਹੈ, ਅਤੇ /private/notes/ ਤੋਂ ਬਲੌਕ ਹੈ। ਦੋਵੇਂ ਪਾਥ ਟੈਸਟਰ ਵਿੱਚ ਜਾਂਚੋ ਅਤੇ ਤੁਸੀਂ ਫ਼ੈਸਲੇ ਨੂੰ ਇੱਕ ਗਰੁੱਪ ਤੋਂ ਦੂਜੇ ਵੱਲ ਬਦਲਦਾ ਦੇਖੋਗੇ।

ਉਦਾਹਰਣਾਂ ਸਮੇਤ ਆਮ ਗਲਤੀਆਂ

ਟ੍ਰੇਨਿੰਗ, ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ: ਹਰੇਕ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਕੀ ਹੁੰਦਾ ਹੈ

ਟ੍ਰੇਨਿੰਗ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਨੀਤੀ ਦਾ ਫ਼ੈਸਲਾ ਹੈ। ਇਹ ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਨੂੰ ਭਵਿੱਖ ਦੀ ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਬਾਹਰ ਰੱਖਦਾ ਹੈ ਅਤੇ ਇਸ ਗੱਲ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ ਕਿ AI ਸਰਚ ਅੱਜ ਤੁਹਾਡਾ ਹਵਾਲਾ ਦੇ ਸਕਦੀ ਹੈ ਜਾਂ ਨਹੀਂ। OAI-SearchBot, Claude-SearchBot ਜਾਂ PerplexityBot ਵਰਗੇ ਸਰਚ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੇ ਪੰਨੇ ਉਸ ਅਸਿਸਟੈਂਟ ਦੇ ਜਵਾਬਾਂ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੇ ਹਨ। Googlebot ਜਾਂ Bingbot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਸਰਚ ਇੰਜਣਾਂ ਅਤੇ ਉਨ੍ਹਾਂ 'ਤੇ ਬਣੇ AI ਫੀਚਰਾਂ ਵਿੱਚੋਂ ਬਾਹਰ ਹੋ ਜਾਂਦੇ ਹੋ।

ChatGPT-User ਵਰਗੇ ਯੂਜ਼ਰ ਏਜੰਟ ਉਸ ਵਿਅਕਤੀ ਲਈ ਕੰਮ ਕਰਦੇ ਹਨ ਜਿਸਨੇ ਤੁਹਾਡਾ ਪੰਨਾ ਮੰਗਿਆ। ਕੁਝ ਕੰਪਨੀਆਂ ਕਹਿੰਦੀਆਂ ਹਨ ਕਿ ਅਜਿਹੀਆਂ ਬੇਨਤੀਆਂ ਲਈ ਇਹ ਏਜੰਟ robots.txt ਦੀ ਪਾਲਣਾ ਸ਼ਾਇਦ ਨਾ ਕਰਨ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਲਈ ਨਿਯਮ ਇੱਕ ਬੇਨਤੀ ਹੈ, ਗਾਰੰਟੀ ਨਹੀਂ। ਜੇ ਤੁਸੀਂ ਟ੍ਰੇਨਿੰਗ ਬੰਦ ਅਤੇ AI ਸਰਚ ਚਾਲੂ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਟ੍ਰੇਨਿੰਗ ਟੋਕਨ ਬਲੌਕ ਕਰੋ ਅਤੇ ਸਰਚ ਤੇ ਯੂਜ਼ਰ ਟੋਕਨਾਂ ਨੂੰ ਨਾ ਛੇੜੋ।

ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਟੈਸਟ ਕਰੋ, ਫਿਰ ਦੁਬਾਰਾ ਟੈਸਟ ਕਰੋ

ਆਪਣਾ ਡਰਾਫਟ ਟੈਸਟਰ ਵਿੱਚ ਪੇਸਟ ਕਰੋ, ਕਿਸੇ ਅਹਿਮ ਪੰਨੇ ਦਾ ਪਾਥ ਦਿਓ, ਜਿਵੇਂ ਉਤਪਾਦ ਜਾਂ ਕੀਮਤਾਂ ਵਾਲਾ ਪੰਨਾ, ਅਤੇ ਤੁਹਾਡੇ ਲਈ ਅਹਿਮ ਹਰ ਕ੍ਰੌਲਰ ਦੀ ਕਤਾਰ ਪੜ੍ਹੋ। ਜਿਸ ਪਾਥ ਨੂੰ ਤੁਸੀਂ ਬਲੌਕ ਕਰਨਾ ਚਾਹੁੰਦੇ ਸੀ ਉਸ ਨਾਲ ਦੁਹਰਾਓ। ਜਦੋਂ ਨਤੀਜੇ ਤੁਹਾਡੇ ਇਰਾਦੇ ਨਾਲ ਮੇਲ ਖਾਣ, ਫਾਈਲ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰੋ ਅਤੇ ਲਾਈਵ ਪਤੇ ਨਾਲ ਟੈਸਟਰ ਦੁਬਾਰਾ ਚਲਾਓ, ਜਿਸ ਨਾਲ ਸਾਬਤ ਹੁੰਦਾ ਹੈ ਕਿ ਸਰਵਰ ਉਹੀ ਫਾਈਲ ਦਿੰਦਾ ਹੈ ਜੋ ਤੁਸੀਂ ਸੋਧੀ।

ਕ੍ਰੌਲਰ robots.txt ਨੂੰ ਕੈਸ਼ ਕਰਦੇ ਹਨ; ਉਦਾਹਰਣ ਲਈ, Google ਆਮ ਤੌਰ 'ਤੇ 24 ਘੰਟਿਆਂ ਵਿੱਚ ਆਪਣੀ ਕਾਪੀ ਤਾਜ਼ਾ ਕਰਦਾ ਹੈ। ਬਦਲਾਅ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਵਿਹਾਰ ਵਿੱਚ ਦਿਸਣ ਲਈ ਇੱਕ ਦਿਨ ਲੱਗ ਸਕਦਾ ਹੈ, ਅਤੇ Google Search Console ਵਿਚਲੀ robots.txt ਰਿਪੋਰਟ ਉਹ ਕਾਪੀ ਦਿਖਾਉਂਦੀ ਹੈ ਜੋ Google ਨੇ ਆਖਰੀ ਵਾਰ ਲਈ।

ਜਦੋਂ robots.txt ਕ੍ਰੌਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਪਰ ਉਹ ਫਿਰ ਵੀ ਬਲੌਕ ਹੈ

robots.txt ਸਿਰਫ਼ ਇੱਕ ਬੇਨਤੀ ਹੈ। ਲੋਕਾਂ ਨੂੰ ਪੰਨਾ ਮਿਲਦੇ ਹੋਏ ਵੀ ਫਾਇਰਵਾਲ, ਬੋਟ ਸੁਰੱਖਿਆ ਸੇਵਾ ਜਾਂ CDN ਨਿਯਮ ਕ੍ਰੌਲਰ ਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਦੇ ਸਕਦਾ ਹੈ। ਟੈਸਟਰ ਇਹ ਨਹੀਂ ਦੇਖ ਸਕਦਾ, ਕਿਉਂਕਿ ਉਹ ਸਿਰਫ਼ ਇੱਕ ਫਾਈਲ ਪੜ੍ਹਦਾ ਹੈ। ਪੂਰੀ ਜਾਂਚ ਤੁਹਾਡਾ ਪੰਨਾ ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਅਤੇ ਨਾਲ ਹੀ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਨਾਲ ਖੋਲ੍ਹਦੀ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਕਿਹੜੇ ਕ੍ਰੌਲਰ ਨੂੰ ਵੱਖਰਾ ਜਵਾਬ ਮਿਲਦਾ ਹੈ, HTTP ਸਥਿਤੀ ਅਤੇ ਫਾਇਰਵਾਲ ਦੇ ਦਸਤਖ਼ਤ ਸਮੇਤ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ ਇਹ Google ਦੇ robots.txt Tester ਵਰਗਾ ਹੀ ਹੈ?

ਨਹੀਂ। Google ਨੇ 2023 ਵਿੱਚ ਆਪਣਾ ਵੱਖਰਾ robots.txt Tester ਬੰਦ ਕਰ ਦਿੱਤਾ; ਹੁਣ Search Console ਵਿਚਲੀ robots.txt ਰਿਪੋਰਟ ਸਿਰਫ਼ Google ਦੇ ਕ੍ਰੌਲਰਾਂ ਲਈ Google ਵੱਲੋਂ ਲਈ ਫਾਈਲ ਅਤੇ ਪਾਰਸਿੰਗ ਗਲਤੀਆਂ ਦਿਖਾਉਂਦੀ ਹੈ। ਇਹ ਟੈਸਟਰ ਉਹੀ RFC 9309 ਨਿਯਮ ਇੱਕੋ ਵਾਰ 16 AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਲਾਗੂ ਕਰਦਾ ਹੈ।

ਕੀ ਇਜਾਜ਼ਤ ਹੈ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਮੇਰਾ ਪੰਨਾ ਪੜ੍ਹੇਗਾ ਜਾਂ ਉਸਦਾ ਹਵਾਲਾ ਦੇਵੇਗਾ?

ਨਹੀਂ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ robots.txt ਇਸਨੂੰ ਮਨ੍ਹਾ ਨਹੀਂ ਕਰਦੀ। ਕ੍ਰੌਲਰ ਨੂੰ ਪੰਨਾ ਮਿਲਦਾ ਹੈ ਜਾਂ ਨਹੀਂ ਇਹ ਤੁਹਾਡੇ ਸਰਵਰ ਅਤੇ ਫਾਇਰਵਾਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਅਸਿਸਟੈਂਟ ਉਸਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ ਜਾਂ ਨਹੀਂ ਇਹ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਅਤੇ ਪੁੱਛੇ ਸਵਾਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।

ਕਿਸੇ ਕ੍ਰੌਲਰ ਲਈ "ਕੋਈ ਨਿਯਮ ਨਹੀਂ" ਕਿਉਂ ਦਿਸਦਾ ਹੈ?

ਤੁਹਾਡੀ ਫਾਈਲ ਵਿੱਚ ਉਸਦੇ ਟੋਕਨ ਲਈ ਕੋਈ ਗਰੁੱਪ ਨਹੀਂ ਅਤੇ User-agent: * ਗਰੁੱਪ ਵੀ ਨਹੀਂ, ਇਸ ਲਈ ਉਸ 'ਤੇ ਕੁਝ ਵੀ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦਾ ਅਤੇ ਹਰ ਪਾਥ ਦੀ ਇਜਾਜ਼ਤ ਹੈ।

ਕੀ ਮੈਂ ਅਜਿਹੀ robots.txt ਟੈਸਟ ਕਰ ਸਕਦਾ ਹਾਂ ਜੋ ਅਜੇ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਹੋਈ?

ਹਾਂ। ਟੈਕਸਟ ਨੂੰ ਦੂਜੇ ਖਾਨੇ ਵਿੱਚ ਪੇਸਟ ਕਰੋ ਅਤੇ ਟੈਸਟ ਕਰਨ ਵਾਲਾ ਪਾਥ ਦਰਜ ਕਰੋ। ਤੁਹਾਡੀ ਸਾਈਟ ਤੋਂ ਕੁਝ ਨਹੀਂ ਲਿਆ ਜਾਂਦਾ, ਅਤੇ ਪੇਸਟ ਕੀਤਾ ਟੈਕਸਟ ਸੇਵ ਨਹੀਂ ਹੁੰਦਾ।

ਕੀ ਟੈਸਟਰ GPTBot ਜਾਂ ਹੋਰ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਬੇਨਤੀਆਂ ਭੇਜਦਾ ਹੈ?

ਨਹੀਂ। ਇਹ ਸਿਰਫ਼ ਤੁਹਾਡੀ robots.txt ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਨਿਯਮ ਲਾਗੂ ਕਰਦਾ ਹੈ। ਇਹ ਦੇਖਣ ਲਈ ਕਿ ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਤੁਹਾਡੇ ਸਰਵਰ ਤੋਂ ਅਸਲ ਵਿੱਚ ਕੀ ਮਿਲਦਾ ਹੈ, ਪੂਰੀ ਜਾਂਚ ਚਲਾਓ।

ਮੈਂ ਇਸਨੂੰ ਕਿੰਨੀ ਵਾਰ ਵਰਤ ਸਕਦਾ ਹਾਂ?

ਇਹ ਮੁਫ਼ਤ ਹੈ ਅਤੇ ਖਾਤੇ ਦੀ ਲੋੜ ਨਹੀਂ। ਇਸਨੂੰ ਸਭ ਲਈ ਉਪਲਬਧ ਰੱਖਣ ਲਈ, ਹਰ ਨੈੱਟਵਰਕ ਪ੍ਰਤੀ ਘੰਟਾ ਸੀਮਤ ਗਿਣਤੀ ਵਿੱਚ ਹੀ ਟੈਸਟ ਚਲਾ ਸਕਦਾ ਹੈ।

ਸੰਬੰਧਿਤ ਟੂਲ ਅਤੇ ਗਾਈਡਾਂ