ਗਾਈਡ
robots.txt ਟੈਸਟਰ ਕਿਵੇਂ ਵਰਤਣਾ ਹੈ
ਇਹ ਟੈਕਸਟ ਅੰਗਰੇਜ਼ੀ ਤੋਂ ਮਸ਼ੀਨ ਰਾਹੀਂ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ।
ਇਹ robots.txt ਟੈਸਟਰ ਕੀ ਜਾਂਚਦਾ ਹੈ
ਕਿਸੇ ਪੰਨੇ ਦਾ ਪਤਾ ਦਰਜ ਕਰੋ। ਟੈਸਟਰ ਉਸ ਪਤੇ ਦੀ ਸਕੀਮ ਅਤੇ ਹੋਸਟ ਲੈਂਦਾ ਹੈ, ਉਸ ਹੋਸਟ ਦੇ ਰੂਟ ਤੋਂ /robots.txt ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਤੁਹਾਡੇ ਪੰਨੇ ਦੇ ਪਾਥ ਲਈ ਉਸਦੇ ਨਿਯਮ ਪਰਖਦਾ ਹੈ। ਇਹ 16 ਕ੍ਰੌਲਰਾਂ ਵਿੱਚੋਂ ਹਰੇਕ ਲਈ ਇੱਕੋ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ: ਕੀ ਇਹ ਕ੍ਰੌਲਰ ਇਹ ਪੰਨਾ ਲੈ ਸਕਦਾ ਹੈ?
ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਕੰਮ ਮੁਤਾਬਕ ਗਰੁੱਪਾਂ ਵਿੱਚ ਦਿਖਾਇਆ ਗਿਆ ਹੈ। ਟ੍ਰੇਨਿੰਗ ਕ੍ਰੌਲਰ AI ਮਾਡਲਾਂ ਲਈ ਪੰਨੇ ਇਕੱਠੇ ਕਰਦੇ ਹਨ: GPTBot, ClaudeBot, CCBot, Bytespider ਅਤੇ Meta-ExternalAgent, ਨਾਲ ਹੀ ਸਿਰਫ਼ robots.txt ਵਿੱਚ ਵਰਤੇ ਜਾਂਦੇ ਟੋਕਨ Google-Extended ਅਤੇ Applebot-Extended, ਜੋ ਆਪ ਕਦੇ ਨਹੀਂ ਆਉਂਦੇ ਪਰ Google ਅਤੇ Apple ਨੂੰ ਦੱਸਦੇ ਹਨ ਕਿ ਕੀ ਉਹ ਪਹਿਲਾਂ ਤੋਂ ਲਏ ਪੰਨੇ ਵਰਤ ਸਕਦੇ ਹਨ। ਸਰਚ ਕ੍ਰੌਲਰ ਉਹ ਇੰਡੈਕਸ ਬਣਾਉਂਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਦਾ ਹਵਾਲਾ AI ਜਵਾਬ ਅਤੇ ਸਰਚ ਨਤੀਜੇ ਦਿੰਦੇ ਹਨ: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot ਅਤੇ Applebot। ਜਦੋਂ ਕੋਈ ਵਿਅਕਤੀ ਅਸਿਸਟੈਂਟ ਨੂੰ ਪੰਨਾ ਖੋਲ੍ਹਣ ਲਈ ਕਹਿੰਦਾ ਹੈ, ਤਾਂ ਯੂਜ਼ਰ ਏਜੰਟ ਉਹ ਪੰਨਾ ਲੈਂਦੇ ਹਨ: ChatGPT-User, Claude-User ਅਤੇ Perplexity-User।
ਪਤੇ ਦੀ ਥਾਂ ਤੁਸੀਂ robots.txt ਪੇਸਟ ਵੀ ਕਰ ਸਕਦੇ ਹੋ। ਤਦ ਕੁਝ ਵੀ ਨਹੀਂ ਲਿਆ ਜਾਂਦਾ: ਟੈਸਟਰ ਤੁਹਾਡੇ ਪੇਸਟ ਕੀਤੇ ਟੈਕਸਟ ਨੂੰ ਪਰਖਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਬਦਲਾਅ ਅਜ਼ਮਾ ਸਕਦੇ ਹੋ। ਪੇਸਟ ਕੀਤਾ ਟੈਕਸਟ ਸਿਰਫ਼ ਜਵਾਬ ਦੇਣ ਲਈ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਸੇਵ ਨਹੀਂ ਹੁੰਦਾ।
ਨਤੀਜੇ ਕਿਵੇਂ ਪੜ੍ਹਨੇ ਹਨ
ਟੇਬਲ ਵਿੱਚ ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਇੱਕ ਕਤਾਰ ਹੁੰਦੀ ਹੈ। ਤੁਹਾਡੇ ਪਾਥ ਵਾਲੇ ਕਾਲਮ ਵਿੱਚ ਇਜਾਜ਼ਤ ਹੈ ਜਾਂ ਬਲੌਕ ਲਿਖਿਆ ਹੁੰਦਾ ਹੈ। ਆਖਰੀ ਕਾਲਮ ਦੱਸਦਾ ਹੈ ਕਿ ਫਾਈਲ ਦੇ ਕਿਹੜੇ ਹਿੱਸੇ ਨੇ ਫ਼ੈਸਲਾ ਕੀਤਾ:
- ਆਪਣਾ ਗਰੁੱਪ: ਫਾਈਲ ਵਿੱਚ ਇਸ ਕ੍ਰੌਲਰ ਦੇ ਟੋਕਨ ਵਾਲੀ
User-agent ਲਾਈਨ ਹੈ, ਅਤੇ ਇਸ ਲਈ ਸਿਰਫ਼ ਉਸ ਗਰੁੱਪ ਦੇ ਨਿਯਮ ਗਿਣੇ ਜਾਂਦੇ ਹਨ। - User-agent: *: ਕੋਈ ਗਰੁੱਪ ਇਸ ਕ੍ਰੌਲਰ ਦਾ ਨਾਮ ਨਹੀਂ ਲੈਂਦਾ, ਇਸ ਲਈ ਇਹ ਸਭ ਲਈ ਵਾਲੇ ਗਰੁੱਪ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ।
- ਕੋਈ ਨਿਯਮ ਨਹੀਂ: ਕੋਈ ਵੀ ਗਰੁੱਪ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦਾ, ਇਸ ਲਈ ਪੰਨੇ ਦੀ ਇਜਾਜ਼ਤ ਹੈ।
ਟੇਬਲ ਦੇ ਹੇਠਾਂ ਫਾਈਲ ਵਿੱਚ ਦਿੱਤੀਆਂ Sitemap ਲਾਈਨਾਂ ਅਤੇ, ਜੇ ਹੋਵੇ, ਉਸਦੀ Content-Signal ਲਾਈਨ ਦਿਸਦੀ ਹੈ। ਜੇ ਪਤੇ ਨੇ ਟੈਕਸਟ ਫਾਈਲ ਦੀ ਥਾਂ ਵੈੱਬ ਪੰਨਾ ਦਿੱਤਾ, ਜਾਂ ਕੋਈ ਫਾਈਲ ਨਹੀਂ ਦਿੱਤੀ, ਤਾਂ ਟੈਸਟਰ ਇਹ ਦੱਸਦਾ ਹੈ: ਕ੍ਰੌਲਰ /robots.txt 'ਤੇ ਮਿਲੇ HTML ਪੰਨੇ ਨੂੰ ਗੈਰਹਾਜ਼ਰ ਫਾਈਲ ਮੰਨਦੇ ਹਨ।
ਇਜਾਜ਼ਤ ਹੈ ਵਾਲੀ ਕਤਾਰ ਦਾ ਮਤਲਬ ਸਿਰਫ਼ ਇਹ ਹੈ ਕਿ robots.txt ਉਸ ਕ੍ਰੌਲਰ ਨੂੰ ਨਹੀਂ ਰੋਕਦੀ। ਇਸਦਾ ਮਤਲਬ ਇਹ ਨਹੀਂ ਕਿ ਕ੍ਰੌਲਰ ਆਵੇਗਾ, ਅਤੇ ਇਹ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਬਾਰੇ ਕੁਝ ਨਹੀਂ ਦੱਸਦੀ।
ਕ੍ਰੌਲਰ ਆਪਣੇ ਨਿਯਮ ਕਿਵੇਂ ਚੁਣਦਾ ਹੈ
robots.txt ਦਾ ਮਿਆਰ RFC 9309 ਤਿੰਨ ਨਿਯਮ ਤੈਅ ਕਰਦਾ ਹੈ ਜੋ ਲਗਭਗ ਹਰ ਹੈਰਾਨੀਜਨਕ ਨਤੀਜੇ ਨੂੰ ਸਮਝਾਉਂਦੇ ਹਨ। ਕ੍ਰੌਲਰ ਪਹਿਲਾਂ ਉਹ ਗਰੁੱਪ ਲੱਭਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਦਾ User-agent ਉਸਦੇ ਟੋਕਨ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ਅੱਖਰਾਂ ਦੇ ਕੇਸ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਕੇ। ਜੇ ਉਸਨੂੰ ਅਜਿਹਾ ਗਰੁੱਪ ਮਿਲ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਉਹ ਸਿਰਫ਼ ਉਨ੍ਹਾਂ ਗਰੁੱਪਾਂ ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ ਅਤੇ User-agent: * ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਣਡਿੱਠਾ ਕਰਦਾ ਹੈ। ਚੁਣੇ ਗਰੁੱਪ ਵਿੱਚ ਸਭ ਤੋਂ ਲੰਬੇ ਮੇਲ ਖਾਂਦੇ ਪਾਥ ਵਾਲਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ, ਅਤੇ ਜੇ Allow ਅਤੇ Disallow ਇੱਕੋ ਲੰਬਾਈ ਨਾਲ ਮੇਲ ਖਾਣ, ਤਾਂ Allow ਜਿੱਤਦਾ ਹੈ।
User-agent: *
Disallow: /private/
Allow: /private/press/
User-agent: GPTBot
Disallow: /
ਇਸ ਫਾਈਲ ਨਾਲ GPTBot ਹਰ ਪੰਨੇ ਤੋਂ ਬਲੌਕ ਹੈ, ਕਿਉਂਕਿ ਉਸਦਾ ਆਪਣਾ ਗਰੁੱਪ ਹੈ। ਬਾਕੀ ਹਰ ਕ੍ਰੌਲਰ /private/press/kit.pdf ਲੈ ਸਕਦਾ ਹੈ, ਕਿਉਂਕਿ Allow: /private/press/ ਲੰਬਾਈ ਵਿੱਚ Disallow: /private/ ਤੋਂ ਵੱਡਾ ਹੈ, ਅਤੇ /private/notes/ ਤੋਂ ਬਲੌਕ ਹੈ। ਦੋਵੇਂ ਪਾਥ ਟੈਸਟਰ ਵਿੱਚ ਜਾਂਚੋ ਅਤੇ ਤੁਸੀਂ ਫ਼ੈਸਲੇ ਨੂੰ ਇੱਕ ਗਰੁੱਪ ਤੋਂ ਦੂਜੇ ਵੱਲ ਬਦਲਦਾ ਦੇਖੋਗੇ।
ਉਦਾਹਰਣਾਂ ਸਮੇਤ ਆਮ ਗਲਤੀਆਂ
- ਇੱਕ ਦੇ ਹੇਠਾਂ ਇੱਕ ਲਿਖੀਆਂ
User-agent ਲਾਈਨਾਂ ਇੱਕੋ ਗਰੁੱਪ ਬਣਾਉਂਦੀਆਂ ਹਨ। User-agent: GPTBot, ਫਿਰ User-agent: OAI-SearchBot, ਫਿਰ Disallow: / ਵਾਲੀ ਫਾਈਲ ਦੋਵੇਂ ਕ੍ਰੌਲਰ ਬਲੌਕ ਕਰਦੀ ਹੈ, ਇਸ ਲਈ ਟ੍ਰੇਨਿੰਗ ਰੋਕਣਾ ਚਾਹੁੰਦੀ ਸਾਈਟ ChatGPT ਸਰਚ ਵਿੱਚੋਂ ਵੀ ਗਾਇਬ ਹੋ ਜਾਂਦੀ ਹੈ। - OpenAI ਦਾ ਗਲਤ ਟੋਕਨ ਬਲੌਕ ਕਰਨਾ।
GPTBot ਟ੍ਰੇਨਿੰਗ ਡਾਟਾ ਇਕੱਠਾ ਕਰਦਾ ਹੈ; OAI-SearchBot ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ChatGPT ਸਰਚ ਤੁਹਾਨੂੰ ਦਿਖਾ ਸਕਦੀ ਹੈ ਅਤੇ ਤੁਹਾਡਾ ਹਵਾਲਾ ਦੇ ਸਕਦੀ ਹੈ ਜਾਂ ਨਹੀਂ। ਟ੍ਰੇਨਿੰਗ ਰੋਕਣ ਲਈ OAI-SearchBot ਜਾਂ ChatGPT-User ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ ਉਲਟਾ ਜਵਾਬਾਂ ਵਿੱਚੋਂ ਬਾਹਰ ਹੋ ਜਾਂਦੇ ਹੋ। - ਇੱਕ ਅੱਖਰ ਨਿਯਮ ਨੂੰ ਉਲਟਾ ਦਿੰਦਾ ਹੈ। ਜਿਸ
Disallow: ਤੋਂ ਬਾਅਦ ਕੁਝ ਨਾ ਹੋਵੇ ਉਹ ਸਭ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ; Disallow: / ਸਭ ਕੁਝ ਬਲੌਕ ਕਰਦਾ ਹੈ। - ਪਾਥ ਕੇਸ-ਸੈਂਸਿਟਿਵ ਹੁੰਦੇ ਹਨ।
Disallow: /Blog/ /blog/ ਨੂੰ ਬਲੌਕ ਨਹੀਂ ਕਰਦਾ। - ਵਾਈਲਡਕਾਰਡ ਧਿਆਨ ਨਾਲ ਵਰਤੋ।
Disallow: /*.pdf /file.pdf?download=1 ਨੂੰ ਵੀ ਬਲੌਕ ਕਰਦਾ ਹੈ; Disallow: /*.pdf$ ਸਿਰਫ਼ .pdf 'ਤੇ ਖ਼ਤਮ ਹੋਣ ਵਾਲੇ ਪਤੇ ਬਲੌਕ ਕਰਦਾ ਹੈ। - ਫਾਈਲ ਗਲਤ ਹੋਸਟ 'ਤੇ ਹੈ। robots.txt ਸਿਰਫ਼ ਉਸ ਸਕੀਮ ਅਤੇ ਹੋਸਟ ਲਈ ਗਿਣੀ ਜਾਂਦੀ ਹੈ ਜਿੱਥੋਂ ਉਹ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ, ਇਸ ਲਈ
www.example.com, example.com ਅਤੇ shop.example.com ਹਰੇਕ ਨੂੰ ਆਪਣੀ ਫਾਈਲ ਚਾਹੀਦੀ ਹੈ। - ਸਰਵਰ ਗਲਤੀ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। 4xx ਜਵਾਬ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਸਭ ਕੁਝ ਲੈ ਸਕਦੇ ਹਨ। 5xx ਜਵਾਬ ਜਾਂ ਟਾਈਮਆਊਟ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਜਦੋਂ ਤੱਕ ਫਾਈਲ ਦੁਬਾਰਾ ਪੜ੍ਹੀ ਨਾ ਜਾ ਸਕੇ, ਉਨ੍ਹਾਂ ਨੂੰ ਸਭ ਕੁਝ ਮਨ੍ਹਾ ਮੰਨਣਾ ਪੈਂਦਾ ਹੈ, ਇਸ ਲਈ ਖ਼ਰਾਬ
/robots.txt ਸਾਰੀ ਕ੍ਰੌਲਿੰਗ ਰੋਕ ਸਕਦੀ ਹੈ। - ਨਿਯਮ ਜਿਨ੍ਹਾਂ ਦੀ ਕ੍ਰੌਲਰ ਪਾਲਣਾ ਨਹੀਂ ਕਰਦੇ।
Noindex: ਅਤੇ Crawl-delay: RFC 9309 ਦਾ ਹਿੱਸਾ ਨਹੀਂ ਹਨ, ਅਤੇ Google ਦੋਵਾਂ ਨੂੰ ਅਣਡਿੱਠਾ ਕਰਦਾ ਹੈ। - ਇਹ ਉਮੀਦ ਕਿ robots.txt ਪੰਨੇ ਨੂੰ ਸਰਚ ਵਿੱਚੋਂ ਹਟਾ ਦੇਵੇਗੀ। ਇਹ ਕ੍ਰੌਲਿੰਗ ਰੋਕਦੀ ਹੈ, ਇੰਡੈਕਸਿੰਗ ਨਹੀਂ: ਬਲੌਕ ਕੀਤਾ ਪਤਾ ਆਪਣੇ ਟੈਕਸਟ ਤੋਂ ਬਿਨਾਂ ਵੀ ਸੂਚੀ ਵਿੱਚ ਦਿਸ ਸਕਦਾ ਹੈ। ਪੰਨੇ ਨੂੰ ਇੰਡੈਕਸ ਤੋਂ ਬਾਹਰ ਰੱਖਣ ਲਈ ਕ੍ਰੌਲਿੰਗ ਦੀ ਇਜਾਜ਼ਤ ਦਿਓ ਅਤੇ
noindex ਮੈਟਾ ਟੈਗ ਜਾਂ ਹੈਡਰ ਵਰਤੋ।
ਟ੍ਰੇਨਿੰਗ, ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ: ਹਰੇਕ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਕੀ ਹੁੰਦਾ ਹੈ
ਟ੍ਰੇਨਿੰਗ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਨੀਤੀ ਦਾ ਫ਼ੈਸਲਾ ਹੈ। ਇਹ ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਨੂੰ ਭਵਿੱਖ ਦੀ ਮਾਡਲ ਟ੍ਰੇਨਿੰਗ ਤੋਂ ਬਾਹਰ ਰੱਖਦਾ ਹੈ ਅਤੇ ਇਸ ਗੱਲ 'ਤੇ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ ਕਿ AI ਸਰਚ ਅੱਜ ਤੁਹਾਡਾ ਹਵਾਲਾ ਦੇ ਸਕਦੀ ਹੈ ਜਾਂ ਨਹੀਂ। OAI-SearchBot, Claude-SearchBot ਜਾਂ PerplexityBot ਵਰਗੇ ਸਰਚ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੇ ਪੰਨੇ ਉਸ ਅਸਿਸਟੈਂਟ ਦੇ ਜਵਾਬਾਂ ਤੋਂ ਬਾਹਰ ਰਹਿੰਦੇ ਹਨ। Googlebot ਜਾਂ Bingbot ਨੂੰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਸਰਚ ਇੰਜਣਾਂ ਅਤੇ ਉਨ੍ਹਾਂ 'ਤੇ ਬਣੇ AI ਫੀਚਰਾਂ ਵਿੱਚੋਂ ਬਾਹਰ ਹੋ ਜਾਂਦੇ ਹੋ।
ChatGPT-User ਵਰਗੇ ਯੂਜ਼ਰ ਏਜੰਟ ਉਸ ਵਿਅਕਤੀ ਲਈ ਕੰਮ ਕਰਦੇ ਹਨ ਜਿਸਨੇ ਤੁਹਾਡਾ ਪੰਨਾ ਮੰਗਿਆ। ਕੁਝ ਕੰਪਨੀਆਂ ਕਹਿੰਦੀਆਂ ਹਨ ਕਿ ਅਜਿਹੀਆਂ ਬੇਨਤੀਆਂ ਲਈ ਇਹ ਏਜੰਟ robots.txt ਦੀ ਪਾਲਣਾ ਸ਼ਾਇਦ ਨਾ ਕਰਨ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਲਈ ਨਿਯਮ ਇੱਕ ਬੇਨਤੀ ਹੈ, ਗਾਰੰਟੀ ਨਹੀਂ। ਜੇ ਤੁਸੀਂ ਟ੍ਰੇਨਿੰਗ ਬੰਦ ਅਤੇ AI ਸਰਚ ਚਾਲੂ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ ਟ੍ਰੇਨਿੰਗ ਟੋਕਨ ਬਲੌਕ ਕਰੋ ਅਤੇ ਸਰਚ ਤੇ ਯੂਜ਼ਰ ਟੋਕਨਾਂ ਨੂੰ ਨਾ ਛੇੜੋ।
ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਟੈਸਟ ਕਰੋ, ਫਿਰ ਦੁਬਾਰਾ ਟੈਸਟ ਕਰੋ
ਆਪਣਾ ਡਰਾਫਟ ਟੈਸਟਰ ਵਿੱਚ ਪੇਸਟ ਕਰੋ, ਕਿਸੇ ਅਹਿਮ ਪੰਨੇ ਦਾ ਪਾਥ ਦਿਓ, ਜਿਵੇਂ ਉਤਪਾਦ ਜਾਂ ਕੀਮਤਾਂ ਵਾਲਾ ਪੰਨਾ, ਅਤੇ ਤੁਹਾਡੇ ਲਈ ਅਹਿਮ ਹਰ ਕ੍ਰੌਲਰ ਦੀ ਕਤਾਰ ਪੜ੍ਹੋ। ਜਿਸ ਪਾਥ ਨੂੰ ਤੁਸੀਂ ਬਲੌਕ ਕਰਨਾ ਚਾਹੁੰਦੇ ਸੀ ਉਸ ਨਾਲ ਦੁਹਰਾਓ। ਜਦੋਂ ਨਤੀਜੇ ਤੁਹਾਡੇ ਇਰਾਦੇ ਨਾਲ ਮੇਲ ਖਾਣ, ਫਾਈਲ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰੋ ਅਤੇ ਲਾਈਵ ਪਤੇ ਨਾਲ ਟੈਸਟਰ ਦੁਬਾਰਾ ਚਲਾਓ, ਜਿਸ ਨਾਲ ਸਾਬਤ ਹੁੰਦਾ ਹੈ ਕਿ ਸਰਵਰ ਉਹੀ ਫਾਈਲ ਦਿੰਦਾ ਹੈ ਜੋ ਤੁਸੀਂ ਸੋਧੀ।
ਕ੍ਰੌਲਰ robots.txt ਨੂੰ ਕੈਸ਼ ਕਰਦੇ ਹਨ; ਉਦਾਹਰਣ ਲਈ, Google ਆਮ ਤੌਰ 'ਤੇ 24 ਘੰਟਿਆਂ ਵਿੱਚ ਆਪਣੀ ਕਾਪੀ ਤਾਜ਼ਾ ਕਰਦਾ ਹੈ। ਬਦਲਾਅ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਵਿਹਾਰ ਵਿੱਚ ਦਿਸਣ ਲਈ ਇੱਕ ਦਿਨ ਲੱਗ ਸਕਦਾ ਹੈ, ਅਤੇ Google Search Console ਵਿਚਲੀ robots.txt ਰਿਪੋਰਟ ਉਹ ਕਾਪੀ ਦਿਖਾਉਂਦੀ ਹੈ ਜੋ Google ਨੇ ਆਖਰੀ ਵਾਰ ਲਈ।
ਜਦੋਂ robots.txt ਕ੍ਰੌਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਪਰ ਉਹ ਫਿਰ ਵੀ ਬਲੌਕ ਹੈ
robots.txt ਸਿਰਫ਼ ਇੱਕ ਬੇਨਤੀ ਹੈ। ਲੋਕਾਂ ਨੂੰ ਪੰਨਾ ਮਿਲਦੇ ਹੋਏ ਵੀ ਫਾਇਰਵਾਲ, ਬੋਟ ਸੁਰੱਖਿਆ ਸੇਵਾ ਜਾਂ CDN ਨਿਯਮ ਕ੍ਰੌਲਰ ਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਦੇ ਸਕਦਾ ਹੈ। ਟੈਸਟਰ ਇਹ ਨਹੀਂ ਦੇਖ ਸਕਦਾ, ਕਿਉਂਕਿ ਉਹ ਸਿਰਫ਼ ਇੱਕ ਫਾਈਲ ਪੜ੍ਹਦਾ ਹੈ। ਪੂਰੀ ਜਾਂਚ ਤੁਹਾਡਾ ਪੰਨਾ ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਅਤੇ ਨਾਲ ਹੀ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਨਾਲ ਖੋਲ੍ਹਦੀ ਹੈ ਅਤੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਕਿਹੜੇ ਕ੍ਰੌਲਰ ਨੂੰ ਵੱਖਰਾ ਜਵਾਬ ਮਿਲਦਾ ਹੈ, HTTP ਸਥਿਤੀ ਅਤੇ ਫਾਇਰਵਾਲ ਦੇ ਦਸਤਖ਼ਤ ਸਮੇਤ।
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ ਇਹ Google ਦੇ robots.txt Tester ਵਰਗਾ ਹੀ ਹੈ?
ਨਹੀਂ। Google ਨੇ 2023 ਵਿੱਚ ਆਪਣਾ ਵੱਖਰਾ robots.txt Tester ਬੰਦ ਕਰ ਦਿੱਤਾ; ਹੁਣ Search Console ਵਿਚਲੀ robots.txt ਰਿਪੋਰਟ ਸਿਰਫ਼ Google ਦੇ ਕ੍ਰੌਲਰਾਂ ਲਈ Google ਵੱਲੋਂ ਲਈ ਫਾਈਲ ਅਤੇ ਪਾਰਸਿੰਗ ਗਲਤੀਆਂ ਦਿਖਾਉਂਦੀ ਹੈ। ਇਹ ਟੈਸਟਰ ਉਹੀ RFC 9309 ਨਿਯਮ ਇੱਕੋ ਵਾਰ 16 AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਲਾਗੂ ਕਰਦਾ ਹੈ।
ਕੀ ਇਜਾਜ਼ਤ ਹੈ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਮੇਰਾ ਪੰਨਾ ਪੜ੍ਹੇਗਾ ਜਾਂ ਉਸਦਾ ਹਵਾਲਾ ਦੇਵੇਗਾ?
ਨਹੀਂ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਕਿ robots.txt ਇਸਨੂੰ ਮਨ੍ਹਾ ਨਹੀਂ ਕਰਦੀ। ਕ੍ਰੌਲਰ ਨੂੰ ਪੰਨਾ ਮਿਲਦਾ ਹੈ ਜਾਂ ਨਹੀਂ ਇਹ ਤੁਹਾਡੇ ਸਰਵਰ ਅਤੇ ਫਾਇਰਵਾਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਅਸਿਸਟੈਂਟ ਉਸਦਾ ਹਵਾਲਾ ਦਿੰਦਾ ਹੈ ਜਾਂ ਨਹੀਂ ਇਹ ਤੁਹਾਡੀ ਸਮੱਗਰੀ ਅਤੇ ਪੁੱਛੇ ਸਵਾਲ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ।
ਕਿਸੇ ਕ੍ਰੌਲਰ ਲਈ "ਕੋਈ ਨਿਯਮ ਨਹੀਂ" ਕਿਉਂ ਦਿਸਦਾ ਹੈ?
ਤੁਹਾਡੀ ਫਾਈਲ ਵਿੱਚ ਉਸਦੇ ਟੋਕਨ ਲਈ ਕੋਈ ਗਰੁੱਪ ਨਹੀਂ ਅਤੇ User-agent: * ਗਰੁੱਪ ਵੀ ਨਹੀਂ, ਇਸ ਲਈ ਉਸ 'ਤੇ ਕੁਝ ਵੀ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦਾ ਅਤੇ ਹਰ ਪਾਥ ਦੀ ਇਜਾਜ਼ਤ ਹੈ।
ਕੀ ਮੈਂ ਅਜਿਹੀ robots.txt ਟੈਸਟ ਕਰ ਸਕਦਾ ਹਾਂ ਜੋ ਅਜੇ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਹੋਈ?
ਹਾਂ। ਟੈਕਸਟ ਨੂੰ ਦੂਜੇ ਖਾਨੇ ਵਿੱਚ ਪੇਸਟ ਕਰੋ ਅਤੇ ਟੈਸਟ ਕਰਨ ਵਾਲਾ ਪਾਥ ਦਰਜ ਕਰੋ। ਤੁਹਾਡੀ ਸਾਈਟ ਤੋਂ ਕੁਝ ਨਹੀਂ ਲਿਆ ਜਾਂਦਾ, ਅਤੇ ਪੇਸਟ ਕੀਤਾ ਟੈਕਸਟ ਸੇਵ ਨਹੀਂ ਹੁੰਦਾ।
ਕੀ ਟੈਸਟਰ GPTBot ਜਾਂ ਹੋਰ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਬੇਨਤੀਆਂ ਭੇਜਦਾ ਹੈ?
ਨਹੀਂ। ਇਹ ਸਿਰਫ਼ ਤੁਹਾਡੀ robots.txt ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਨਿਯਮ ਲਾਗੂ ਕਰਦਾ ਹੈ। ਇਹ ਦੇਖਣ ਲਈ ਕਿ ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਤੁਹਾਡੇ ਸਰਵਰ ਤੋਂ ਅਸਲ ਵਿੱਚ ਕੀ ਮਿਲਦਾ ਹੈ, ਪੂਰੀ ਜਾਂਚ ਚਲਾਓ।
ਮੈਂ ਇਸਨੂੰ ਕਿੰਨੀ ਵਾਰ ਵਰਤ ਸਕਦਾ ਹਾਂ?
ਇਹ ਮੁਫ਼ਤ ਹੈ ਅਤੇ ਖਾਤੇ ਦੀ ਲੋੜ ਨਹੀਂ। ਇਸਨੂੰ ਸਭ ਲਈ ਉਪਲਬਧ ਰੱਖਣ ਲਈ, ਹਰ ਨੈੱਟਵਰਕ ਪ੍ਰਤੀ ਘੰਟਾ ਸੀਮਤ ਗਿਣਤੀ ਵਿੱਚ ਹੀ ਟੈਸਟ ਚਲਾ ਸਕਦਾ ਹੈ।
ਸੰਬੰਧਿਤ ਟੂਲ ਅਤੇ ਗਾਈਡਾਂ