robots.txt OAI-SearchBot ਨੂੰ ਮਨ੍ਹਾ ਕਰਦਾ ਹੈ
ਤੁਹਾਡੇ robots.txt ਵਿੱਚ ਇੱਕ Disallow ਨਿਯਮ ਹੈ ਜੋ ਇਸ ਕ੍ਰੌਲਰ ਦੇ ਟੋਕਨ ਲਈ ਇਸ ਪੰਨੇ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ। ਆਡਿਟ RFC 9309 ਲਾਗੂ ਕਰਦਾ ਹੈ: ਜੇ ਕ੍ਰੌਲਰ ਦਾ ਆਪਣਾ ਗਰੁੱਪ ਹੈ ਤਾਂ ਉਹ, ਨਹੀਂ ਤਾਂ * ਗਰੁੱਪ, ਅਤੇ ਸਭ ਤੋਂ ਲੰਮਾ ਮੇਲ ਖਾਂਦਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਕ੍ਰੌਲਰ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦੇਣਾ ਚਾਹੁੰਦੇ ਹੋ ਤਾਂ ਉਸ ਲਈ Allow ਜੋੜੋ ਜਾਂ ਨਿਯਮ ਹਟਾਓ।
ਇਸਦਾ ਮਤਲਬ ਕੀ ਹੈ
ਤੁਹਾਡੇ robots.txt ਨਿਯਮ OAI-SearchBot ਨੂੰ / ਲੈਣ ਤੋਂ ਰੋਕਦੇ ਹਨ।
AI ਸਰਚ ਲਈ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ
ਚੰਗੇ ਵਿਹਾਰ ਵਾਲੇ AI ਕ੍ਰੌਲਰ robots.txt ਦੀ ਪਾਲਣਾ ਕਰਦੇ ਹਨ। ਜੇ OAI-SearchBot, Claude-SearchBot ਜਾਂ PerplexityBot ਮਨ੍ਹਾ ਹਨ, ਤਾਂ ਪੰਨਾ ਉਨ੍ਹਾਂ ਦੇ ਸਰਚ ਇੰਡੈਕਸਾਂ ਲਈ ਲਿਆ ਨਹੀਂ ਜਾਂਦਾ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਦੇ ਜਵਾਬਾਂ ਵਿੱਚ ਇਸਦਾ ਹਵਾਲਾ ਨਹੀਂ ਦਿੱਤਾ ਜਾ ਸਕਦਾ। GPTBot, ClaudeBot, Google-Extended ਜਾਂ Applebot-Extended ਵਰਗੇ ਸਿਖਲਾਈ ਟੋਕਨਾਂ ਨੂੰ ਮਨ੍ਹਾ ਕਰਨਾ ਸਿਰਫ਼ ਮਾਡਲ ਸਿਖਲਾਈ ਲਈ ਵਰਤੋਂ ਰੋਕਦਾ ਹੈ।
ਬਹੁਤ ਸਾਰੀਆਂ ਸਾਈਟਾਂ ਗਲਤੀ ਨਾਲ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ: ਇੱਕ ਟੈਂਪਲੇਟ ਜੋ Googlebot ਤੋਂ ਇਲਾਵਾ ਸਭ ਕੁਝ ਮਨ੍ਹਾ ਕਰਦਾ ਹੈ, ਜਾਂ staging ਤੋਂ ਰਹਿ ਗਿਆ Disallow: / ਵਾਲਾ User-agent: * ਗਰੁੱਪ। ਧਿਆਨ ਦਿਓ ਕਿ ਜਦੋਂ Applebot ਦਾ ਆਪਣਾ ਗਰੁੱਪ ਨਹੀਂ ਹੁੰਦਾ ਤਾਂ ਉਹ Googlebot ਵਾਲਾ ਗਰੁੱਪ ਵਰਤਦਾ ਹੈ।
ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰੀਏ
- ਖੋਜ ਵਿੱਚ ਨਿਯਮ ਲੱਭੋ: ਇਹ ਕ੍ਰੌਲਰ ਟੋਕਨ ਅਤੇ path ਦੱਸਦੀ ਹੈ। AISeeWhy ਰਿਪੋਰਟ ਸਬੂਤ ਅਤੇ ਪੇਸਟ ਕਰਨ ਲਈ ਤਿਆਰ ਹੱਲ ਦਿਖਾਉਂਦੀ ਹੈ; ਨਤੀਜੇ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਬਾਅਦ ਵਿੱਚ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਚਲਾਓ।
- ਕ੍ਰੌਲਰ ਦਾ ਟੋਕਨ ਹਰ ਉਸ ਗਰੁੱਪ ਵਿੱਚੋਂ ਹਟਾਓ ਜੋ ਪੰਨੇ ਨੂੰ ਮਨ੍ਹਾ ਕਰਦਾ ਹੈ, ਫਿਰ
Allow: /ਨਾਲ ਉਸਦਾ ਆਪਣਾ ਗਰੁੱਪ ਜੋੜੋ। ਖਾਸ ਗਰੁੱਪ ਉਸ ਕ੍ਰੌਲਰ ਲਈ*ਗਰੁੱਪ ਦੀ ਥਾਂ ਲੈ ਲੈਂਦਾ ਹੈ, ਇਸ ਲਈ*ਹੇਠਲੇ ਨਿਯਮ ਉਸ 'ਤੇ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦੇ। - WordPress 'ਤੇ ਜਾਂਚੋ ਕਿ robots.txt ਵੈੱਬ ਰੂਟ ਵਿੱਚ ਅਸਲ ਫਾਈਲ ਹੈ ਜਾਂ Yoast ਜਾਂ Rank Math ਵਰਗੇ SEO ਪਲੱਗਇਨ ਦੁਆਰਾ ਬਣਾਈ ਜਾਂਦੀ ਹੈ, ਅਤੇ ਉੱਥੇ ਹੀ ਸੋਧੋ। Shopify 'ਤੇ
robots.txt.liquidਥੀਮ ਟੈਂਪਲੇਟ ਸੋਧੋ। - Cloudflare 'ਤੇ ਜਾਂਚੋ ਕਿ ਕੀ managed robots.txt ਸੈਟਿੰਗ ਤੁਹਾਡੀ ਆਪਣੀ ਫਾਈਲ ਦੇ ਉੱਪਰ AI ਕ੍ਰੌਲਰ ਨਿਯਮ ਜੋੜਦੀ ਹੈ।
- ਜੇ ਇਹ ਤੁਹਾਡੀ ਨੀਤੀ ਹੈ ਤਾਂ ਸਿਖਲਾਈ ਟੋਕਨਾਂ ਨੂੰ ਮਨ੍ਹਾ ਹੀ ਰਹਿਣ ਦਿਓ; ਇਸਦਾ ਵੱਖਰੇ ਟੋਕਨ ਵਰਤਣ ਵਾਲੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਕੋਈ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ।
ਮਿਸਾਲ
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: / ਹੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਨੀ ਹੈ
ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ, ਰਿਪੋਰਟ 'ਤੇ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਦਬਾਓ: ਇਹ ਦੱਸਦੀ ਹੈ ਕਿ ਕੀ ਠੀਕ ਹੋਇਆ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਬਦਲਿਆ।