robots.txt ਇੱਕ HTML ਪੰਨਾ ਹੈ
/robots.txt ਪਤਾ ਇੱਕ HTML ਦਸਤਾਵੇਜ਼ ਵਾਪਸ ਕਰਦਾ ਹੈ, ਆਮ ਤੌਰ 'ਤੇ ਸਥਿਤੀ 200 ਨਾਲ ਦਿੱਤਾ 404 ਪੰਨਾ ਜਾਂ ਹੋਮ ਪੇਜ। ਕ੍ਰੌਲਰ HTML ਵਿੱਚੋਂ ਕੋਈ ਨਿਯਮ ਨਹੀਂ ਪੜ੍ਹ ਸਕਦੇ। ਉਸ path 'ਤੇ ਸਾਦੇ ਟੈਕਸਟ ਵਾਲਾ robots.txt ਦਿਓ, ਜਾਂ ਜੇ ਤੁਹਾਡੇ ਕੋਈ ਨਿਯਮ ਨਹੀਂ ਤਾਂ ਅਸਲ 404 ਸਥਿਤੀ ਵਾਪਸ ਕਰੋ।
ਇਸਦਾ ਮਤਲਬ ਕੀ ਹੈ
robots.txt ਦਾ ਪਤਾ HTML ਦਿੰਦਾ ਹੈ (ਅਕਸਰ ਸਥਿਤੀ 200 ਨਾਲ ਦਿੱਤਾ 404 ਪੰਨਾ), ਇਸ ਲਈ ਕ੍ਰੌਲਰ ਕੋਈ ਨਿਯਮ ਨਹੀਂ ਪੜ੍ਹ ਸਕਦੇ।
AI ਸਰਚ ਲਈ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ
ਕ੍ਰੌਲਰ robots.txt ਨੂੰ ਲਾਈਨ-ਦਰ-ਲਾਈਨ ਪੜ੍ਹਦੇ ਹਨ ਅਤੇ ਜੋ ਸਮਝ ਨਹੀਂ ਆਉਂਦਾ ਉਸਨੂੰ ਅਣਡਿੱਠਾ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ HTML ਪੰਨਾ ਉਨ੍ਹਾਂ ਨੂੰ ਕੋਈ ਨਿਯਮ ਅਤੇ ਕੋਈ Sitemap ਲਾਈਨ ਨਹੀਂ ਦਿੰਦਾ। ਤੁਹਾਡੀ ਮਿੱਥੀ ਨੀਤੀ, ਜਿਵੇਂ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਜਾਂ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣਾ, ਲਾਗੂ ਨਹੀਂ ਹੁੰਦੀ, ਅਤੇ ਉੱਥੇ ਦੱਸੇ sitemaps ਨਹੀਂ ਲੱਭੇ ਜਾਂਦੇ।
ਇਹ ਆਮ ਤੌਰ 'ਤੇ single-page apps ਅਤੇ catch-all routes ਨਾਲ ਹੁੰਦਾ ਹੈ ਜੋ ਹਰ ਅਣਜਾਣ path ਦਾ ਜਵਾਬ app shell ਅਤੇ ਸਥਿਤੀ 200 ਨਾਲ ਦਿੰਦੇ ਹਨ। AISeeWhy ਫ਼ੈਸਲਾ ਬਾਡੀ ਤੋਂ ਕਰਦਾ ਹੈ, Content-Type ਹੈਡਰ ਤੋਂ ਨਹੀਂ, ਕਿਉਂਕਿ ਕ੍ਰੌਲਰ ਵੀ ਇਹੀ ਕਰਦੇ ਹਨ: text/html ਵਜੋਂ ਦਿੱਤੀ ਟੈਕਸਟ ਫਾਈਲ ਫਿਰ ਵੀ ਪੜ੍ਹੀ ਜਾਂਦੀ ਹੈ, HTML ਪੰਨਾ ਨਹੀਂ।
ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰੀਏ
/robots.txtਖੋਲ੍ਹੋ ਅਤੇ source ਦੇਖੋ: ਜੇ ਇਹ<!doctypeਜਾਂ<htmlਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਫਾਈਲ ਗਾਇਬ ਹੈ ਅਤੇ ਕੋਈ fallback route ਜਵਾਬ ਦੇ ਰਿਹਾ ਹੈ।- ਅਸਲ ਫਾਈਲ ਜੋੜੋ: Next.js, Vite ਜਾਂ Create React App ਵਿੱਚ
public/robots.txt, nginx ਜਾਂ Apache 'ਤੇ ਵੈੱਬ ਰੂਟ, ਜਾਂ Shopify 'ਤੇrobots.txt.liquidਟੈਂਪਲੇਟ। - nginx ਵਿੱਚ ਪੱਕਾ ਕਰੋ ਕਿ
try_files ... /index.htmlfallback ਸਟੈਟਿਕ ਫਾਈਲ ਜਾਂਚਣ ਤੋਂ ਪਹਿਲਾਂ/robots.txtਨੂੰ ਨਾ ਫੜੇ; ਲੋੜ ਹੋਵੇ ਤਾਂlocation = /robots.txtਜੋੜੋ। - ਆਪਣੇ catch-all route ਨੂੰ ਠੀਕ ਕਰੋ ਤਾਂ ਜੋ ਅਣਜਾਣ paths ਲਈ ਸਥਿਤੀ 404 ਭੇਜੇ। AISeeWhy ਰਿਪੋਰਟ ਸਬੂਤ ਅਤੇ ਪੇਸਟ ਕਰਨ ਲਈ ਤਿਆਰ ਹੱਲ ਦਿਖਾਉਂਦੀ ਹੈ; ਨਤੀਜੇ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਬਾਅਦ ਵਿੱਚ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਚਲਾਓ।
ਮਿਸਾਲ
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml ਹੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਨੀ ਹੈ
ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ, ਰਿਪੋਰਟ 'ਤੇ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਦਬਾਓ: ਇਹ ਦੱਸਦੀ ਹੈ ਕਿ ਕੀ ਠੀਕ ਹੋਇਆ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਬਦਲਿਆ।