robots.txt ਇੱਕ HTML ਪੰਨਾ ਹੈ

ਛੋਟਾ ਜਵਾਬ

/robots.txt ਪਤਾ ਇੱਕ HTML ਦਸਤਾਵੇਜ਼ ਵਾਪਸ ਕਰਦਾ ਹੈ, ਆਮ ਤੌਰ 'ਤੇ ਸਥਿਤੀ 200 ਨਾਲ ਦਿੱਤਾ 404 ਪੰਨਾ ਜਾਂ ਹੋਮ ਪੇਜ। ਕ੍ਰੌਲਰ HTML ਵਿੱਚੋਂ ਕੋਈ ਨਿਯਮ ਨਹੀਂ ਪੜ੍ਹ ਸਕਦੇ। ਉਸ path 'ਤੇ ਸਾਦੇ ਟੈਕਸਟ ਵਾਲਾ robots.txt ਦਿਓ, ਜਾਂ ਜੇ ਤੁਹਾਡੇ ਕੋਈ ਨਿਯਮ ਨਹੀਂ ਤਾਂ ਅਸਲ 404 ਸਥਿਤੀ ਵਾਪਸ ਕਰੋ।

robots.invalid · ਤਰਜੀਹ: P2

ਇਸਦਾ ਮਤਲਬ ਕੀ ਹੈ

robots.txt ਦਾ ਪਤਾ HTML ਦਿੰਦਾ ਹੈ (ਅਕਸਰ ਸਥਿਤੀ 200 ਨਾਲ ਦਿੱਤਾ 404 ਪੰਨਾ), ਇਸ ਲਈ ਕ੍ਰੌਲਰ ਕੋਈ ਨਿਯਮ ਨਹੀਂ ਪੜ੍ਹ ਸਕਦੇ।

AI ਸਰਚ ਲਈ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

ਕ੍ਰੌਲਰ robots.txt ਨੂੰ ਲਾਈਨ-ਦਰ-ਲਾਈਨ ਪੜ੍ਹਦੇ ਹਨ ਅਤੇ ਜੋ ਸਮਝ ਨਹੀਂ ਆਉਂਦਾ ਉਸਨੂੰ ਅਣਡਿੱਠਾ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ HTML ਪੰਨਾ ਉਨ੍ਹਾਂ ਨੂੰ ਕੋਈ ਨਿਯਮ ਅਤੇ ਕੋਈ Sitemap ਲਾਈਨ ਨਹੀਂ ਦਿੰਦਾ। ਤੁਹਾਡੀ ਮਿੱਥੀ ਨੀਤੀ, ਜਿਵੇਂ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਜਾਂ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣਾ, ਲਾਗੂ ਨਹੀਂ ਹੁੰਦੀ, ਅਤੇ ਉੱਥੇ ਦੱਸੇ sitemaps ਨਹੀਂ ਲੱਭੇ ਜਾਂਦੇ।

ਇਹ ਆਮ ਤੌਰ 'ਤੇ single-page apps ਅਤੇ catch-all routes ਨਾਲ ਹੁੰਦਾ ਹੈ ਜੋ ਹਰ ਅਣਜਾਣ path ਦਾ ਜਵਾਬ app shell ਅਤੇ ਸਥਿਤੀ 200 ਨਾਲ ਦਿੰਦੇ ਹਨ। AISeeWhy ਫ਼ੈਸਲਾ ਬਾਡੀ ਤੋਂ ਕਰਦਾ ਹੈ, Content-Type ਹੈਡਰ ਤੋਂ ਨਹੀਂ, ਕਿਉਂਕਿ ਕ੍ਰੌਲਰ ਵੀ ਇਹੀ ਕਰਦੇ ਹਨ: text/html ਵਜੋਂ ਦਿੱਤੀ ਟੈਕਸਟ ਫਾਈਲ ਫਿਰ ਵੀ ਪੜ੍ਹੀ ਜਾਂਦੀ ਹੈ, HTML ਪੰਨਾ ਨਹੀਂ।

ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰੀਏ

  1. /robots.txt ਖੋਲ੍ਹੋ ਅਤੇ source ਦੇਖੋ: ਜੇ ਇਹ <!doctype ਜਾਂ <html ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ, ਤਾਂ ਫਾਈਲ ਗਾਇਬ ਹੈ ਅਤੇ ਕੋਈ fallback route ਜਵਾਬ ਦੇ ਰਿਹਾ ਹੈ।
  2. ਅਸਲ ਫਾਈਲ ਜੋੜੋ: Next.js, Vite ਜਾਂ Create React App ਵਿੱਚ public/robots.txt, nginx ਜਾਂ Apache 'ਤੇ ਵੈੱਬ ਰੂਟ, ਜਾਂ Shopify 'ਤੇ robots.txt.liquid ਟੈਂਪਲੇਟ।
  3. nginx ਵਿੱਚ ਪੱਕਾ ਕਰੋ ਕਿ try_files ... /index.html fallback ਸਟੈਟਿਕ ਫਾਈਲ ਜਾਂਚਣ ਤੋਂ ਪਹਿਲਾਂ /robots.txt ਨੂੰ ਨਾ ਫੜੇ; ਲੋੜ ਹੋਵੇ ਤਾਂ location = /robots.txt ਜੋੜੋ।
  4. ਆਪਣੇ catch-all route ਨੂੰ ਠੀਕ ਕਰੋ ਤਾਂ ਜੋ ਅਣਜਾਣ paths ਲਈ ਸਥਿਤੀ 404 ਭੇਜੇ। AISeeWhy ਰਿਪੋਰਟ ਸਬੂਤ ਅਤੇ ਪੇਸਟ ਕਰਨ ਲਈ ਤਿਆਰ ਹੱਲ ਦਿਖਾਉਂਦੀ ਹੈ; ਨਤੀਜੇ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਬਾਅਦ ਵਿੱਚ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਚਲਾਓ।

ਮਿਸਾਲ

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

ਹੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਨੀ ਹੈ

ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ, ਰਿਪੋਰਟ 'ਤੇ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਦਬਾਓ: ਇਹ ਦੱਸਦੀ ਹੈ ਕਿ ਕੀ ਠੀਕ ਹੋਇਆ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਬਦਲਿਆ।

ਮੇਰਾ ਪੰਨਾ ਜਾਂਚੋ →

ਸੰਬੰਧਿਤ ਗਾਈਡਾਂ

ਸਾਰੀਆਂ ਖੋਜਾਂ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ