ਕਿਸੇ URL ਅਤੇ ਖ਼ਾਸ ਕ੍ਰੌਲਰ ਲਈ robots.txt ਨਿਯਮ ਕਿਵੇਂ ਟੈਸਟ ਕਰੀਏ?
ਇੱਕ ਕ੍ਰੌਲਰ ਲਈ URL ਟੈਸਟ ਕਰਨ ਲਈ, ਉਹ ਗਰੁੱਪ ਲੱਭੋ ਜੋ ਕ੍ਰੌਲਰ ਦੇ ਟੋਕਨ ਦਾ ਨਾਮ ਲੈਂਦਾ ਹੈ (ਜੇ ਕੋਈ ਨਹੀਂ ਤਾਂ User-agent: *), ਉਸ ਵਿੱਚੋਂ URL path ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਸਾਰੇ Allow ਅਤੇ Disallow ਨਿਯਮ ਇਕੱਠੇ ਕਰੋ, ਅਤੇ ਸਭ ਤੋਂ ਲੰਬਾ ਲਾਗੂ ਕਰੋ; ਬਰਾਬਰੀ 'ਤੇ Allow ਜਿੱਤਦਾ ਹੈ। ਇਹ ਤੁਸੀਂ ਹੱਥੀਂ, Google ਦੇ open-source parser ਨਾਲ, ਜਾਂ ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਫ਼ੈਸਲਾ ਦਿਖਾਉਣ ਵਾਲੇ checker ਨਾਲ ਕਰ ਸਕਦੇ ਹੋ। Search Console ਵਿਚਲਾ Google ਦਾ ਪੁਰਾਣਾ robots.txt Tester ਹੁਣ ਨਹੀਂ ਹੈ, ਅਤੇ ਉਸਦੀ ਥਾਂ ਆਈ robots.txt ਰਿਪੋਰਟ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ Google ਨੇ ਕੀ ਲਿਆਂਦਾ, ਕਿਸੇ URL ਲਈ ਫ਼ੈਸਲਾ ਨਹੀਂ।
robots.txt ਫਾਈਲ ਉਦੋਂ ਤੱਕ ਸੌਖੀ ਲੱਗਦੀ ਹੈ ਜਦੋਂ ਤੱਕ ਪੱਕਾ ਜਵਾਬ ਨਾ ਚਾਹੀਦਾ ਹੋਵੇ: ਕੀ GPTBot ਇਹ ਪੰਨਾ ਲਿਆ ਸਕਦਾ ਹੈ, ਅਤੇ ਕੀ OAI-SearchBot? ਜਵਾਬ ਇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਕਿਹੜਾ ਗਰੁੱਪ ਚੁਣਦਾ ਹੈ ਅਤੇ ਉਸ ਗਰੁੱਪ ਵਿੱਚ ਕਿਹੜਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ, ਅਤੇ ਦੋਵਾਂ ਕਦਮਾਂ ਵਿੱਚ ਗ਼ਲਤੀ ਸੌਖੀ ਹੈ। ਇੱਥੇ RFC 9309 ਹੇਠ ਮੇਲ ਕਿਵੇਂ ਹੁੰਦਾ ਹੈ, ਚਾਰ ਹੱਲ ਕੀਤੀਆਂ ਮਿਸਾਲਾਂ, ਅਤੇ ਫਾਈਲ ਖ਼ੁਦ ਟੈਸਟ ਕਰਨ ਦੇ ਤਿੰਨ ਤਰੀਕੇ ਹਨ।
ਇਸ ਪੰਨੇ 'ਤੇ
- Google Search Console ਵਿਚਲੇ robots.txt Tester ਨੂੰ ਕੀ ਹੋਇਆ?
- ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ URL ਦੀ ਇਜਾਜ਼ਤ ਹੈ?
- ਕੀ robots.txt ਟੈਸਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਕਦਮ-ਦਰ-ਕਦਮ ਦਿਖਾ ਸਕਦੇ ਹੋ?
- Google ਦਾ open-source robots.txt parser ਕਿਵੇਂ ਚਲਾਈਏ?
- ਕੀ ਮੈਂ Python ਦੇ urllib.robotparser ਨਾਲ robots.txt ਟੈਸਟ ਕਰ ਸਕਦਾ ਹਾਂ?
- robots.txt ਟੈਸਟ ਪਾਸ ਹੋਣ ਦੇ ਬਾਵਜੂਦ ਕ੍ਰੌਲਰ ਕਿਉਂ ਬਲੌਕ ਹੈ?
- ਸਾਰੇ AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt ਇੱਕੋ ਵਾਰ ਕਿਵੇਂ ਜਾਂਚਾਂ?
Google Search Console ਵਿਚਲੇ robots.txt Tester ਨੂੰ ਕੀ ਹੋਇਆ?
ਨਵੰਬਰ 2023 ਵਿੱਚ Google ਨੇ Search Console ਵਿੱਚ robots.txt ਰਿਪੋਰਟ ਜੋੜੀ ਅਤੇ ਕਿਹਾ ਕਿ ਉਹ robots.txt tester ਬੰਦ ਕਰ ਰਿਹਾ ਹੈ। ਰਿਪੋਰਟ Settings ਹੇਠ ਹੈ ਅਤੇ ਸਿਰਫ਼ Google ਦੇ ਕ੍ਰੌਲਰ ਕਵਰ ਕਰਦੀ ਹੈ। ਇਹ ਦਿਖਾਉਂਦੀ ਹੈ:
- ਤੁਹਾਡੀ property ਦੇ ਪਹਿਲੇ 20 hosts ਲਈ Google ਨੂੰ ਮਿਲੀਆਂ robots.txt ਫਾਈਲਾਂ।
- ਹਰ ਫਾਈਲ ਦੀ fetch ਸਥਿਤੀ (
Fetched,Not Fetched - Not found (404)ਜਾਂNot Fetched - Any other reason), Google ਨੇ ਆਖ਼ਰੀ ਵਾਰ ਕਦੋਂ ਜਾਂਚੀ, ਅਤੇ bytes ਵਿੱਚ ਉਸਦਾ ਆਕਾਰ। - ਫਾਈਲ ਵਿਚਲੀਆਂ ਸਮੱਸਿਆਵਾਂ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ errors ਕਿਸੇ ਨਿਯਮ ਨੂੰ ਵਰਤਣ ਤੋਂ ਰੋਕਦੇ ਹਨ, warnings ਨਹੀਂ।
- ਪਿਛਲੇ 30 ਦਿਨਾਂ ਵਿੱਚ Google ਵੱਲੋਂ ਲਿਆਂਦੇ ਸੰਸਕਰਣ, ਅਤੇ ਫਾਈਲ ਠੀਕ ਕਰਨ ਤੋਂ ਬਾਅਦ ਦੁਬਾਰਾ ਕ੍ਰੌਲ ਮੰਗਣ ਦਾ ਬਟਨ।
ਰਿਪੋਰਟ ਕੋਈ URL ਲੈ ਕੇ allowed ਜਾਂ blocked ਨਹੀਂ ਦੱਸਦੀ। Googlebot ਲਈ ਇੱਕ URL ਜਾਂਚਣ ਲਈ Google URL Inspection ਟੂਲ ਵੱਲ, ਅਤੇ ਸਥਾਨਕ ਟੈਸਟਿੰਗ ਲਈ ਆਪਣੀ open-source robots.txt ਲਾਇਬ੍ਰੇਰੀ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ। ਦੋਵਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ GPTBot ਜਾਂ ClaudeBot ਵਰਗੇ AI ਕ੍ਰੌਲਰਾਂ ਬਾਰੇ ਕੁਝ ਨਹੀਂ ਦੱਸਦਾ।
ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ URL ਦੀ ਇਜਾਜ਼ਤ ਹੈ?
RFC 9309, ਯਾਨੀ Robots Exclusion Protocol, ਮੇਲ ਦਾ ਤਰੀਕਾ ਤੈਅ ਕਰਦਾ ਹੈ। Google ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਇਹੀ ਵਿਹਾਰ ਦਰਜ ਕਰਦਾ ਹੈ।
- ਗਰੁੱਪ ਚੁਣੋ। User-agent ਦਾ ਮੇਲ ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦਾ ਫ਼ਰਕ ਨਹੀਂ ਦੇਖਦਾ। ਜੇ ਇੱਕ ਜਾਂ ਵੱਧ ਗਰੁੱਪ ਕ੍ਰੌਲਰ ਦੇ ਟੋਕਨ ਦਾ ਨਾਮ ਲੈਂਦੇ ਹਨ, ਤਾਂ ਉਨ੍ਹਾਂ ਦੇ ਨਿਯਮ ਜੋੜ ਦਿੱਤੇ ਜਾਂਦੇ ਹਨ ਅਤੇ
User-agent: *ਗਰੁੱਪ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਣਡਿੱਠਾ ਹੁੰਦਾ ਹੈ। ਸਿਰਫ਼ ਉਹ ਕ੍ਰੌਲਰ*ਮੰਨਦਾ ਹੈ ਜਿਸਦਾ ਕੋਈ ਨਾਮ ਵਾਲਾ ਗਰੁੱਪ ਨਹੀਂ। - ਨਿਯਮ ਚੁਣੋ। ਜਿਨ੍ਹਾਂ
AllowਅਤੇDisallowਨਿਯਮਾਂ ਦਾ path URL ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਸਭ ਤੋਂ ਵੱਧ ਅੱਖਰਾਂ ਵਾਲਾ ਜਿੱਤਦਾ ਹੈ। ਜੇ ਇੱਕAllowਅਤੇ ਇੱਕDisallowਬਰਾਬਰ ਲੰਬੇ ਹਨ, ਤਾਂAllowਨੂੰ ਜਿੱਤਣਾ ਚਾਹੀਦਾ ਹੈ। - ਪੈਟਰਨ ਪੜ੍ਹੋ।
*ਅੱਖਰਾਂ ਦੀ ਕਿਸੇ ਵੀ ਲੜੀ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ ਅਤੇ$URL ਦਾ ਅੰਤ ਦਰਸਾਉਂਦਾ ਹੈ। Paths case-sensitive ਹਨ, ਇਸ ਲਈ/Admin/ਦਾ/admin/ਨਾਲ ਮੇਲ ਨਹੀਂ। - ਕੋਈ ਮੇਲ ਖਾਂਦਾ ਨਿਯਮ ਨਹੀਂ ਤਾਂ ਇਜਾਜ਼ਤ ਹੈ।
/robots.txtਖ਼ੁਦ ਹਮੇਸ਼ਾ ਇਜਾਜ਼ਤ ਵਾਲਾ ਹੈ।
robots.txt ਦਾ response code ਉਸਦੇ ਨਿਯਮਾਂ ਜਿੰਨਾ ਹੀ ਅਹਿਮ ਹੈ। 4xx ਜਵਾਬ ਦਾ ਮਤਲਬ ਹੈ ਕ੍ਰੌਲਰ ਸਭ ਕੁਝ ਲਿਆ ਸਕਦਾ ਹੈ; Google 429 ਤੋਂ ਇਲਾਵਾ ਹਰ 4xx ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਮੰਨਦਾ ਹੈ ਜਿਵੇਂ ਫਾਈਲ ਹੈ ਹੀ ਨਹੀਂ। 5xx ਜਵਾਬ ਦਾ ਮਤਲਬ ਹੈ ਕ੍ਰੌਲਰ ਨੂੰ ਮੰਨਣਾ ਪਵੇਗਾ ਕਿ ਪੂਰੀ ਸਾਈਟ ਮਨ੍ਹਾ ਹੈ। Google ਪਹਿਲੇ 12 ਘੰਟੇ ਕ੍ਰੌਲ ਕਰਨਾ ਰੋਕਦਾ ਹੈ, ਫਿਰ 30 ਦਿਨਾਂ ਤੱਕ ਆਖ਼ਰੀ ਠੀਕ ਕਾਪੀ ਵਰਤਦਾ ਹੈ। RFC 9309 ਮੰਗਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਘੱਟੋ-ਘੱਟ 500 KiB ਪਾਰਸ ਕਰਨ, ਅਤੇ Google 500 KiB ਤੋਂ ਬਾਅਦ ਦਾ ਸਭ ਕੁਝ ਅਣਡਿੱਠਾ ਕਰਦਾ ਹੈ।
ਕੀ robots.txt ਟੈਸਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਕਦਮ-ਦਰ-ਕਦਮ ਦਿਖਾ ਸਕਦੇ ਹੋ?
ਇਹ ਇੱਕ ਛੋਟੀ robots.txt ਹੈ ਜਿਸ ਵਿੱਚ ਇੱਕ ਡਿਫਾਲਟ ਗਰੁੱਪ ਅਤੇ ਦੋ ਨਾਮ ਵਾਲੇ AI ਕ੍ਰੌਲਰ ਹਨ:
Googlebotਅਤੇ/search/help/billing: ਇਜਾਜ਼ਤ ਹੈ। Googlebot ਦਾ ਕੋਈ ਗਰੁੱਪ ਨਹੀਂ, ਇਸ ਲਈ*ਗਰੁੱਪ ਲਾਗੂ ਹੁੰਦਾ ਹੈ।Disallow: /searchਅਤੇAllow: /search/helpਦੋਵੇਂ ਮੇਲ ਖਾਂਦੇ ਹਨ, ਅਤੇAllowਨਿਯਮ ਲੰਬਾ ਹੈ।GPTBotਅਤੇ/blog/post: ਬਲੌਕ। GPTBot ਦਾ ਆਪਣਾ ਗਰੁੱਪ ਹੈ, ਅਤੇDisallow: /ਹਰ path ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ।OAI-SearchBotਅਤੇ/admin/settings: ਇਜਾਜ਼ਤ ਹੈ। OAI-SearchBot ਦਾ ਆਪਣਾ ਗਰੁੱਪ ਹੈ, ਇਸ ਲਈ*ਗਰੁੱਪ ਵਿਚਲਾDisallow: /admin/ਉਸ 'ਤੇ ਲਾਗੂ ਨਹੀਂ ਹੁੰਦਾ। ਇਹ ਸਭ ਤੋਂ ਆਮ ਹੈਰਾਨੀ ਹੈ; ਸਾਂਝੇ ਨਿਯਮ ਹਰ ਨਾਮ ਵਾਲੇ ਗਰੁੱਪ ਵਿੱਚ ਦੁਹਰਾਓ।OAI-SearchBotਅਤੇ/files/report.pdf: ਬਲੌਕ।Allow: /ਇੱਕ ਅੱਖਰ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ,Disallow: /*.pdf$ਸੱਤ ਨਾਲ, ਅਤੇ ਲੰਬਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ।
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ ਬਰਾਬਰੀ ਘੱਟ ਹੁੰਦੀ ਹੈ ਪਰ ਉਹੀ ਤਰਕ ਮੰਨਦੀ ਹੈ। Google ਦੇ ਦਸਤਾਵੇਜ਼ URL /folder/page ਲਈ allow: /folder ਅਤੇ disallow: /folder ਦੀ ਮਿਸਾਲ ਦਿੰਦੇ ਹਨ: ਦੋਵੇਂ ਬਰਾਬਰ ਲੰਬੇ ਹਨ, ਇਸ ਲਈ URL ਦੀ ਇਜਾਜ਼ਤ ਹੈ।
Google ਦਾ open-source robots.txt parser ਕਿਵੇਂ ਚਲਾਈਏ?
Google ਉਹ C++ ਲਾਇਬ੍ਰੇਰੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਜੋ ਉਹ production ਵਿੱਚ robots.txt ਨਿਯਮਾਂ ਦੇ ਮੇਲ ਲਈ ਵਰਤਦਾ ਹੈ, ਨਾਲ ਇੱਕ ਛੋਟਾ command-line ਪ੍ਰੋਗਰਾਮ ਜੋ ਸਥਾਨਕ ਫਾਈਲ ਦੇ ਵਿਰੁੱਧ ਇੱਕ URL ਅਤੇ ਇੱਕ ਯੂਜ਼ਰ ਏਜੰਟ ਟੈਸਟ ਕਰਦਾ ਹੈ। Bazel ਇੰਸਟਾਲ ਹੋਵੇ ਤਾਂ:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed repository ਵਿੱਚ CMake build ਦਾ ਤਰੀਕਾ ਵੀ ਹੈ, ਜੋ ਉਨ੍ਹਾਂ ਹੀ arguments ਨਾਲ robots ਨਾਮ ਦੀ binary ਬਣਾਉਂਦਾ ਹੈ। ਟੂਲ ਸਿਰਫ਼ ਪਾਰਸ ਅਤੇ ਮੇਲ ਕਰਦਾ ਹੈ; ਇਹ robots.txt ਡਾਊਨਲੋਡ ਨਹੀਂ ਕਰਦਾ, ਇਸ ਲਈ ਪਹਿਲਾਂ ਲਾਈਵ ਫਾਈਲ ਸੇਵ ਕਰੋ। ਇਸਦਾ README ਇਹ ਵੀ ਦੱਸਦਾ ਹੈ ਕਿ ਪਾਰਸ ਅਤੇ ਮੇਲ ਤੋਂ ਬਾਹਰ ਕ੍ਰੌਲਰ-ਵਿਸ਼ੇਸ਼ ਵਿਹਾਰ ਲਾਇਬ੍ਰੇਰੀ ਦਾ ਹਿੱਸਾ ਨਹੀਂ।
ਕੀ ਮੈਂ Python ਦੇ urllib.robotparser ਨਾਲ robots.txt ਟੈਸਟ ਕਰ ਸਕਦਾ ਹਾਂ?
Python ਦੀ standard library ਵਿੱਚ ਇੱਕ parser ਹੈ ਜੋ ਯੂਜ਼ਰ ਏਜੰਟ ਅਤੇ URL ਲਈ allowed ਜਾਂ blocked ਦੱਸਦਾ ਹੈ। ਇਹ ਸਕ੍ਰਿਪਟ ਉੱਪਰਲੀ ਮਿਸਾਲ ਟੈਸਟ ਕਰਦੀ ਹੈ:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") ਨਤੀਜੇ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਆਪਣਾ Python ਸੰਸਕਰਣ ਜਾਂਚੋ। RFC 9309 ਮੇਲ ਦਾ ਸਮਰਥਨ 2026 ਵਿੱਚ CPython ਵਿੱਚ ਜੋੜਿਆ ਗਿਆ ਅਤੇ ਪਹਿਲੀ ਵਾਰ Python 3.13.14 ਅਤੇ 3.14.5 ਵਿੱਚ ਆਇਆ। ਪੁਰਾਣੇ ਸੰਸਕਰਣ, 3.12 ਅਤੇ ਉਸ ਤੋਂ ਪਹਿਲਾਂ ਦੇ ਸਾਰੇ ਸਮੇਤ, ਸਭ ਤੋਂ ਲੰਬਾ ਨਹੀਂ, ਫਾਈਲ ਦੇ ਕ੍ਰਮ ਵਿੱਚ ਪਹਿਲਾ ਮੇਲ ਖਾਂਦਾ ਨਿਯਮ ਲਾਗੂ ਕਰਦੇ ਹਨ, ਅਤੇ paths ਵਿੱਚ * ਜਾਂ $ ਨਹੀਂ ਸਮਝਦੇ। ਉਨ੍ਹਾਂ ਸੰਸਕਰਣਾਂ 'ਤੇ ਸਕ੍ਰਿਪਟ ਪਹਿਲਾ ਅਤੇ ਚੌਥਾ ਟੈਸਟ ਉਲਟਾ ਦੱਸਦੀ ਹੈ: Googlebot /search/help/billing ਤੋਂ ਬਲੌਕ ਅਤੇ OAI-SearchBot ਨੂੰ PDF ਲਿਆਉਣ ਦੀ ਇਜਾਜ਼ਤ।
ਦੋ ਹੋਰ ਫ਼ਰਕ ਹਰ ਸੰਸਕਰਣ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ। RobotFileParser.read() robots.txt ਲਈ 401 ਜਾਂ 403 ਜਵਾਬ ਨੂੰ ਸਭ ਕੁਝ ਮਨ੍ਹਾ ਮੰਨਦਾ ਹੈ, ਜਦਕਿ RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ 4xx ਦਾ ਮਤਲਬ ਹੈ ਸਭ ਕੁਝ ਲਿਆਂਦਾ ਜਾ ਸਕਦਾ ਹੈ। ਅਤੇ read() ਫਾਈਲ ਨੂੰ Python ਦੇ ਡਿਫਾਲਟ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਡਾਊਨਲੋਡ ਕਰਦਾ ਹੈ, ਜਿਸਨੂੰ ਕੁਝ ਫਾਇਰਵਾਲ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਟੈਸਟ ਤੁਹਾਡੇ ਨਿਯਮਾਂ ਨਾਲ ਅਸੰਬੰਧਿਤ ਕਾਰਨਾਂ ਕਰਕੇ blocked ਦੱਸ ਸਕਦਾ ਹੈ। ਉੱਪਰ ਵਾਂਗ ਫਾਈਲ ਖ਼ੁਦ ਲਿਆ ਕੇ parse() ਨੂੰ ਦੇਣ ਨਾਲ ਦੋਵਾਂ ਤੋਂ ਬਚਾਅ ਹੁੰਦਾ ਹੈ।
robots.txt ਟੈਸਟ ਪਾਸ ਹੋਣ ਦੇ ਬਾਵਜੂਦ ਕ੍ਰੌਲਰ ਕਿਉਂ ਬਲੌਕ ਹੈ?
tester ਇੱਕ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ: ਕੀ ਨਿਯਮ ਇਸ URL ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ? ਕਈ ਚੀਜ਼ਾਂ ਉਸ ਜਵਾਬ ਤੋਂ ਬਾਹਰ ਹਨ:
- ਲਾਈਵ ਫਾਈਲ ਤੁਹਾਡੀ ਟੈਸਟ ਕੀਤੀ ਫਾਈਲ ਤੋਂ ਵੱਖਰੀ ਹੈ, ਜਾਂ ਕ੍ਰੌਲਰ ਹਾਲੇ ਵੀ ਕੈਸ਼ ਕਾਪੀ ਵਰਤ ਰਿਹਾ ਹੈ। RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੈਸ਼ ਕਾਪੀ 24 ਘੰਟਿਆਂ ਤੋਂ ਵੱਧ ਨਹੀਂ ਵਰਤਣੀ ਚਾਹੀਦੀ, ਅਤੇ Google ਆਮ ਤੌਰ 'ਤੇ 24 ਘੰਟਿਆਂ ਤੱਕ ਕੈਸ਼ ਕਰਦਾ ਹੈ।
- robots.txt URL HTML ਪੰਨਾ ਜਾਂ error ਦਿੰਦਾ ਹੈ। status 200 ਵਾਲੇ HTML ਪੰਨੇ ਵਿੱਚ ਕੋਈ ਵੈਧ ਨਿਯਮ ਨਹੀਂ ਹੁੰਦਾ, ਅਤੇ 5xx ਜਵਾਬ ਪੂਰੀ ਸਾਈਟ ਬਲੌਕ ਕਰ ਦਿੰਦਾ ਹੈ।
- robots.txt ਇੱਕ ਬੇਨਤੀ ਹੈ, ਪਹੁੰਚ ਕੰਟਰੋਲ ਨਹੀਂ। ਫਾਇਰਵਾਲ, CDN ਜਾਂ ਬੋਟ ਸੁਰੱਖਿਆ ਫਿਰ ਵੀ ਕ੍ਰੌਲਰ ਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਦੇ ਸਕਦੀ ਹੈ।
ਸਾਰੇ AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt ਇੱਕੋ ਵਾਰ ਕਿਵੇਂ ਜਾਂਚਾਂ?
ਮੁਫ਼ਤ AISeeWhy robots.txt ਜਾਂਚ ਟੂਲ ਪੰਨੇ ਦਾ ਪਤਾ ਜਾਂ ਪੇਸਟ ਕੀਤੀ robots.txt ਲੈਂਦਾ ਹੈ ਅਤੇ ਹਰ AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰ ਲਈ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਉਹ ਪੰਨਾ ਲਿਆਂਦਾ ਜਾ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ। ਮੁਫ਼ਤ robots.txt ਜਨਰੇਟਰ ਤੁਹਾਡੀਆਂ ਚੋਣਾਂ ਤੋਂ ਫਾਈਲ ਲਿਖਦਾ ਹੈ, ਅਤੇ ਮੁਫ਼ਤ ਜਾਂਚ ਪੰਨੇ ਨੂੰ 16 ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਲਿਆ ਕੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਕੀ ਫਾਇਰਵਾਲ ਉਹ ਬਲੌਕ ਕਰਦੀ ਹੈ ਜਿਸਦੀ robots.txt ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ।
ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ
- robots.txt GPTBot ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਪਰ ਸਰਵਰ ਇਸਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ
- robots.txt OAI-SearchBot ਨੂੰ ਮਨ੍ਹਾ ਕਰਦਾ ਹੈ
- robots.txt ਇੱਕ HTML ਪੰਨਾ ਹੈ
- robots.txt ਲਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ Google Search Console ਵਿੱਚ ਹਾਲੇ ਵੀ robots.txt tester ਹੈ?
ਨਹੀਂ। Google ਨੇ ਨਵੰਬਰ 2023 ਵਿੱਚ ਇਸਦੀ ਥਾਂ robots.txt ਰਿਪੋਰਟ ਲਿਆਂਦੀ, ਜੋ Google ਵੱਲੋਂ ਲਿਆਂਦੀਆਂ ਫਾਈਲਾਂ, ਉਨ੍ਹਾਂ ਦੀ ਸਥਿਤੀ ਅਤੇ errors ਦਿਖਾਉਂਦੀ ਹੈ। ਇਹ ਜਾਂਚਣ ਲਈ ਕਿ Googlebot ਕੋਈ ਖ਼ਾਸ URL ਕ੍ਰੌਲ ਕਰ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, URL Inspection ਟੂਲ ਵਰਤੋ।
ਕੀ robots.txt ਵਿੱਚ Allow, Disallow ਨੂੰ ਮਾਤ ਦਿੰਦਾ ਹੈ?
ਸਿਰਫ਼ ਜਦੋਂ Allow ਨਿਯਮ ਲੰਬਾ ਹੋਵੇ, ਜਾਂ ਬਿਲਕੁਲ ਬਰਾਬਰ ਲੰਬਾ। ਸਭ ਤੋਂ ਲੰਬੇ ਮੇਲ ਖਾਂਦੇ path ਵਾਲਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ, ਚਾਹੇ ਕਿਸੇ ਵੀ ਕਿਸਮ ਦਾ ਹੋਵੇ, ਅਤੇ ਬਰਾਬਰੀ 'ਤੇ Allow ਜਿੱਤਦਾ ਹੈ।
ਕੀ robots.txt case-sensitive ਹੈ?
ਕੁਝ ਹੱਦ ਤੱਕ। User-agent ਦੀ ਵੈਲਿਊ ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦਾ ਫ਼ਰਕ ਦੇਖੇ ਬਿਨਾਂ ਮਿਲਾਈ ਜਾਂਦੀ ਹੈ, ਇਸ ਲਈ gptbot ਅਤੇ GPTBot ਇੱਕੋ ਗਰੁੱਪ ਦਰਸਾਉਂਦੇ ਹਨ। Paths case-sensitive ਹਨ, ਇਸ ਲਈ Disallow: /Private/ /private/ ਨੂੰ ਬਲੌਕ ਨਹੀਂ ਕਰਦਾ।
robots.txt validator ਕੀ ਜਾਂਚਦਾ ਹੈ?
validator ਜਾਂਚਦਾ ਹੈ ਕਿ ਫਾਈਲ ਤੱਕ ਪਹੁੰਚ ਹੈ, ਟੈਕਸਟ ਵਜੋਂ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਵੈਧ syntax ਵਿੱਚ ਲਿਖੀ ਹੈ। tester ਇੱਕ ਕਦਮ ਅੱਗੇ ਜਾ ਕੇ ਖ਼ਾਸ URL ਅਤੇ ਕ੍ਰੌਲਰ ਲਈ ਫ਼ੈਸਲਾ ਦਿੰਦਾ ਹੈ। ਆਮ ਤੌਰ 'ਤੇ ਦੋਵੇਂ ਚਾਹੀਦੇ ਹਨ, ਕਿਉਂਕਿ ਵੈਧ ਫਾਈਲ ਵੀ ਉਸ ਪੰਨੇ ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ ਜਿਸਦੀ ਤੁਸੀਂ ਇਜਾਜ਼ਤ ਦੇਣੀ ਚਾਹੁੰਦੇ ਸੀ।
ਜੇ ਕ੍ਰੌਲਰ ਦਾ ਆਪਣਾ ਗਰੁੱਪ ਹੈ, ਤਾਂ ਕੀ ਉਹ ਫਿਰ ਵੀ User-agent: * ਮੰਨਦਾ ਹੈ?
ਨਹੀਂ। ਨਾਮ ਵਾਲਾ ਗਰੁੱਪ ਉਸ ਕ੍ਰੌਲਰ ਲਈ * ਗਰੁੱਪ ਦੀ ਪੂਰੀ ਥਾਂ ਲੈ ਲੈਂਦਾ ਹੈ। ਜੋ ਨਿਯਮ ਸਭ 'ਤੇ ਲਾਗੂ ਕਰਨਾ ਹੈ, ਉਹ ਹਰ ਨਾਮ ਵਾਲੇ ਗਰੁੱਪ ਵਿੱਚ ਦੁਹਰਾਉਣਾ ਪਵੇਗਾ।
ਸਰੋਤ
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py