ਕਿਸੇ URL ਅਤੇ ਖ਼ਾਸ ਕ੍ਰੌਲਰ ਲਈ robots.txt ਨਿਯਮ ਕਿਵੇਂ ਟੈਸਟ ਕਰੀਏ?

ਪ੍ਰਕਾਸ਼ਿਤ

ਛੋਟਾ ਜਵਾਬ

ਇੱਕ ਕ੍ਰੌਲਰ ਲਈ URL ਟੈਸਟ ਕਰਨ ਲਈ, ਉਹ ਗਰੁੱਪ ਲੱਭੋ ਜੋ ਕ੍ਰੌਲਰ ਦੇ ਟੋਕਨ ਦਾ ਨਾਮ ਲੈਂਦਾ ਹੈ (ਜੇ ਕੋਈ ਨਹੀਂ ਤਾਂ User-agent: *), ਉਸ ਵਿੱਚੋਂ URL path ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਸਾਰੇ Allow ਅਤੇ Disallow ਨਿਯਮ ਇਕੱਠੇ ਕਰੋ, ਅਤੇ ਸਭ ਤੋਂ ਲੰਬਾ ਲਾਗੂ ਕਰੋ; ਬਰਾਬਰੀ 'ਤੇ Allow ਜਿੱਤਦਾ ਹੈ। ਇਹ ਤੁਸੀਂ ਹੱਥੀਂ, Google ਦੇ open-source parser ਨਾਲ, ਜਾਂ ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਫ਼ੈਸਲਾ ਦਿਖਾਉਣ ਵਾਲੇ checker ਨਾਲ ਕਰ ਸਕਦੇ ਹੋ। Search Console ਵਿਚਲਾ Google ਦਾ ਪੁਰਾਣਾ robots.txt Tester ਹੁਣ ਨਹੀਂ ਹੈ, ਅਤੇ ਉਸਦੀ ਥਾਂ ਆਈ robots.txt ਰਿਪੋਰਟ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ Google ਨੇ ਕੀ ਲਿਆਂਦਾ, ਕਿਸੇ URL ਲਈ ਫ਼ੈਸਲਾ ਨਹੀਂ।

robots.txt ਫਾਈਲ ਉਦੋਂ ਤੱਕ ਸੌਖੀ ਲੱਗਦੀ ਹੈ ਜਦੋਂ ਤੱਕ ਪੱਕਾ ਜਵਾਬ ਨਾ ਚਾਹੀਦਾ ਹੋਵੇ: ਕੀ GPTBot ਇਹ ਪੰਨਾ ਲਿਆ ਸਕਦਾ ਹੈ, ਅਤੇ ਕੀ OAI-SearchBot? ਜਵਾਬ ਇਸ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਕਿਹੜਾ ਗਰੁੱਪ ਚੁਣਦਾ ਹੈ ਅਤੇ ਉਸ ਗਰੁੱਪ ਵਿੱਚ ਕਿਹੜਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ, ਅਤੇ ਦੋਵਾਂ ਕਦਮਾਂ ਵਿੱਚ ਗ਼ਲਤੀ ਸੌਖੀ ਹੈ। ਇੱਥੇ RFC 9309 ਹੇਠ ਮੇਲ ਕਿਵੇਂ ਹੁੰਦਾ ਹੈ, ਚਾਰ ਹੱਲ ਕੀਤੀਆਂ ਮਿਸਾਲਾਂ, ਅਤੇ ਫਾਈਲ ਖ਼ੁਦ ਟੈਸਟ ਕਰਨ ਦੇ ਤਿੰਨ ਤਰੀਕੇ ਹਨ।

ਇਸ ਪੰਨੇ 'ਤੇ
  1. Google Search Console ਵਿਚਲੇ robots.txt Tester ਨੂੰ ਕੀ ਹੋਇਆ?
  2. ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ URL ਦੀ ਇਜਾਜ਼ਤ ਹੈ?
  3. ਕੀ robots.txt ਟੈਸਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਕਦਮ-ਦਰ-ਕਦਮ ਦਿਖਾ ਸਕਦੇ ਹੋ?
  4. Google ਦਾ open-source robots.txt parser ਕਿਵੇਂ ਚਲਾਈਏ?
  5. ਕੀ ਮੈਂ Python ਦੇ urllib.robotparser ਨਾਲ robots.txt ਟੈਸਟ ਕਰ ਸਕਦਾ ਹਾਂ?
  6. robots.txt ਟੈਸਟ ਪਾਸ ਹੋਣ ਦੇ ਬਾਵਜੂਦ ਕ੍ਰੌਲਰ ਕਿਉਂ ਬਲੌਕ ਹੈ?
  7. ਸਾਰੇ AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt ਇੱਕੋ ਵਾਰ ਕਿਵੇਂ ਜਾਂਚਾਂ?

Google Search Console ਵਿਚਲੇ robots.txt Tester ਨੂੰ ਕੀ ਹੋਇਆ?

ਨਵੰਬਰ 2023 ਵਿੱਚ Google ਨੇ Search Console ਵਿੱਚ robots.txt ਰਿਪੋਰਟ ਜੋੜੀ ਅਤੇ ਕਿਹਾ ਕਿ ਉਹ robots.txt tester ਬੰਦ ਕਰ ਰਿਹਾ ਹੈ। ਰਿਪੋਰਟ Settings ਹੇਠ ਹੈ ਅਤੇ ਸਿਰਫ਼ Google ਦੇ ਕ੍ਰੌਲਰ ਕਵਰ ਕਰਦੀ ਹੈ। ਇਹ ਦਿਖਾਉਂਦੀ ਹੈ:

ਰਿਪੋਰਟ ਕੋਈ URL ਲੈ ਕੇ allowed ਜਾਂ blocked ਨਹੀਂ ਦੱਸਦੀ। Googlebot ਲਈ ਇੱਕ URL ਜਾਂਚਣ ਲਈ Google URL Inspection ਟੂਲ ਵੱਲ, ਅਤੇ ਸਥਾਨਕ ਟੈਸਟਿੰਗ ਲਈ ਆਪਣੀ open-source robots.txt ਲਾਇਬ੍ਰੇਰੀ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ। ਦੋਵਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ GPTBot ਜਾਂ ClaudeBot ਵਰਗੇ AI ਕ੍ਰੌਲਰਾਂ ਬਾਰੇ ਕੁਝ ਨਹੀਂ ਦੱਸਦਾ।

ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ URL ਦੀ ਇਜਾਜ਼ਤ ਹੈ?

RFC 9309, ਯਾਨੀ Robots Exclusion Protocol, ਮੇਲ ਦਾ ਤਰੀਕਾ ਤੈਅ ਕਰਦਾ ਹੈ। Google ਆਪਣੇ ਕ੍ਰੌਲਰਾਂ ਲਈ ਇਹੀ ਵਿਹਾਰ ਦਰਜ ਕਰਦਾ ਹੈ।

robots.txt ਦਾ response code ਉਸਦੇ ਨਿਯਮਾਂ ਜਿੰਨਾ ਹੀ ਅਹਿਮ ਹੈ। 4xx ਜਵਾਬ ਦਾ ਮਤਲਬ ਹੈ ਕ੍ਰੌਲਰ ਸਭ ਕੁਝ ਲਿਆ ਸਕਦਾ ਹੈ; Google 429 ਤੋਂ ਇਲਾਵਾ ਹਰ 4xx ਨੂੰ ਇਸ ਤਰ੍ਹਾਂ ਮੰਨਦਾ ਹੈ ਜਿਵੇਂ ਫਾਈਲ ਹੈ ਹੀ ਨਹੀਂ। 5xx ਜਵਾਬ ਦਾ ਮਤਲਬ ਹੈ ਕ੍ਰੌਲਰ ਨੂੰ ਮੰਨਣਾ ਪਵੇਗਾ ਕਿ ਪੂਰੀ ਸਾਈਟ ਮਨ੍ਹਾ ਹੈ। Google ਪਹਿਲੇ 12 ਘੰਟੇ ਕ੍ਰੌਲ ਕਰਨਾ ਰੋਕਦਾ ਹੈ, ਫਿਰ 30 ਦਿਨਾਂ ਤੱਕ ਆਖ਼ਰੀ ਠੀਕ ਕਾਪੀ ਵਰਤਦਾ ਹੈ। RFC 9309 ਮੰਗਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਘੱਟੋ-ਘੱਟ 500 KiB ਪਾਰਸ ਕਰਨ, ਅਤੇ Google 500 KiB ਤੋਂ ਬਾਅਦ ਦਾ ਸਭ ਕੁਝ ਅਣਡਿੱਠਾ ਕਰਦਾ ਹੈ।

ਕੀ robots.txt ਟੈਸਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਕਦਮ-ਦਰ-ਕਦਮ ਦਿਖਾ ਸਕਦੇ ਹੋ?

ਇਹ ਇੱਕ ਛੋਟੀ robots.txt ਹੈ ਜਿਸ ਵਿੱਚ ਇੱਕ ਡਿਫਾਲਟ ਗਰੁੱਪ ਅਤੇ ਦੋ ਨਾਮ ਵਾਲੇ AI ਕ੍ਰੌਲਰ ਹਨ:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

ਬਰਾਬਰੀ ਘੱਟ ਹੁੰਦੀ ਹੈ ਪਰ ਉਹੀ ਤਰਕ ਮੰਨਦੀ ਹੈ। Google ਦੇ ਦਸਤਾਵੇਜ਼ URL /folder/page ਲਈ allow: /folder ਅਤੇ disallow: /folder ਦੀ ਮਿਸਾਲ ਦਿੰਦੇ ਹਨ: ਦੋਵੇਂ ਬਰਾਬਰ ਲੰਬੇ ਹਨ, ਇਸ ਲਈ URL ਦੀ ਇਜਾਜ਼ਤ ਹੈ।

Google ਦਾ open-source robots.txt parser ਕਿਵੇਂ ਚਲਾਈਏ?

Google ਉਹ C++ ਲਾਇਬ੍ਰੇਰੀ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਜੋ ਉਹ production ਵਿੱਚ robots.txt ਨਿਯਮਾਂ ਦੇ ਮੇਲ ਲਈ ਵਰਤਦਾ ਹੈ, ਨਾਲ ਇੱਕ ਛੋਟਾ command-line ਪ੍ਰੋਗਰਾਮ ਜੋ ਸਥਾਨਕ ਫਾਈਲ ਦੇ ਵਿਰੁੱਧ ਇੱਕ URL ਅਤੇ ਇੱਕ ਯੂਜ਼ਰ ਏਜੰਟ ਟੈਸਟ ਕਰਦਾ ਹੈ। Bazel ਇੰਸਟਾਲ ਹੋਵੇ ਤਾਂ:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

repository ਵਿੱਚ CMake build ਦਾ ਤਰੀਕਾ ਵੀ ਹੈ, ਜੋ ਉਨ੍ਹਾਂ ਹੀ arguments ਨਾਲ robots ਨਾਮ ਦੀ binary ਬਣਾਉਂਦਾ ਹੈ। ਟੂਲ ਸਿਰਫ਼ ਪਾਰਸ ਅਤੇ ਮੇਲ ਕਰਦਾ ਹੈ; ਇਹ robots.txt ਡਾਊਨਲੋਡ ਨਹੀਂ ਕਰਦਾ, ਇਸ ਲਈ ਪਹਿਲਾਂ ਲਾਈਵ ਫਾਈਲ ਸੇਵ ਕਰੋ। ਇਸਦਾ README ਇਹ ਵੀ ਦੱਸਦਾ ਹੈ ਕਿ ਪਾਰਸ ਅਤੇ ਮੇਲ ਤੋਂ ਬਾਹਰ ਕ੍ਰੌਲਰ-ਵਿਸ਼ੇਸ਼ ਵਿਹਾਰ ਲਾਇਬ੍ਰੇਰੀ ਦਾ ਹਿੱਸਾ ਨਹੀਂ।

ਕੀ ਮੈਂ Python ਦੇ urllib.robotparser ਨਾਲ robots.txt ਟੈਸਟ ਕਰ ਸਕਦਾ ਹਾਂ?

Python ਦੀ standard library ਵਿੱਚ ਇੱਕ parser ਹੈ ਜੋ ਯੂਜ਼ਰ ਏਜੰਟ ਅਤੇ URL ਲਈ allowed ਜਾਂ blocked ਦੱਸਦਾ ਹੈ। ਇਹ ਸਕ੍ਰਿਪਟ ਉੱਪਰਲੀ ਮਿਸਾਲ ਟੈਸਟ ਕਰਦੀ ਹੈ:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

ਨਤੀਜੇ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਆਪਣਾ Python ਸੰਸਕਰਣ ਜਾਂਚੋ। RFC 9309 ਮੇਲ ਦਾ ਸਮਰਥਨ 2026 ਵਿੱਚ CPython ਵਿੱਚ ਜੋੜਿਆ ਗਿਆ ਅਤੇ ਪਹਿਲੀ ਵਾਰ Python 3.13.14 ਅਤੇ 3.14.5 ਵਿੱਚ ਆਇਆ। ਪੁਰਾਣੇ ਸੰਸਕਰਣ, 3.12 ਅਤੇ ਉਸ ਤੋਂ ਪਹਿਲਾਂ ਦੇ ਸਾਰੇ ਸਮੇਤ, ਸਭ ਤੋਂ ਲੰਬਾ ਨਹੀਂ, ਫਾਈਲ ਦੇ ਕ੍ਰਮ ਵਿੱਚ ਪਹਿਲਾ ਮੇਲ ਖਾਂਦਾ ਨਿਯਮ ਲਾਗੂ ਕਰਦੇ ਹਨ, ਅਤੇ paths ਵਿੱਚ * ਜਾਂ $ ਨਹੀਂ ਸਮਝਦੇ। ਉਨ੍ਹਾਂ ਸੰਸਕਰਣਾਂ 'ਤੇ ਸਕ੍ਰਿਪਟ ਪਹਿਲਾ ਅਤੇ ਚੌਥਾ ਟੈਸਟ ਉਲਟਾ ਦੱਸਦੀ ਹੈ: Googlebot /search/help/billing ਤੋਂ ਬਲੌਕ ਅਤੇ OAI-SearchBot ਨੂੰ PDF ਲਿਆਉਣ ਦੀ ਇਜਾਜ਼ਤ।

ਦੋ ਹੋਰ ਫ਼ਰਕ ਹਰ ਸੰਸਕਰਣ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ। RobotFileParser.read() robots.txt ਲਈ 401 ਜਾਂ 403 ਜਵਾਬ ਨੂੰ ਸਭ ਕੁਝ ਮਨ੍ਹਾ ਮੰਨਦਾ ਹੈ, ਜਦਕਿ RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ 4xx ਦਾ ਮਤਲਬ ਹੈ ਸਭ ਕੁਝ ਲਿਆਂਦਾ ਜਾ ਸਕਦਾ ਹੈ। ਅਤੇ read() ਫਾਈਲ ਨੂੰ Python ਦੇ ਡਿਫਾਲਟ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਡਾਊਨਲੋਡ ਕਰਦਾ ਹੈ, ਜਿਸਨੂੰ ਕੁਝ ਫਾਇਰਵਾਲ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਟੈਸਟ ਤੁਹਾਡੇ ਨਿਯਮਾਂ ਨਾਲ ਅਸੰਬੰਧਿਤ ਕਾਰਨਾਂ ਕਰਕੇ blocked ਦੱਸ ਸਕਦਾ ਹੈ। ਉੱਪਰ ਵਾਂਗ ਫਾਈਲ ਖ਼ੁਦ ਲਿਆ ਕੇ parse() ਨੂੰ ਦੇਣ ਨਾਲ ਦੋਵਾਂ ਤੋਂ ਬਚਾਅ ਹੁੰਦਾ ਹੈ।

robots.txt ਟੈਸਟ ਪਾਸ ਹੋਣ ਦੇ ਬਾਵਜੂਦ ਕ੍ਰੌਲਰ ਕਿਉਂ ਬਲੌਕ ਹੈ?

tester ਇੱਕ ਸਵਾਲ ਦਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ: ਕੀ ਨਿਯਮ ਇਸ URL ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ? ਕਈ ਚੀਜ਼ਾਂ ਉਸ ਜਵਾਬ ਤੋਂ ਬਾਹਰ ਹਨ:

ਸਾਰੇ AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt ਇੱਕੋ ਵਾਰ ਕਿਵੇਂ ਜਾਂਚਾਂ?

ਮੁਫ਼ਤ AISeeWhy robots.txt ਜਾਂਚ ਟੂਲ ਪੰਨੇ ਦਾ ਪਤਾ ਜਾਂ ਪੇਸਟ ਕੀਤੀ robots.txt ਲੈਂਦਾ ਹੈ ਅਤੇ ਹਰ AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰ ਲਈ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਉਹ ਪੰਨਾ ਲਿਆਂਦਾ ਜਾ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ। ਮੁਫ਼ਤ robots.txt ਜਨਰੇਟਰ ਤੁਹਾਡੀਆਂ ਚੋਣਾਂ ਤੋਂ ਫਾਈਲ ਲਿਖਦਾ ਹੈ, ਅਤੇ ਮੁਫ਼ਤ ਜਾਂਚ ਪੰਨੇ ਨੂੰ 16 ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਲਿਆ ਕੇ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਕੀ ਫਾਇਰਵਾਲ ਉਹ ਬਲੌਕ ਕਰਦੀ ਹੈ ਜਿਸਦੀ robots.txt ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ।

ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ Google Search Console ਵਿੱਚ ਹਾਲੇ ਵੀ robots.txt tester ਹੈ?

ਨਹੀਂ। Google ਨੇ ਨਵੰਬਰ 2023 ਵਿੱਚ ਇਸਦੀ ਥਾਂ robots.txt ਰਿਪੋਰਟ ਲਿਆਂਦੀ, ਜੋ Google ਵੱਲੋਂ ਲਿਆਂਦੀਆਂ ਫਾਈਲਾਂ, ਉਨ੍ਹਾਂ ਦੀ ਸਥਿਤੀ ਅਤੇ errors ਦਿਖਾਉਂਦੀ ਹੈ। ਇਹ ਜਾਂਚਣ ਲਈ ਕਿ Googlebot ਕੋਈ ਖ਼ਾਸ URL ਕ੍ਰੌਲ ਕਰ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ, URL Inspection ਟੂਲ ਵਰਤੋ।

ਕੀ robots.txt ਵਿੱਚ Allow, Disallow ਨੂੰ ਮਾਤ ਦਿੰਦਾ ਹੈ?

ਸਿਰਫ਼ ਜਦੋਂ Allow ਨਿਯਮ ਲੰਬਾ ਹੋਵੇ, ਜਾਂ ਬਿਲਕੁਲ ਬਰਾਬਰ ਲੰਬਾ। ਸਭ ਤੋਂ ਲੰਬੇ ਮੇਲ ਖਾਂਦੇ path ਵਾਲਾ ਨਿਯਮ ਜਿੱਤਦਾ ਹੈ, ਚਾਹੇ ਕਿਸੇ ਵੀ ਕਿਸਮ ਦਾ ਹੋਵੇ, ਅਤੇ ਬਰਾਬਰੀ 'ਤੇ Allow ਜਿੱਤਦਾ ਹੈ।

ਕੀ robots.txt case-sensitive ਹੈ?

ਕੁਝ ਹੱਦ ਤੱਕ। User-agent ਦੀ ਵੈਲਿਊ ਵੱਡੇ-ਛੋਟੇ ਅੱਖਰਾਂ ਦਾ ਫ਼ਰਕ ਦੇਖੇ ਬਿਨਾਂ ਮਿਲਾਈ ਜਾਂਦੀ ਹੈ, ਇਸ ਲਈ gptbot ਅਤੇ GPTBot ਇੱਕੋ ਗਰੁੱਪ ਦਰਸਾਉਂਦੇ ਹਨ। Paths case-sensitive ਹਨ, ਇਸ ਲਈ Disallow: /Private/ /private/ ਨੂੰ ਬਲੌਕ ਨਹੀਂ ਕਰਦਾ।

robots.txt validator ਕੀ ਜਾਂਚਦਾ ਹੈ?

validator ਜਾਂਚਦਾ ਹੈ ਕਿ ਫਾਈਲ ਤੱਕ ਪਹੁੰਚ ਹੈ, ਟੈਕਸਟ ਵਜੋਂ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ ਵੈਧ syntax ਵਿੱਚ ਲਿਖੀ ਹੈ। tester ਇੱਕ ਕਦਮ ਅੱਗੇ ਜਾ ਕੇ ਖ਼ਾਸ URL ਅਤੇ ਕ੍ਰੌਲਰ ਲਈ ਫ਼ੈਸਲਾ ਦਿੰਦਾ ਹੈ। ਆਮ ਤੌਰ 'ਤੇ ਦੋਵੇਂ ਚਾਹੀਦੇ ਹਨ, ਕਿਉਂਕਿ ਵੈਧ ਫਾਈਲ ਵੀ ਉਸ ਪੰਨੇ ਨੂੰ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ ਜਿਸਦੀ ਤੁਸੀਂ ਇਜਾਜ਼ਤ ਦੇਣੀ ਚਾਹੁੰਦੇ ਸੀ।

ਜੇ ਕ੍ਰੌਲਰ ਦਾ ਆਪਣਾ ਗਰੁੱਪ ਹੈ, ਤਾਂ ਕੀ ਉਹ ਫਿਰ ਵੀ User-agent: * ਮੰਨਦਾ ਹੈ?

ਨਹੀਂ। ਨਾਮ ਵਾਲਾ ਗਰੁੱਪ ਉਸ ਕ੍ਰੌਲਰ ਲਈ * ਗਰੁੱਪ ਦੀ ਪੂਰੀ ਥਾਂ ਲੈ ਲੈਂਦਾ ਹੈ। ਜੋ ਨਿਯਮ ਸਭ 'ਤੇ ਲਾਗੂ ਕਰਨਾ ਹੈ, ਉਹ ਹਰ ਨਾਮ ਵਾਲੇ ਗਰੁੱਪ ਵਿੱਚ ਦੁਹਰਾਉਣਾ ਪਵੇਗਾ।

ਸਰੋਤ

ਹੋਰ ਲੇਖ