ಒಂದು URL ಮತ್ತು ನಿರ್ದಿಷ್ಟ ಕ್ರಾಲರ್‌ಗೆ robots.txt ನಿಯಮಗಳನ್ನು ಹೇಗೆ ಪರೀಕ್ಷಿಸುವುದು?

ಪ್ರಕಟಿಸಲಾಗಿದೆ

ಚಿಕ್ಕ ಉತ್ತರ

ಒಂದು ಕ್ರಾಲರ್‌ಗೆ URL ಪರೀಕ್ಷಿಸಲು, ಆ ಕ್ರಾಲರ್‌ನ ಟೋಕನ್ ಹೆಸರಿಸುವ ಗುಂಪನ್ನು ಹುಡುಕಿ (ಯಾವುದೂ ಹೆಸರಿಸದಿದ್ದರೆ User-agent: *), ಅದರಲ್ಲಿ URL ಪಾತ್‌ಗೆ ಹೊಂದುವ ಎಲ್ಲ Allow ಮತ್ತು Disallow ನಿಯಮಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ, ಮತ್ತು ಅತಿ ಉದ್ದದ್ದನ್ನು ಅನ್ವಯಿಸಿ; ಸಮಬಲವಾದರೆ Allow ಗೆಲ್ಲುತ್ತದೆ. ಇದನ್ನು ಕೈಯಾರೆ, Google ನ ಓಪನ್ ಸೋರ್ಸ್ ಪಾರ್ಸರ್‌ನೊಂದಿಗೆ, ಅಥವಾ ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ತೀರ್ಪು ತೋರಿಸುವ ಪರಿಶೀಲಕದೊಂದಿಗೆ ಮಾಡಬಹುದು. Search Console ನ ಹಳೆಯ robots.txt Tester ಈಗಿಲ್ಲ, ಮತ್ತು ಅದರ ಬದಲಿಗೆ ಬಂದ robots.txt ವರದಿ Google ಏನು ಪಡೆಯಿತು ಎಂದು ತೋರಿಸುತ್ತದೆ, URL ಗೆ ತೀರ್ಪು ಅಲ್ಲ.

ಖಚಿತ ಉತ್ತರ ಬೇಕಾಗುವವರೆಗೆ robots.txt ಫೈಲ್ ಸರಳವಾಗಿ ಕಾಣುತ್ತದೆ: GPTBot ಈ ಪುಟವನ್ನು ಪಡೆಯಬಹುದೇ, ಮತ್ತು OAI-SearchBot? ಉತ್ತರ ಕ್ರಾಲರ್ ಯಾವ ಗುಂಪನ್ನು ಆರಿಸುತ್ತದೆ ಮತ್ತು ಆ ಗುಂಪಿನಲ್ಲಿ ಯಾವ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ ಎಂಬುದರ ಮೇಲೆ ಅವಲಂಬಿತ, ಮತ್ತು ಎರಡೂ ಹಂತಗಳಲ್ಲಿ ತಪ್ಪಾಗುವುದು ಸುಲಭ. RFC 9309 ಪ್ರಕಾರ ಹೊಂದಾಣಿಕೆ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ, ನಾಲ್ಕು ಉದಾಹರಣೆಗಳು, ಮತ್ತು ಫೈಲ್ ಅನ್ನು ನೀವೇ ಪರೀಕ್ಷಿಸುವ ಮೂರು ಮಾರ್ಗಗಳು ಇಲ್ಲಿವೆ.

ಈ ಪುಟದಲ್ಲಿ
  1. Google Search Console ನ robots.txt Tester ಗೆ ಏನಾಯಿತು?
  2. URL ಅನುಮತಿಸಲ್ಪಟ್ಟಿದೆಯೇ ಎಂದು ಕ್ರಾಲರ್ ಹೇಗೆ ನಿರ್ಧರಿಸುತ್ತದೆ?
  3. robots.txt ಪರೀಕ್ಷೆಯ ಒಂದು ಉದಾಹರಣೆ ತೋರಿಸಬಹುದೇ?
  4. Google ನ ಓಪನ್ ಸೋರ್ಸ್ robots.txt ಪಾರ್ಸರ್ ಹೇಗೆ ಚಲಾಯಿಸುವುದು?
  5. Python ನ urllib.robotparser ನಿಂದ robots.txt ಪರೀಕ್ಷಿಸಬಹುದೇ?
  6. robots.txt ಪರೀಕ್ಷೆ ಸರಿ ಎಂದರೂ ಕ್ರಾಲರ್ ಏಕೆ ಇನ್ನೂ ತಡೆಯಲ್ಪಡುತ್ತದೆ?
  7. ಎಲ್ಲ AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ robots.txt ಅನ್ನು ಒಮ್ಮೆಲೇ ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?

Google Search Console ನ robots.txt Tester ಗೆ ಏನಾಯಿತು?

ನವೆಂಬರ್ 2023 ರಲ್ಲಿ Google, Search Console ಗೆ robots.txt ವರದಿಯನ್ನು ಸೇರಿಸಿತು ಮತ್ತು robots.txt tester ಅನ್ನು ನಿಲ್ಲಿಸುತ್ತಿರುವುದಾಗಿ ಹೇಳಿತು. ವರದಿ Settings ಅಡಿಯಲ್ಲಿದೆ ಮತ್ತು Google ನ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಮಾತ್ರ ಒಳಗೊಳ್ಳುತ್ತದೆ. ಅದು ತೋರಿಸುವುದು:

ವರದಿ URL ತೆಗೆದುಕೊಂಡು ಅನುಮತಿ ಅಥವಾ ತಡೆ ಎಂದು ಉತ್ತರಿಸುವುದಿಲ್ಲ. Googlebot ಗೆ ಒಂದು URL ಪರಿಶೀಲಿಸಲು Google, URL Inspection ಉಪಕರಣವನ್ನು ಸೂಚಿಸುತ್ತದೆ, ಮತ್ತು ಸ್ಥಳೀಯ ಪರೀಕ್ಷೆಗೆ ತನ್ನ ಓಪನ್ ಸೋರ್ಸ್ robots.txt ಲೈಬ್ರರಿಯನ್ನು. ಇವೆರಡೂ GPTBot ಅಥವಾ ClaudeBot ನಂತಹ AI ಕ್ರಾಲರ್‌ಗಳ ಬಗ್ಗೆ ಏನನ್ನೂ ಹೇಳುವುದಿಲ್ಲ.

URL ಅನುಮತಿಸಲ್ಪಟ್ಟಿದೆಯೇ ಎಂದು ಕ್ರಾಲರ್ ಹೇಗೆ ನಿರ್ಧರಿಸುತ್ತದೆ?

ಹೊಂದಾಣಿಕೆಯನ್ನು RFC 9309, ಅಂದರೆ Robots Exclusion Protocol, ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ. Google ತನ್ನ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಇದೇ ವರ್ತನೆಯನ್ನು ದಾಖಲಿಸಿದೆ.

robots.txt ನ ಪ್ರತಿಕ್ರಿಯೆ ಕೋಡ್ ಅದರ ನಿಯಮಗಳಷ್ಟೇ ಮುಖ್ಯ. 4xx ಪ್ರತಿಕ್ರಿಯೆ ಎಂದರೆ ಕ್ರಾಲರ್ ಎಲ್ಲವನ್ನೂ ಪಡೆಯಬಹುದು; 429 ಹೊರತುಪಡಿಸಿ ಪ್ರತಿ 4xx ಅನ್ನು Google ಫೈಲ್ ಇಲ್ಲದಂತೆ ಪರಿಗಣಿಸುತ್ತದೆ. 5xx ಪ್ರತಿಕ್ರಿಯೆ ಎಂದರೆ ಇಡೀ ಸೈಟ್ ನಿಷೇಧಿತ ಎಂದು ಕ್ರಾಲರ್ ಭಾವಿಸಬೇಕು. Google ಮೊದಲ 12 ಗಂಟೆ ಕ್ರಾಲ್ ನಿಲ್ಲಿಸುತ್ತದೆ, ನಂತರ 30 ದಿನಗಳವರೆಗೆ ಕೊನೆಯ ಸರಿಯಾದ ಪ್ರತಿಯನ್ನು ಬಳಸುತ್ತದೆ. ಕ್ರಾಲರ್‌ಗಳು ಕನಿಷ್ಠ 500 KiB ಪಾರ್ಸ್ ಮಾಡಬೇಕೆಂದು RFC 9309 ಕೇಳುತ್ತದೆ, ಮತ್ತು Google 500 KiB ನಂತರದ ಎಲ್ಲವನ್ನೂ ಕಡೆಗಣಿಸುತ್ತದೆ.

robots.txt ಪರೀಕ್ಷೆಯ ಒಂದು ಉದಾಹರಣೆ ತೋರಿಸಬಹುದೇ?

ಡೀಫಾಲ್ಟ್ ಗುಂಪು ಮತ್ತು ಹೆಸರಿಸಿದ ಎರಡು AI ಕ್ರಾಲರ್‌ಗಳಿರುವ ಸಣ್ಣ robots.txt ಇಲ್ಲಿದೆ:

User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$

ಸಮಬಲಗಳು ಅಪರೂಪ, ಆದರೆ ಅದೇ ತರ್ಕ ಅನ್ವಯಿಸುತ್ತದೆ. Google ನ ದಾಖಲೆ URL /folder/page ಗೆ allow: /folder ಮತ್ತು disallow: /folder ಉದಾಹರಣೆ ನೀಡುತ್ತದೆ: ಎರಡೂ ಸಮಾನ ಉದ್ದ, ಆದ್ದರಿಂದ URL ಅನುಮತಿಸಲ್ಪಡುತ್ತದೆ.

Google ನ ಓಪನ್ ಸೋರ್ಸ್ robots.txt ಪಾರ್ಸರ್ ಹೇಗೆ ಚಲಾಯಿಸುವುದು?

robots.txt ನಿಯಮಗಳ ಹೊಂದಾಣಿಕೆಗೆ ಉತ್ಪಾದನೆಯಲ್ಲಿ ಬಳಸುವ C++ ಲೈಬ್ರರಿಯನ್ನು Google ಪ್ರಕಟಿಸುತ್ತದೆ, ಜೊತೆಗೆ ಸ್ಥಳೀಯ ಫೈಲ್ ವಿರುದ್ಧ ಒಂದು URL ಮತ್ತು ಒಂದು user agent ಪರೀಕ್ಷಿಸುವ ಸಣ್ಣ ಕಮಾಂಡ್ ಲೈನ್ ಪ್ರೋಗ್ರಾಂ. Bazel ಸ್ಥಾಪಿಸಿದ್ದರೆ:

git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed

ರೆಪೊಸಿಟರಿ CMake ಬಿಲ್ಡ್ ಅನ್ನೂ ದಾಖಲಿಸುತ್ತದೆ, ಅದು ಅದೇ ಆರ್ಗ್ಯುಮೆಂಟ್‌ಗಳಿರುವ robots ಎಂಬ ಬೈನರಿ ತಯಾರಿಸುತ್ತದೆ. ಉಪಕರಣ ಪಾರ್ಸ್ ಮತ್ತು ಹೊಂದಾಣಿಕೆ ಮಾತ್ರ ಮಾಡುತ್ತದೆ; ಅದು robots.txt ಡೌನ್‌ಲೋಡ್ ಮಾಡುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಮೊದಲು ಲೈವ್ ಫೈಲ್ ಉಳಿಸಿ. ಪಾರ್ಸಿಂಗ್ ಮತ್ತು ಹೊಂದಾಣಿಕೆಯ ಹೊರಗಿನ ಕ್ರಾಲರ್-ನಿರ್ದಿಷ್ಟ ವರ್ತನೆ ಲೈಬ್ರರಿಯ ಭಾಗವಲ್ಲ ಎಂದೂ ಅದರ README ಹೇಳುತ್ತದೆ.

Python ನ urllib.robotparser ನಿಂದ robots.txt ಪರೀಕ್ಷಿಸಬಹುದೇ?

Python ನ ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಲೈಬ್ರರಿಯಲ್ಲಿ user agent ಮತ್ತು URL ಗೆ ಅನುಮತಿ ಅಥವಾ ತಡೆ ಎಂದು ಉತ್ತರಿಸುವ ಪಾರ್ಸರ್ ಇದೆ. ಈ ಸ್ಕ್ರಿಪ್ಟ್ ಮೇಲಿನ ಉದಾಹರಣೆಯನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ:

from urllib.robotparser import RobotFileParser

# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""

tests = [
    ("Googlebot", "https://example.com/search/help/billing"),
    ("GPTBot", "https://example.com/blog/post"),
    ("OAI-SearchBot", "https://example.com/admin/settings"),
    ("OAI-SearchBot", "https://example.com/files/report.pdf"),
]

rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
    print(f"{agent:15} {url}  ->", "allowed" if rp.can_fetch(agent, url) else "blocked")

ಫಲಿತಾಂಶ ನಂಬುವ ಮೊದಲು ನಿಮ್ಮ Python ಆವೃತ್ತಿ ಪರಿಶೀಲಿಸಿ. RFC 9309 ಹೊಂದಾಣಿಕೆಯ ಬೆಂಬಲ CPython ಗೆ 2026 ರಲ್ಲಿ ಸೇರಿತು ಮತ್ತು ಮೊದಲು Python 3.13.14 ಮತ್ತು 3.14.5 ನಲ್ಲಿ ಬಂತು. 3.12 ಮತ್ತು ಅದಕ್ಕಿಂತ ಹಿಂದಿನ ಎಲ್ಲ ಸೇರಿದಂತೆ ಹಳೆಯ ಬಿಡುಗಡೆಗಳು ಅತಿ ಉದ್ದದ ನಿಯಮವಲ್ಲ, ಫೈಲ್ ಕ್ರಮದಲ್ಲಿ ಹೊಂದುವ ಮೊದಲ ನಿಯಮವನ್ನು ಅನ್ವಯಿಸುತ್ತವೆ, ಮತ್ತು ಪಾತ್‌ಗಳೊಳಗಿನ * ಅಥವಾ $ ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದಿಲ್ಲ. ಆ ಆವೃತ್ತಿಗಳಲ್ಲಿ ಸ್ಕ್ರಿಪ್ಟ್ ಮೊದಲ ಮತ್ತು ನಾಲ್ಕನೇ ಪರೀಕ್ಷೆಗಳನ್ನು ತಲೆಕೆಳಗಾಗಿ ವರದಿ ಮಾಡುತ್ತದೆ: Googlebot ಗೆ /search/help/billing ತಡೆ, ಮತ್ತು OAI-SearchBot ಗೆ PDF ಪಡೆಯಲು ಅನುಮತಿ.

ಎಲ್ಲ ಆವೃತ್ತಿಗಳಿಗೂ ಇನ್ನೂ ಎರಡು ವ್ಯತ್ಯಾಸಗಳು ಅನ್ವಯಿಸುತ್ತವೆ. RobotFileParser.read() robots.txt ಗೆ 401 ಅಥವಾ 403 ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಎಲ್ಲವನ್ನೂ ನಿಷೇಧಿಸಿದಂತೆ ಪರಿಗಣಿಸುತ್ತದೆ, ಆದರೆ RFC 9309 ಪ್ರಕಾರ 4xx ಎಂದರೆ ಎಲ್ಲವನ್ನೂ ಪಡೆಯಬಹುದು. ಮತ್ತು read() ಫೈಲ್ ಅನ್ನು Python ನ ಡೀಫಾಲ್ಟ್ user agent ನಿಂದ ಡೌನ್‌ಲೋಡ್ ಮಾಡುತ್ತದೆ, ಕೆಲವು ಫೈರ್‌ವಾಲ್‌ಗಳು ಅದನ್ನು ತಡೆಯುತ್ತವೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ ನಿಯಮಗಳಿಗೆ ಸಂಬಂಧವಿಲ್ಲದ ಕಾರಣಕ್ಕೆ ಪರೀಕ್ಷೆ ತಡೆ ಎಂದು ವರದಿ ಮಾಡಬಹುದು. ಮೇಲಿನಂತೆ ಫೈಲ್ ಅನ್ನು ನೀವೇ ಪಡೆದು parse() ಗೆ ನೀಡಿದರೆ ಎರಡನ್ನೂ ತಪ್ಪಿಸಬಹುದು.

robots.txt ಪರೀಕ್ಷೆ ಸರಿ ಎಂದರೂ ಕ್ರಾಲರ್ ಏಕೆ ಇನ್ನೂ ತಡೆಯಲ್ಪಡುತ್ತದೆ?

ಪರೀಕ್ಷಕ ಒಂದೇ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುತ್ತದೆ: ನಿಯಮಗಳು ಈ URL ಅನ್ನು ಅನುಮತಿಸುತ್ತವೆಯೇ? ಹಲವು ವಿಷಯಗಳು ಆ ಉತ್ತರದ ಹೊರಗಿವೆ:

ಎಲ್ಲ AI ಕ್ರಾಲರ್‌ಗಳಿಗೆ robots.txt ಅನ್ನು ಒಮ್ಮೆಲೇ ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?

ಉಚಿತ AISeeWhy robots.txt ಪರೀಕ್ಷಕ ಪುಟದ ವಿಳಾಸ ಅಥವಾ ಅಂಟಿಸಿದ robots.txt ತೆಗೆದುಕೊಂಡು, ಪ್ರತಿ AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಆ ಪುಟವನ್ನು ಪಡೆಯಬಹುದೇ ಎಂದು ತೋರಿಸುತ್ತದೆ. ಉಚಿತ robots.txt ಜನರೇಟರ್ ನಿಮ್ಮ ಆಯ್ಕೆಗಳಿಂದ ಫೈಲ್ ಬರೆಯುತ್ತದೆ, ಮತ್ತು robots.txt ಅನುಮತಿಸಿದ್ದನ್ನು ಫೈರ್‌ವಾಲ್ ತಡೆಯುತ್ತದೆಯೇ ಎಂದು ತೋರಿಸಲು ಉಚಿತ ಪರಿಶೀಲನೆ ಪುಟವನ್ನು 16 ಕ್ರಾಲರ್‌ಗಳಾಗಿ ಪಡೆಯುತ್ತದೆ.

ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

Google Search Console ನಲ್ಲಿ ಇನ್ನೂ robots.txt tester ಇದೆಯೇ?

ಇಲ್ಲ. ನವೆಂಬರ್ 2023 ರಲ್ಲಿ Google ಅದನ್ನು robots.txt ವರದಿಯಿಂದ ಬದಲಿಸಿತು, ಅದು Google ಪಡೆದ ಫೈಲ್‌ಗಳು, ಅವುಗಳ ಸ್ಥಿತಿ ಮತ್ತು ದೋಷಗಳನ್ನು ತೋರಿಸುತ್ತದೆ. Googlebot ನಿರ್ದಿಷ್ಟ URL ಅನ್ನು ಕ್ರಾಲ್ ಮಾಡಬಹುದೇ ಎಂದು ಪರಿಶೀಲಿಸಲು URL Inspection ಉಪಕರಣ ಬಳಸಿ.

robots.txt ನಲ್ಲಿ Allow, Disallow ಅನ್ನು ಮೀರುತ್ತದೆಯೇ?

Allow ನಿಯಮ ಹೆಚ್ಚು ಉದ್ದವಾಗಿದ್ದಾಗ ಅಥವಾ ನಿಖರವಾಗಿ ಸಮಾನ ಉದ್ದವಾಗಿದ್ದಾಗ ಮಾತ್ರ. ಯಾವ ಪ್ರಕಾರವಾದರೂ ಅತಿ ಉದ್ದದ ಹೊಂದುವ ಪಾತ್ ಇರುವ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ, ಮತ್ತು ಸಮಬಲದಲ್ಲಿ Allow ಗೆಲ್ಲುತ್ತದೆ.

robots.txt ನಲ್ಲಿ ದೊಡ್ಡ-ಸಣ್ಣ ಅಕ್ಷರ ಮುಖ್ಯವೇ?

ಭಾಗಶಃ. User-agent ಮೌಲ್ಯವನ್ನು ಅಕ್ಷರ ರೂಪ ನೋಡದೆ ಹೊಂದಿಸಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ gptbot ಮತ್ತು GPTBot ಒಂದೇ ಗುಂಪನ್ನು ಹೆಸರಿಸುತ್ತವೆ. ಪಾತ್‌ಗಳಲ್ಲಿ ದೊಡ್ಡ-ಸಣ್ಣ ಅಕ್ಷರ ಮುಖ್ಯ, ಆದ್ದರಿಂದ Disallow: /Private/ ಎಂಬುದು /private/ ಅನ್ನು ತಡೆಯುವುದಿಲ್ಲ.

robots.txt ವ್ಯಾಲಿಡೇಟರ್ ಏನನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ?

ಫೈಲ್ ತಲುಪಬಹುದೇ, ಪಠ್ಯವಾಗಿ ನೀಡಲಾಗುತ್ತಿದೆಯೇ ಮತ್ತು ಮಾನ್ಯ ಸಿಂಟ್ಯಾಕ್ಸ್‌ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆಯೇ ಎಂದು ವ್ಯಾಲಿಡೇಟರ್ ಪರಿಶೀಲಿಸುತ್ತದೆ. ಪರೀಕ್ಷಕ ಇನ್ನೂ ಮುಂದೆ ಹೋಗಿ ನಿರ್ದಿಷ್ಟ URL ಮತ್ತು ಕ್ರಾಲರ್‌ಗೆ ತೀರ್ಪು ನೀಡುತ್ತದೆ. ಸಾಮಾನ್ಯವಾಗಿ ಎರಡೂ ಬೇಕು, ಏಕೆಂದರೆ ಮಾನ್ಯ ಫೈಲ್ ಕೂಡ ನೀವು ಅನುಮತಿಸಲು ಬಯಸಿದ ಪುಟವನ್ನು ತಡೆಯಬಹುದು.

ಕ್ರಾಲರ್‌ಗೆ ತನ್ನದೇ ಗುಂಪು ಇದ್ದರೆ, ಅದು ಇನ್ನೂ User-agent: * ಪಾಲಿಸುತ್ತದೆಯೇ?

ಇಲ್ಲ. ಹೆಸರಿಸಿದ ಗುಂಪು ಆ ಕ್ರಾಲರ್‌ಗೆ * ಗುಂಪನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಿಸುತ್ತದೆ. ಎಲ್ಲರಿಗೂ ಅನ್ವಯಿಸಬೇಕಾದ ಯಾವುದೇ ನಿಯಮವನ್ನು ಪ್ರತಿ ಹೆಸರಿಸಿದ ಗುಂಪಿನಲ್ಲೂ ಪುನರಾವರ್ತಿಸಬೇಕು.

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು