ಒಂದು URL ಮತ್ತು ನಿರ್ದಿಷ್ಟ ಕ್ರಾಲರ್ಗೆ robots.txt ನಿಯಮಗಳನ್ನು ಹೇಗೆ ಪರೀಕ್ಷಿಸುವುದು?
ಒಂದು ಕ್ರಾಲರ್ಗೆ URL ಪರೀಕ್ಷಿಸಲು, ಆ ಕ್ರಾಲರ್ನ ಟೋಕನ್ ಹೆಸರಿಸುವ ಗುಂಪನ್ನು ಹುಡುಕಿ (ಯಾವುದೂ ಹೆಸರಿಸದಿದ್ದರೆ User-agent: *), ಅದರಲ್ಲಿ URL ಪಾತ್ಗೆ ಹೊಂದುವ ಎಲ್ಲ Allow ಮತ್ತು Disallow ನಿಯಮಗಳನ್ನು ಸಂಗ್ರಹಿಸಿ, ಮತ್ತು ಅತಿ ಉದ್ದದ್ದನ್ನು ಅನ್ವಯಿಸಿ; ಸಮಬಲವಾದರೆ Allow ಗೆಲ್ಲುತ್ತದೆ. ಇದನ್ನು ಕೈಯಾರೆ, Google ನ ಓಪನ್ ಸೋರ್ಸ್ ಪಾರ್ಸರ್ನೊಂದಿಗೆ, ಅಥವಾ ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ತೀರ್ಪು ತೋರಿಸುವ ಪರಿಶೀಲಕದೊಂದಿಗೆ ಮಾಡಬಹುದು. Search Console ನ ಹಳೆಯ robots.txt Tester ಈಗಿಲ್ಲ, ಮತ್ತು ಅದರ ಬದಲಿಗೆ ಬಂದ robots.txt ವರದಿ Google ಏನು ಪಡೆಯಿತು ಎಂದು ತೋರಿಸುತ್ತದೆ, URL ಗೆ ತೀರ್ಪು ಅಲ್ಲ.
ಖಚಿತ ಉತ್ತರ ಬೇಕಾಗುವವರೆಗೆ robots.txt ಫೈಲ್ ಸರಳವಾಗಿ ಕಾಣುತ್ತದೆ: GPTBot ಈ ಪುಟವನ್ನು ಪಡೆಯಬಹುದೇ, ಮತ್ತು OAI-SearchBot? ಉತ್ತರ ಕ್ರಾಲರ್ ಯಾವ ಗುಂಪನ್ನು ಆರಿಸುತ್ತದೆ ಮತ್ತು ಆ ಗುಂಪಿನಲ್ಲಿ ಯಾವ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ ಎಂಬುದರ ಮೇಲೆ ಅವಲಂಬಿತ, ಮತ್ತು ಎರಡೂ ಹಂತಗಳಲ್ಲಿ ತಪ್ಪಾಗುವುದು ಸುಲಭ. RFC 9309 ಪ್ರಕಾರ ಹೊಂದಾಣಿಕೆ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ, ನಾಲ್ಕು ಉದಾಹರಣೆಗಳು, ಮತ್ತು ಫೈಲ್ ಅನ್ನು ನೀವೇ ಪರೀಕ್ಷಿಸುವ ಮೂರು ಮಾರ್ಗಗಳು ಇಲ್ಲಿವೆ.
ಈ ಪುಟದಲ್ಲಿ
- Google Search Console ನ robots.txt Tester ಗೆ ಏನಾಯಿತು?
- URL ಅನುಮತಿಸಲ್ಪಟ್ಟಿದೆಯೇ ಎಂದು ಕ್ರಾಲರ್ ಹೇಗೆ ನಿರ್ಧರಿಸುತ್ತದೆ?
- robots.txt ಪರೀಕ್ಷೆಯ ಒಂದು ಉದಾಹರಣೆ ತೋರಿಸಬಹುದೇ?
- Google ನ ಓಪನ್ ಸೋರ್ಸ್ robots.txt ಪಾರ್ಸರ್ ಹೇಗೆ ಚಲಾಯಿಸುವುದು?
- Python ನ urllib.robotparser ನಿಂದ robots.txt ಪರೀಕ್ಷಿಸಬಹುದೇ?
- robots.txt ಪರೀಕ್ಷೆ ಸರಿ ಎಂದರೂ ಕ್ರಾಲರ್ ಏಕೆ ಇನ್ನೂ ತಡೆಯಲ್ಪಡುತ್ತದೆ?
- ಎಲ್ಲ AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಅನ್ನು ಒಮ್ಮೆಲೇ ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
Google Search Console ನ robots.txt Tester ಗೆ ಏನಾಯಿತು?
ನವೆಂಬರ್ 2023 ರಲ್ಲಿ Google, Search Console ಗೆ robots.txt ವರದಿಯನ್ನು ಸೇರಿಸಿತು ಮತ್ತು robots.txt tester ಅನ್ನು ನಿಲ್ಲಿಸುತ್ತಿರುವುದಾಗಿ ಹೇಳಿತು. ವರದಿ Settings ಅಡಿಯಲ್ಲಿದೆ ಮತ್ತು Google ನ ಕ್ರಾಲರ್ಗಳನ್ನು ಮಾತ್ರ ಒಳಗೊಳ್ಳುತ್ತದೆ. ಅದು ತೋರಿಸುವುದು:
- ನಿಮ್ಮ property ಯ ಮೊದಲ 20 ಹೋಸ್ಟ್ಗಳಿಗೆ Google ಕಂಡುಕೊಂಡ robots.txt ಫೈಲ್ಗಳು.
- ಪ್ರತಿ ಫೈಲ್ನ ಪಡೆಯುವ ಸ್ಥಿತಿ (
Fetched,Not Fetched - Not found (404)ಅಥವಾNot Fetched - Any other reason), Google ಅದನ್ನು ಕೊನೆಯ ಬಾರಿ ಯಾವಾಗ ಪರಿಶೀಲಿಸಿತು, ಮತ್ತು ಬೈಟ್ಗಳಲ್ಲಿ ಅದರ ಗಾತ್ರ. - ಫೈಲ್ನಲ್ಲಿನ ಸಮಸ್ಯೆಗಳು. ದೋಷಗಳು ನಿಯಮವನ್ನು ಬಳಸದಂತೆ ತಡೆಯುತ್ತವೆ, ಎಚ್ಚರಿಕೆಗಳು ತಡೆಯುವುದಿಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ.
- ಕಳೆದ 30 ದಿನಗಳಲ್ಲಿ Google ಪಡೆದ ಆವೃತ್ತಿಗಳು, ಮತ್ತು ಫೈಲ್ ಸರಿಪಡಿಸಿದ ನಂತರ ಮರುಕ್ರಾಲ್ ಕೋರಲು ಬಟನ್.
ವರದಿ URL ತೆಗೆದುಕೊಂಡು ಅನುಮತಿ ಅಥವಾ ತಡೆ ಎಂದು ಉತ್ತರಿಸುವುದಿಲ್ಲ. Googlebot ಗೆ ಒಂದು URL ಪರಿಶೀಲಿಸಲು Google, URL Inspection ಉಪಕರಣವನ್ನು ಸೂಚಿಸುತ್ತದೆ, ಮತ್ತು ಸ್ಥಳೀಯ ಪರೀಕ್ಷೆಗೆ ತನ್ನ ಓಪನ್ ಸೋರ್ಸ್ robots.txt ಲೈಬ್ರರಿಯನ್ನು. ಇವೆರಡೂ GPTBot ಅಥವಾ ClaudeBot ನಂತಹ AI ಕ್ರಾಲರ್ಗಳ ಬಗ್ಗೆ ಏನನ್ನೂ ಹೇಳುವುದಿಲ್ಲ.
URL ಅನುಮತಿಸಲ್ಪಟ್ಟಿದೆಯೇ ಎಂದು ಕ್ರಾಲರ್ ಹೇಗೆ ನಿರ್ಧರಿಸುತ್ತದೆ?
ಹೊಂದಾಣಿಕೆಯನ್ನು RFC 9309, ಅಂದರೆ Robots Exclusion Protocol, ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ. Google ತನ್ನ ಕ್ರಾಲರ್ಗಳಿಗೆ ಇದೇ ವರ್ತನೆಯನ್ನು ದಾಖಲಿಸಿದೆ.
- ಗುಂಪು ಆರಿಸಿ. User-agent ಹೊಂದಾಣಿಕೆಗೆ ಅಕ್ಷರಗಳ ದೊಡ್ಡ-ಸಣ್ಣ ರೂಪ ಮುಖ್ಯವಲ್ಲ. ಒಂದು ಅಥವಾ ಹೆಚ್ಚು ಗುಂಪುಗಳು ಕ್ರಾಲರ್ನ ಟೋಕನ್ ಹೆಸರಿಸಿದರೆ, ಅವುಗಳ ನಿಯಮಗಳು ಸೇರಿಕೊಳ್ಳುತ್ತವೆ ಮತ್ತು
User-agent: *ಗುಂಪನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಕಡೆಗಣಿಸಲಾಗುತ್ತದೆ. ಹೆಸರಿಸಿದ ಗುಂಪು ಇಲ್ಲದ ಕ್ರಾಲರ್ ಮಾತ್ರ*ಅನ್ನು ಪಾಲಿಸುತ್ತದೆ. - ನಿಯಮ ಆರಿಸಿ. URL ಗೆ ಪಾತ್ ಹೊಂದುವ
Allowಮತ್ತುDisallowನಿಯಮಗಳಲ್ಲಿ, ಹೆಚ್ಚು ಅಕ್ಷರಗಳಿರುವುದು ಗೆಲ್ಲುತ್ತದೆ.Allowಮತ್ತುDisallowಸಮಾನ ಉದ್ದವಾಗಿದ್ದರೆAllowಗೆಲ್ಲಬೇಕು. - ಮಾದರಿಗಳನ್ನು ಓದಿ.
*ಯಾವುದೇ ಅಕ್ಷರಗಳ ಸರಣಿಗೆ ಹೊಂದುತ್ತದೆ ಮತ್ತು$URL ನ ಅಂತ್ಯವನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಪಾತ್ಗಳಲ್ಲಿ ದೊಡ್ಡ-ಸಣ್ಣ ಅಕ್ಷರ ಮುಖ್ಯ, ಆದ್ದರಿಂದ/Admin/ಎಂಬುದು/admin/ಗೆ ಹೊಂದುವುದಿಲ್ಲ. - ಹೊಂದುವ ನಿಯಮ ಇಲ್ಲದಿದ್ದರೆ ಅನುಮತಿ.
/robots.txtಸ್ವತಃ ಯಾವಾಗಲೂ ಅನುಮತಿಸಲ್ಪಟ್ಟಿದೆ.
robots.txt ನ ಪ್ರತಿಕ್ರಿಯೆ ಕೋಡ್ ಅದರ ನಿಯಮಗಳಷ್ಟೇ ಮುಖ್ಯ. 4xx ಪ್ರತಿಕ್ರಿಯೆ ಎಂದರೆ ಕ್ರಾಲರ್ ಎಲ್ಲವನ್ನೂ ಪಡೆಯಬಹುದು; 429 ಹೊರತುಪಡಿಸಿ ಪ್ರತಿ 4xx ಅನ್ನು Google ಫೈಲ್ ಇಲ್ಲದಂತೆ ಪರಿಗಣಿಸುತ್ತದೆ. 5xx ಪ್ರತಿಕ್ರಿಯೆ ಎಂದರೆ ಇಡೀ ಸೈಟ್ ನಿಷೇಧಿತ ಎಂದು ಕ್ರಾಲರ್ ಭಾವಿಸಬೇಕು. Google ಮೊದಲ 12 ಗಂಟೆ ಕ್ರಾಲ್ ನಿಲ್ಲಿಸುತ್ತದೆ, ನಂತರ 30 ದಿನಗಳವರೆಗೆ ಕೊನೆಯ ಸರಿಯಾದ ಪ್ರತಿಯನ್ನು ಬಳಸುತ್ತದೆ. ಕ್ರಾಲರ್ಗಳು ಕನಿಷ್ಠ 500 KiB ಪಾರ್ಸ್ ಮಾಡಬೇಕೆಂದು RFC 9309 ಕೇಳುತ್ತದೆ, ಮತ್ತು Google 500 KiB ನಂತರದ ಎಲ್ಲವನ್ನೂ ಕಡೆಗಣಿಸುತ್ತದೆ.
robots.txt ಪರೀಕ್ಷೆಯ ಒಂದು ಉದಾಹರಣೆ ತೋರಿಸಬಹುದೇ?
ಡೀಫಾಲ್ಟ್ ಗುಂಪು ಮತ್ತು ಹೆಸರಿಸಿದ ಎರಡು AI ಕ್ರಾಲರ್ಗಳಿರುವ ಸಣ್ಣ robots.txt ಇಲ್ಲಿದೆ:
Googlebotಮತ್ತು/search/help/billing: ಅನುಮತಿ. Googlebot ಗುಂಪು ಇಲ್ಲ, ಆದ್ದರಿಂದ*ಗುಂಪು ಅನ್ವಯಿಸುತ್ತದೆ.Disallow: /searchಮತ್ತುAllow: /search/helpಎರಡೂ ಹೊಂದುತ್ತವೆ, ಮತ್ತುAllowನಿಯಮ ಉದ್ದವಾಗಿದೆ.GPTBotಮತ್ತು/blog/post: ತಡೆ. GPTBot ಗೆ ತನ್ನದೇ ಗುಂಪು ಇದೆ, ಮತ್ತುDisallow: /ಪ್ರತಿ ಪಾತ್ಗೂ ಹೊಂದುತ್ತದೆ.OAI-SearchBotಮತ್ತು/admin/settings: ಅನುಮತಿ. OAI-SearchBot ಗೆ ತನ್ನದೇ ಗುಂಪು ಇದೆ, ಆದ್ದರಿಂದ*ಗುಂಪಿನDisallow: /admin/ಅದಕ್ಕೆ ಅನ್ವಯಿಸುವುದಿಲ್ಲ. ಇದು ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ಅಚ್ಚರಿ; ಹಂಚಿಕೆಯ ನಿಯಮಗಳನ್ನು ಪ್ರತಿ ಹೆಸರಿಸಿದ ಗುಂಪಿನಲ್ಲೂ ಪುನರಾವರ್ತಿಸಿ.OAI-SearchBotಮತ್ತು/files/report.pdf: ತಡೆ.Allow: /ಒಂದು ಅಕ್ಷರದೊಂದಿಗೆ ಹೊಂದುತ್ತದೆ,Disallow: /*.pdf$ಏಳು ಅಕ್ಷರಗಳೊಂದಿಗೆ, ಮತ್ತು ಉದ್ದದ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ.
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$ ಸಮಬಲಗಳು ಅಪರೂಪ, ಆದರೆ ಅದೇ ತರ್ಕ ಅನ್ವಯಿಸುತ್ತದೆ. Google ನ ದಾಖಲೆ URL /folder/page ಗೆ allow: /folder ಮತ್ತು disallow: /folder ಉದಾಹರಣೆ ನೀಡುತ್ತದೆ: ಎರಡೂ ಸಮಾನ ಉದ್ದ, ಆದ್ದರಿಂದ URL ಅನುಮತಿಸಲ್ಪಡುತ್ತದೆ.
Google ನ ಓಪನ್ ಸೋರ್ಸ್ robots.txt ಪಾರ್ಸರ್ ಹೇಗೆ ಚಲಾಯಿಸುವುದು?
robots.txt ನಿಯಮಗಳ ಹೊಂದಾಣಿಕೆಗೆ ಉತ್ಪಾದನೆಯಲ್ಲಿ ಬಳಸುವ C++ ಲೈಬ್ರರಿಯನ್ನು Google ಪ್ರಕಟಿಸುತ್ತದೆ, ಜೊತೆಗೆ ಸ್ಥಳೀಯ ಫೈಲ್ ವಿರುದ್ಧ ಒಂದು URL ಮತ್ತು ಒಂದು user agent ಪರೀಕ್ಷಿಸುವ ಸಣ್ಣ ಕಮಾಂಡ್ ಲೈನ್ ಪ್ರೋಗ್ರಾಂ. Bazel ಸ್ಥಾಪಿಸಿದ್ದರೆ:
git clone https://github.com/google/robotstxt.git robotstxt
cd robotstxt/
bazel build :robots_main
# arguments: local robots.txt file, crawler token, full URL
bazel run robots_main -- ~/robots.txt OAI-SearchBot https://example.com/files/report.pdf
# prints ALLOWED or DISALLOWED; exit code 0 means allowed, 1 means disallowed ರೆಪೊಸಿಟರಿ CMake ಬಿಲ್ಡ್ ಅನ್ನೂ ದಾಖಲಿಸುತ್ತದೆ, ಅದು ಅದೇ ಆರ್ಗ್ಯುಮೆಂಟ್ಗಳಿರುವ robots ಎಂಬ ಬೈನರಿ ತಯಾರಿಸುತ್ತದೆ. ಉಪಕರಣ ಪಾರ್ಸ್ ಮತ್ತು ಹೊಂದಾಣಿಕೆ ಮಾತ್ರ ಮಾಡುತ್ತದೆ; ಅದು robots.txt ಡೌನ್ಲೋಡ್ ಮಾಡುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಮೊದಲು ಲೈವ್ ಫೈಲ್ ಉಳಿಸಿ. ಪಾರ್ಸಿಂಗ್ ಮತ್ತು ಹೊಂದಾಣಿಕೆಯ ಹೊರಗಿನ ಕ್ರಾಲರ್-ನಿರ್ದಿಷ್ಟ ವರ್ತನೆ ಲೈಬ್ರರಿಯ ಭಾಗವಲ್ಲ ಎಂದೂ ಅದರ README ಹೇಳುತ್ತದೆ.
Python ನ urllib.robotparser ನಿಂದ robots.txt ಪರೀಕ್ಷಿಸಬಹುದೇ?
Python ನ ಸ್ಟ್ಯಾಂಡರ್ಡ್ ಲೈಬ್ರರಿಯಲ್ಲಿ user agent ಮತ್ತು URL ಗೆ ಅನುಮತಿ ಅಥವಾ ತಡೆ ಎಂದು ಉತ್ತರಿಸುವ ಪಾರ್ಸರ್ ಇದೆ. ಈ ಸ್ಕ್ರಿಪ್ಟ್ ಮೇಲಿನ ಉದಾಹರಣೆಯನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ:
from urllib.robotparser import RobotFileParser
# Paste the robots.txt you want to test, or fetch it yourself first
ROBOTS_TXT = """
User-agent: *
Disallow: /admin/
Disallow: /search
Allow: /search/help
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
Disallow: /drafts/
Disallow: /*.pdf$
"""
tests = [
("Googlebot", "https://example.com/search/help/billing"),
("GPTBot", "https://example.com/blog/post"),
("OAI-SearchBot", "https://example.com/admin/settings"),
("OAI-SearchBot", "https://example.com/files/report.pdf"),
]
rp = RobotFileParser()
rp.parse(ROBOTS_TXT.splitlines())
for agent, url in tests:
print(f"{agent:15} {url} ->", "allowed" if rp.can_fetch(agent, url) else "blocked") ಫಲಿತಾಂಶ ನಂಬುವ ಮೊದಲು ನಿಮ್ಮ Python ಆವೃತ್ತಿ ಪರಿಶೀಲಿಸಿ. RFC 9309 ಹೊಂದಾಣಿಕೆಯ ಬೆಂಬಲ CPython ಗೆ 2026 ರಲ್ಲಿ ಸೇರಿತು ಮತ್ತು ಮೊದಲು Python 3.13.14 ಮತ್ತು 3.14.5 ನಲ್ಲಿ ಬಂತು. 3.12 ಮತ್ತು ಅದಕ್ಕಿಂತ ಹಿಂದಿನ ಎಲ್ಲ ಸೇರಿದಂತೆ ಹಳೆಯ ಬಿಡುಗಡೆಗಳು ಅತಿ ಉದ್ದದ ನಿಯಮವಲ್ಲ, ಫೈಲ್ ಕ್ರಮದಲ್ಲಿ ಹೊಂದುವ ಮೊದಲ ನಿಯಮವನ್ನು ಅನ್ವಯಿಸುತ್ತವೆ, ಮತ್ತು ಪಾತ್ಗಳೊಳಗಿನ * ಅಥವಾ $ ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದಿಲ್ಲ. ಆ ಆವೃತ್ತಿಗಳಲ್ಲಿ ಸ್ಕ್ರಿಪ್ಟ್ ಮೊದಲ ಮತ್ತು ನಾಲ್ಕನೇ ಪರೀಕ್ಷೆಗಳನ್ನು ತಲೆಕೆಳಗಾಗಿ ವರದಿ ಮಾಡುತ್ತದೆ: Googlebot ಗೆ /search/help/billing ತಡೆ, ಮತ್ತು OAI-SearchBot ಗೆ PDF ಪಡೆಯಲು ಅನುಮತಿ.
ಎಲ್ಲ ಆವೃತ್ತಿಗಳಿಗೂ ಇನ್ನೂ ಎರಡು ವ್ಯತ್ಯಾಸಗಳು ಅನ್ವಯಿಸುತ್ತವೆ. RobotFileParser.read() robots.txt ಗೆ 401 ಅಥವಾ 403 ಪ್ರತಿಕ್ರಿಯೆಯನ್ನು ಎಲ್ಲವನ್ನೂ ನಿಷೇಧಿಸಿದಂತೆ ಪರಿಗಣಿಸುತ್ತದೆ, ಆದರೆ RFC 9309 ಪ್ರಕಾರ 4xx ಎಂದರೆ ಎಲ್ಲವನ್ನೂ ಪಡೆಯಬಹುದು. ಮತ್ತು read() ಫೈಲ್ ಅನ್ನು Python ನ ಡೀಫಾಲ್ಟ್ user agent ನಿಂದ ಡೌನ್ಲೋಡ್ ಮಾಡುತ್ತದೆ, ಕೆಲವು ಫೈರ್ವಾಲ್ಗಳು ಅದನ್ನು ತಡೆಯುತ್ತವೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ ನಿಯಮಗಳಿಗೆ ಸಂಬಂಧವಿಲ್ಲದ ಕಾರಣಕ್ಕೆ ಪರೀಕ್ಷೆ ತಡೆ ಎಂದು ವರದಿ ಮಾಡಬಹುದು. ಮೇಲಿನಂತೆ ಫೈಲ್ ಅನ್ನು ನೀವೇ ಪಡೆದು parse() ಗೆ ನೀಡಿದರೆ ಎರಡನ್ನೂ ತಪ್ಪಿಸಬಹುದು.
robots.txt ಪರೀಕ್ಷೆ ಸರಿ ಎಂದರೂ ಕ್ರಾಲರ್ ಏಕೆ ಇನ್ನೂ ತಡೆಯಲ್ಪಡುತ್ತದೆ?
ಪರೀಕ್ಷಕ ಒಂದೇ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುತ್ತದೆ: ನಿಯಮಗಳು ಈ URL ಅನ್ನು ಅನುಮತಿಸುತ್ತವೆಯೇ? ಹಲವು ವಿಷಯಗಳು ಆ ಉತ್ತರದ ಹೊರಗಿವೆ:
- ಲೈವ್ ಫೈಲ್ ನೀವು ಪರೀಕ್ಷಿಸಿದ ಫೈಲ್ಗಿಂತ ಭಿನ್ನ, ಅಥವಾ ಕ್ರಾಲರ್ ಇನ್ನೂ ಕ್ಯಾಶ್ ಮಾಡಿದ ಪ್ರತಿ ಬಳಸುತ್ತಿದೆ. ಕ್ರಾಲರ್ಗಳು ಕ್ಯಾಶ್ ಪ್ರತಿಯನ್ನು 24 ಗಂಟೆಗಳಿಗಿಂತ ಹೆಚ್ಚು ಬಳಸಬಾರದು ಎಂದು RFC 9309 ಹೇಳುತ್ತದೆ, ಮತ್ತು Google ಸಾಮಾನ್ಯವಾಗಿ 24 ಗಂಟೆಗಳವರೆಗೆ ಕ್ಯಾಶ್ ಮಾಡುತ್ತದೆ.
- robots.txt URL HTML ಪುಟ ಅಥವಾ ದೋಷ ಹಿಂದಿರುಗಿಸುತ್ತದೆ. ಸ್ಥಿತಿ 200 ಇರುವ HTML ಪುಟದಲ್ಲಿ ಮಾನ್ಯ ನಿಯಮಗಳಿಲ್ಲ, ಮತ್ತು 5xx ಪ್ರತಿಕ್ರಿಯೆ ಇಡೀ ಸೈಟ್ ಅನ್ನು ತಡೆಯುತ್ತದೆ.
- robots.txt ಒಂದು ವಿನಂತಿ, ಪ್ರವೇಶ ನಿಯಂತ್ರಣವಲ್ಲ. ಫೈರ್ವಾಲ್, CDN ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣೆ ಇನ್ನೂ ಕ್ರಾಲರ್ಗೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ನೀಡಬಹುದು.
ಎಲ್ಲ AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಅನ್ನು ಒಮ್ಮೆಲೇ ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ಉಚಿತ AISeeWhy robots.txt ಪರೀಕ್ಷಕ ಪುಟದ ವಿಳಾಸ ಅಥವಾ ಅಂಟಿಸಿದ robots.txt ತೆಗೆದುಕೊಂಡು, ಪ್ರತಿ AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಆ ಪುಟವನ್ನು ಪಡೆಯಬಹುದೇ ಎಂದು ತೋರಿಸುತ್ತದೆ. ಉಚಿತ robots.txt ಜನರೇಟರ್ ನಿಮ್ಮ ಆಯ್ಕೆಗಳಿಂದ ಫೈಲ್ ಬರೆಯುತ್ತದೆ, ಮತ್ತು robots.txt ಅನುಮತಿಸಿದ್ದನ್ನು ಫೈರ್ವಾಲ್ ತಡೆಯುತ್ತದೆಯೇ ಎಂದು ತೋರಿಸಲು ಉಚಿತ ಪರಿಶೀಲನೆ ಪುಟವನ್ನು 16 ಕ್ರಾಲರ್ಗಳಾಗಿ ಪಡೆಯುತ್ತದೆ.
ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು
- robots.txt GPTBot ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆ, ಆದರೆ ಸರ್ವರ್ ಅದನ್ನು ತಡೆಯುತ್ತದೆ
- robots.txt OAI-SearchBot ಅನ್ನು ನಿಷೇಧಿಸುತ್ತದೆ
- robots.txt ಒಂದು HTML ಪುಟ
- robots.txt ಅನ್ನು ಪಡೆಯಲು ಸಾಧ್ಯವಿಲ್ಲ
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
Google Search Console ನಲ್ಲಿ ಇನ್ನೂ robots.txt tester ಇದೆಯೇ?
ಇಲ್ಲ. ನವೆಂಬರ್ 2023 ರಲ್ಲಿ Google ಅದನ್ನು robots.txt ವರದಿಯಿಂದ ಬದಲಿಸಿತು, ಅದು Google ಪಡೆದ ಫೈಲ್ಗಳು, ಅವುಗಳ ಸ್ಥಿತಿ ಮತ್ತು ದೋಷಗಳನ್ನು ತೋರಿಸುತ್ತದೆ. Googlebot ನಿರ್ದಿಷ್ಟ URL ಅನ್ನು ಕ್ರಾಲ್ ಮಾಡಬಹುದೇ ಎಂದು ಪರಿಶೀಲಿಸಲು URL Inspection ಉಪಕರಣ ಬಳಸಿ.
robots.txt ನಲ್ಲಿ Allow, Disallow ಅನ್ನು ಮೀರುತ್ತದೆಯೇ?
Allow ನಿಯಮ ಹೆಚ್ಚು ಉದ್ದವಾಗಿದ್ದಾಗ ಅಥವಾ ನಿಖರವಾಗಿ ಸಮಾನ ಉದ್ದವಾಗಿದ್ದಾಗ ಮಾತ್ರ. ಯಾವ ಪ್ರಕಾರವಾದರೂ ಅತಿ ಉದ್ದದ ಹೊಂದುವ ಪಾತ್ ಇರುವ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ, ಮತ್ತು ಸಮಬಲದಲ್ಲಿ Allow ಗೆಲ್ಲುತ್ತದೆ.
robots.txt ನಲ್ಲಿ ದೊಡ್ಡ-ಸಣ್ಣ ಅಕ್ಷರ ಮುಖ್ಯವೇ?
ಭಾಗಶಃ. User-agent ಮೌಲ್ಯವನ್ನು ಅಕ್ಷರ ರೂಪ ನೋಡದೆ ಹೊಂದಿಸಲಾಗುತ್ತದೆ, ಆದ್ದರಿಂದ gptbot ಮತ್ತು GPTBot ಒಂದೇ ಗುಂಪನ್ನು ಹೆಸರಿಸುತ್ತವೆ. ಪಾತ್ಗಳಲ್ಲಿ ದೊಡ್ಡ-ಸಣ್ಣ ಅಕ್ಷರ ಮುಖ್ಯ, ಆದ್ದರಿಂದ Disallow: /Private/ ಎಂಬುದು /private/ ಅನ್ನು ತಡೆಯುವುದಿಲ್ಲ.
robots.txt ವ್ಯಾಲಿಡೇಟರ್ ಏನನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ?
ಫೈಲ್ ತಲುಪಬಹುದೇ, ಪಠ್ಯವಾಗಿ ನೀಡಲಾಗುತ್ತಿದೆಯೇ ಮತ್ತು ಮಾನ್ಯ ಸಿಂಟ್ಯಾಕ್ಸ್ನಲ್ಲಿ ಬರೆಯಲಾಗಿದೆಯೇ ಎಂದು ವ್ಯಾಲಿಡೇಟರ್ ಪರಿಶೀಲಿಸುತ್ತದೆ. ಪರೀಕ್ಷಕ ಇನ್ನೂ ಮುಂದೆ ಹೋಗಿ ನಿರ್ದಿಷ್ಟ URL ಮತ್ತು ಕ್ರಾಲರ್ಗೆ ತೀರ್ಪು ನೀಡುತ್ತದೆ. ಸಾಮಾನ್ಯವಾಗಿ ಎರಡೂ ಬೇಕು, ಏಕೆಂದರೆ ಮಾನ್ಯ ಫೈಲ್ ಕೂಡ ನೀವು ಅನುಮತಿಸಲು ಬಯಸಿದ ಪುಟವನ್ನು ತಡೆಯಬಹುದು.
ಕ್ರಾಲರ್ಗೆ ತನ್ನದೇ ಗುಂಪು ಇದ್ದರೆ, ಅದು ಇನ್ನೂ User-agent: * ಪಾಲಿಸುತ್ತದೆಯೇ?
ಇಲ್ಲ. ಹೆಸರಿಸಿದ ಗುಂಪು ಆ ಕ್ರಾಲರ್ಗೆ * ಗುಂಪನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಿಸುತ್ತದೆ. ಎಲ್ಲರಿಗೂ ಅನ್ವಯಿಸಬೇಕಾದ ಯಾವುದೇ ನಿಯಮವನ್ನು ಪ್ರತಿ ಹೆಸರಿಸಿದ ಗುಂಪಿನಲ್ಲೂ ಪುನರಾವರ್ತಿಸಬೇಕು.
ಮೂಲಗಳು
- Google Search Console Help: robots.txt report
- Search Engine Roundtable: New Google Search Console robots.txt report replaced robots.txt tester tool
- Google Search Central: How Google interprets the robots.txt specification
- Google Search Central: Create and submit a robots.txt file
- RFC 9309: Robots Exclusion Protocol
- GitHub: google/robotstxt
- Python documentation: urllib.robotparser
- CPython source: Lib/urllib/robotparser.py