ಪುಟದ ವಿಳಾಸ ನಮೂದಿಸಿ: ನಾವು ಸೈಟ್ನ robots.txt ಓದಿ, ಪ್ರತಿ AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಆ ಪುಟವನ್ನು ಪಡೆಯಬಹುದೇ ಎಂದು ತೋರಿಸುತ್ತೇವೆ. ಅಥವಾ ಪ್ರಕಟಿಸುವ ಮೊದಲು ಪರೀಕ್ಷಿಸಲು robots.txt ಅನ್ನು ಅಂಟಿಸಿ.
robots.txt ಕೇವಲ ಒಂದು ವಿನಂತಿ. robots.txt ಅನುಮತಿಸಿದ ಕ್ರಾಲರ್ ಅನ್ನು ಫೈರ್ವಾಲ್ ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣೆ ಇನ್ನೂ ತಡೆಯಬಹುದು; ಪೂರ್ಣ ಪರಿಶೀಲನೆ ಅದನ್ನು ಪರೀಕ್ಷಿಸುತ್ತದೆ. ಪೂರ್ಣ ಪರಿಶೀಲನೆ ನಡೆಸಿ →
ಪ್ರತಿ ಕ್ರಾಲರ್ ತನ್ನ ಟೋಕನ್ ಅನ್ನು ಹೆಸರಿಸುವ ಗುಂಪನ್ನು ಅನುಸರಿಸುತ್ತದೆ (ಉದಾಹರಣೆಗೆ GPTBot ಅಥವಾ PerplexityBot); ಅಂತಹ ಗುಂಪು ಇಲ್ಲದಿದ್ದರೆ ಮಾತ್ರ User-agent: * ಅನುಸರಿಸುತ್ತದೆ. ಒಂದು ಗುಂಪಿನೊಳಗೆ ಅತಿ ಉದ್ದದ ಹೊಂದುವ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ, ಮತ್ತು ಸಮಬಲವಾದರೆ Allow ಗೆಲ್ಲುತ್ತದೆ. GPTBot, ClaudeBot ಅಥವಾ Google-Extended ನಂತಹ ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆದರೆ ನಿಮ್ಮ ವಿಷಯ ಮಾದರಿ ತರಬೇತಿಯಿಂದ ಹೊರಗುಳಿಯುತ್ತದೆ; OAI-SearchBot, ChatGPT-User ಅಥವಾ PerplexityBot ನಂತಹ ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆದರೆ ನಿಮ್ಮ ಪುಟಗಳು AI ಉತ್ತರಗಳಿಂದ ಹೊರಗುಳಿಯುತ್ತವೆ.
ಮಾರ್ಗದರ್ಶಿ
robots.txt ಪರೀಕ್ಷಕವನ್ನು ಹೇಗೆ ಬಳಸುವುದು
ಈ ಪಠ್ಯವನ್ನು ಇಂಗ್ಲಿಷ್ನಿಂದ ಯಂತ್ರದ ಮೂಲಕ ಅನುವಾದಿಸಲಾಗಿದೆ.
ಈ robots.txt ಪರೀಕ್ಷಕ ಏನನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ
ಒಂದು ಪುಟದ ವಿಳಾಸವನ್ನು ನಮೂದಿಸಿ. ಪರೀಕ್ಷಕ ಆ ವಿಳಾಸದಿಂದ ಸ್ಕೀಮ್ ಮತ್ತು ಹೋಸ್ಟ್ ಅನ್ನು ತೆಗೆದುಕೊಂಡು, ಆ ಹೋಸ್ಟ್ನ ರೂಟ್ನಿಂದ /robots.txt ಅನ್ನು ಓದಿ, ನಿಮ್ಮ ಪುಟದ ಪಾತ್ಗೆ ಅದರ ನಿಯಮಗಳನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ. 16 ಕ್ರಾಲರ್ಗಳಲ್ಲಿ ಪ್ರತಿಯೊಂದಕ್ಕೂ ಒಂದೇ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರಿಸುತ್ತದೆ: ಈ ಕ್ರಾಲರ್ ಈ ಪುಟವನ್ನು ಪಡೆಯಬಹುದೇ?
ಕ್ರಾಲರ್ಗಳನ್ನು ಅವು ಮಾಡುವ ಕೆಲಸದ ಪ್ರಕಾರ ಗುಂಪು ಮಾಡಲಾಗಿದೆ. ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳು AI ಮಾದರಿಗಳಿಗಾಗಿ ಪುಟಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತವೆ: GPTBot, ClaudeBot, CCBot, Bytespider ಮತ್ತು Meta-ExternalAgent, ಜೊತೆಗೆ robots.txt ನಲ್ಲಿ ಮಾತ್ರ ಇರುವ ಟೋಕನ್ಗಳು Google-Extended ಮತ್ತು Applebot-Extended. ಇವು ಎಂದಿಗೂ ತಾವಾಗಿ ಭೇಟಿ ನೀಡುವುದಿಲ್ಲ, ಆದರೆ ಈಗಾಗಲೇ ಪಡೆದ ಪುಟಗಳನ್ನು Google ಮತ್ತು Apple ಬಳಸಬಹುದೇ ಎಂದು ತಿಳಿಸುತ್ತವೆ. ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳು AI ಉತ್ತರಗಳು ಮತ್ತು ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳು ಉಲ್ಲೇಖಿಸುವ ಇಂಡೆಕ್ಸ್ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತವೆ: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot ಮತ್ತು Applebot. ಒಬ್ಬ ವ್ಯಕ್ತಿ ಸಹಾಯಕನಿಗೆ ಪುಟ ತೆರೆಯಲು ಕೇಳಿದಾಗ ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗಳು ಆ ಪುಟವನ್ನು ಪಡೆಯುತ್ತವೆ: ChatGPT-User, Claude-User ಮತ್ತು Perplexity-User.
ವಿಳಾಸದ ಬದಲು robots.txt ಅನ್ನು ಅಂಟಿಸಲೂಬಹುದು. ಆಗ ಏನನ್ನೂ ಪಡೆಯಲಾಗುವುದಿಲ್ಲ: ಪರೀಕ್ಷಕ ನೀವು ಅಂಟಿಸಿದ ಪಠ್ಯವನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡುತ್ತದೆ, ಆದ್ದರಿಂದ ಪ್ರಕಟಿಸುವ ಮೊದಲೇ ಬದಲಾವಣೆಯನ್ನು ಪ್ರಯತ್ನಿಸಬಹುದು. ಅಂಟಿಸಿದ ಪಠ್ಯವನ್ನು ಉತ್ತರಿಸಲು ಮಾತ್ರ ಬಳಸಲಾಗುತ್ತದೆ ಮತ್ತು ಉಳಿಸಲಾಗುವುದಿಲ್ಲ.
ಫಲಿತಾಂಶಗಳನ್ನು ಹೇಗೆ ಓದುವುದು
ಕೋಷ್ಟಕದಲ್ಲಿ ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಒಂದು ಸಾಲು ಇರುತ್ತದೆ. ನಿಮ್ಮ ಪಾತ್ನ ಕಾಲಮ್ನಲ್ಲಿ ಅನುಮತಿಸಲಾಗಿದೆ ಅಥವಾ ತಡೆಯಲಾಗಿದೆ ಎಂದು ಇರುತ್ತದೆ. ಕೊನೆಯ ಕಾಲಮ್ ಫೈಲ್ನ ಯಾವ ಭಾಗ ನಿರ್ಧರಿಸಿತು ಎಂದು ಹೇಳುತ್ತದೆ:
ಸ್ವಂತ ಗುಂಪು: ಫೈಲ್ನಲ್ಲಿ ಈ ಕ್ರಾಲರ್ನ ಟೋಕನ್ ಇರುವ User-agent ಸಾಲು ಇದೆ, ಮತ್ತು ಅದಕ್ಕೆ ಆ ಗುಂಪಿನ ನಿಯಮಗಳು ಮಾತ್ರ ಅನ್ವಯಿಸುತ್ತವೆ.
User-agent: *: ಯಾವ ಗುಂಪೂ ಈ ಕ್ರಾಲರ್ನ ಹೆಸರನ್ನು ಹೇಳುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಅದು ಎಲ್ಲರಿಗೂ ಅನ್ವಯಿಸುವ ಗುಂಪನ್ನು ಅನುಸರಿಸುತ್ತದೆ.
ನಿಯಮ ಇಲ್ಲ: ಯಾವ ಗುಂಪೂ ಅನ್ವಯಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಪುಟವನ್ನು ಅನುಮತಿಸಲಾಗುತ್ತದೆ.
ಕೋಷ್ಟಕದ ಕೆಳಗೆ ಫೈಲ್ ಪಟ್ಟಿ ಮಾಡುವ Sitemap ಸಾಲುಗಳು ಮತ್ತು ಇದ್ದರೆ ಅದರ Content-Signal ಸಾಲು ಕಾಣಿಸುತ್ತವೆ. ವಿಳಾಸವು ಪಠ್ಯ ಫೈಲ್ನ ಬದಲು ವೆಬ್ ಪುಟವನ್ನು ನೀಡಿದರೆ, ಅಥವಾ ಯಾವ ಫೈಲೂ ನೀಡದಿದ್ದರೆ, ಪರೀಕ್ಷಕ ಅದನ್ನು ತಿಳಿಸುತ್ತದೆ: /robots.txt ನಲ್ಲಿರುವ HTML ಪುಟವನ್ನು ಕ್ರಾಲರ್ಗಳು ಫೈಲ್ ಇಲ್ಲದಂತೆಯೇ ಪರಿಗಣಿಸುತ್ತವೆ.
ಅನುಮತಿಸಲಾಗಿದೆ ಎಂಬ ಸಾಲಿನ ಅರ್ಥ robots.txt ಆ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುವುದಿಲ್ಲ ಎಂದು ಮಾತ್ರ. ಕ್ರಾಲರ್ ಭೇಟಿ ನೀಡುತ್ತದೆ ಎಂದು ಇದರ ಅರ್ಥವಲ್ಲ, ಮತ್ತು ನಿಮ್ಮ ಫೈರ್ವಾಲ್ ಬಗ್ಗೆ ಇದು ಏನನ್ನೂ ಹೇಳುವುದಿಲ್ಲ.
ಕ್ರಾಲರ್ ತನ್ನ ನಿಯಮಗಳನ್ನು ಹೇಗೆ ಆಯ್ಕೆ ಮಾಡುತ್ತದೆ
robots.txt ಮಾನದಂಡವಾದ RFC 9309 ಮೂರು ನಿಯಮಗಳನ್ನು ನಿಗದಿಪಡಿಸುತ್ತದೆ, ಅಚ್ಚರಿ ಮೂಡಿಸುವ ಬಹುತೇಕ ಪ್ರತಿ ಫಲಿತಾಂಶವನ್ನೂ ಅವು ವಿವರಿಸುತ್ತವೆ. ಕ್ರಾಲರ್ ಮೊದಲು ದೊಡ್ಡಕ್ಷರ-ಸಣ್ಣಕ್ಷರ ಲೆಕ್ಕಿಸದೆ ತನ್ನ ಟೋಕನ್ಗೆ ಹೊಂದುವ User-agent ಇರುವ ಗುಂಪುಗಳನ್ನು ಹುಡುಕುತ್ತದೆ. ಒಂದು ಸಿಕ್ಕರೆ, ಆ ಗುಂಪುಗಳನ್ನು ಮಾತ್ರ ಅನುಸರಿಸಿ User-agent: * ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ. ಆಯ್ಕೆಯಾದ ಗುಂಪಿನಲ್ಲಿ, ಅತಿ ಉದ್ದದ ಹೊಂದುವ ಪಾತ್ ಇರುವ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ, ಮತ್ತು ಒಂದು Allow ಮತ್ತು ಒಂದು Disallow ಒಂದೇ ಉದ್ದದಲ್ಲಿ ಹೊಂದಿದರೆ Allow ಗೆಲ್ಲುತ್ತದೆ.
ಈ ಫೈಲ್ನೊಂದಿಗೆ GPTBot ಪ್ರತಿ ಪುಟದಿಂದಲೂ ತಡೆಯಲ್ಪಡುತ್ತದೆ, ಏಕೆಂದರೆ ಅದಕ್ಕೆ ಸ್ವಂತ ಗುಂಪು ಇದೆ. ಉಳಿದ ಪ್ರತಿ ಕ್ರಾಲರ್ /private/press/kit.pdf ಅನ್ನು ಪಡೆಯಬಹುದು, ಏಕೆಂದರೆ Allow: /private/press/ ಎಂಬುದು Disallow: /private/ ಗಿಂತ ಉದ್ದವಾಗಿದೆ, ಮತ್ತು /private/notes/ ನಿಂದ ತಡೆಯಲ್ಪಡುತ್ತದೆ. ಎರಡೂ ಪಾತ್ಗಳನ್ನು ಪರೀಕ್ಷಕದಲ್ಲಿ ಪರೀಕ್ಷಿಸಿ, ನಿರ್ಧಾರ ಒಂದು ಗುಂಪಿನಿಂದ ಇನ್ನೊಂದಕ್ಕೆ ಬದಲಾಗುವುದನ್ನು ನೋಡುತ್ತೀರಿ.
ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು, ಉದಾಹರಣೆಗಳೊಂದಿಗೆ
ಒಂದರ ಕೆಳಗೊಂದು ಇರುವ User-agent ಸಾಲುಗಳು ಒಂದೇ ಗುಂಪನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತವೆ. User-agent: GPTBot, ನಂತರ User-agent: OAI-SearchBot, ನಂತರ Disallow: / ಇರುವ ಫೈಲ್ ಎರಡೂ ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯುತ್ತದೆ, ಆದ್ದರಿಂದ ತರಬೇತಿಯನ್ನು ಮಾತ್ರ ನಿಲ್ಲಿಸಲು ಬಯಸಿದ ಸೈಟ್ ChatGPT ಹುಡುಕಾಟದಿಂದಲೂ ಕಾಣೆಯಾಗುತ್ತದೆ.
ತಪ್ಪು OpenAI ಟೋಕನ್ ಅನ್ನು ತಡೆಯುವುದು. GPTBot ತರಬೇತಿ ಡೇಟಾವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ; ChatGPT ಹುಡುಕಾಟ ನಿಮ್ಮನ್ನು ತೋರಿಸಿ ಉಲ್ಲೇಖಿಸಬಹುದೇ ಎಂದು OAI-SearchBot ನಿರ್ಧರಿಸುತ್ತದೆ. ತರಬೇತಿಯನ್ನು ನಿಲ್ಲಿಸಲು OAI-SearchBot ಅಥವಾ ChatGPT-User ಅನ್ನು ತಡೆದರೆ, ಬದಲಿಗೆ ನೀವು ಉತ್ತರಗಳಿಂದ ಹೊರಗುಳಿಯುತ್ತೀರಿ.
ಒಂದೇ ಅಕ್ಷರ ನಿಯಮವನ್ನು ತಿರುಗಿಸುತ್ತದೆ. ನಂತರ ಏನೂ ಇಲ್ಲದ Disallow: ಎಲ್ಲವನ್ನೂ ಅನುಮತಿಸುತ್ತದೆ; Disallow: / ಎಲ್ಲವನ್ನೂ ತಡೆಯುತ್ತದೆ.
ಪಾತ್ಗಳಲ್ಲಿ ದೊಡ್ಡಕ್ಷರ-ಸಣ್ಣಕ್ಷರ ವ್ಯತ್ಯಾಸ ಲೆಕ್ಕಕ್ಕೆ ಬರುತ್ತದೆ. Disallow: /Blog/ ಎಂಬುದು /blog/ ಅನ್ನು ತಡೆಯುವುದಿಲ್ಲ.
ವೈಲ್ಡ್ಕಾರ್ಡ್ಗಳಿಗೆ ಎಚ್ಚರ ಬೇಕು. Disallow: /*.pdf ಎಂಬುದು /file.pdf?download=1 ಅನ್ನೂ ತಡೆಯುತ್ತದೆ; Disallow: /*.pdf$.pdf ನಲ್ಲಿ ಕೊನೆಗೊಳ್ಳುವ ವಿಳಾಸಗಳನ್ನು ಮಾತ್ರ ತಡೆಯುತ್ತದೆ.
ಫೈಲ್ ತಪ್ಪು ಹೋಸ್ಟ್ನಲ್ಲಿದೆ. robots.txt ಅದನ್ನು ಒದಗಿಸುವ ಸ್ಕೀಮ್ ಮತ್ತು ಹೋಸ್ಟ್ಗೆ ಮಾತ್ರ ಅನ್ವಯಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ www.example.com, example.com ಮತ್ತು shop.example.com ಪ್ರತಿಯೊಂದಕ್ಕೂ ಸ್ವಂತ ಫೈಲ್ ಬೇಕು.
ಸರ್ವರ್ ದೋಷದೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ. 4xx ಉತ್ತರ ಎಂದರೆ ಕ್ರಾಲರ್ಗಳು ಎಲ್ಲವನ್ನೂ ಪಡೆಯಬಹುದು. 5xx ಉತ್ತರ ಅಥವಾ ಟೈಮ್ಔಟ್ ಎಂದರೆ ಫೈಲ್ ಅನ್ನು ಮತ್ತೆ ಓದುವವರೆಗೆ ಎಲ್ಲವನ್ನೂ ನಿಷೇಧಿಸಲಾಗಿದೆ ಎಂದು ಅವು ಭಾವಿಸಬೇಕು, ಆದ್ದರಿಂದ ಮುರಿದ /robots.txt ಎಲ್ಲ ಕ್ರಾಲಿಂಗ್ ಅನ್ನು ನಿಲ್ಲಿಸಬಹುದು.
ಕ್ರಾಲರ್ಗಳು ಪಾಲಿಸದ ನಿಯಮಗಳು. Noindex: ಮತ್ತು Crawl-delay: RFC 9309 ನ ಭಾಗವಲ್ಲ, ಮತ್ತು Google ಎರಡನ್ನೂ ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ.
robots.txt ಒಂದು ಪುಟವನ್ನು ಹುಡುಕಾಟದಿಂದ ತೆಗೆದುಹಾಕುತ್ತದೆ ಎಂದು ನಿರೀಕ್ಷಿಸುವುದು. ಇದು ಕ್ರಾಲಿಂಗ್ ಅನ್ನು ನಿಲ್ಲಿಸುತ್ತದೆ, ಇಂಡೆಕ್ಸಿಂಗ್ ಅನ್ನಲ್ಲ: ತಡೆದ ವಿಳಾಸವು ಅದರ ಪಠ್ಯವಿಲ್ಲದೆಯೂ ಪಟ್ಟಿಯಲ್ಲಿ ಕಾಣಿಸಬಹುದು. ಪುಟವನ್ನು ಇಂಡೆಕ್ಸ್ನಿಂದ ಹೊರಗಿಡಲು, ಕ್ರಾಲಿಂಗ್ ಅನುಮತಿಸಿ ಮತ್ತು noindex ಮೆಟಾ ಟ್ಯಾಗ್ ಅಥವಾ ಹೆಡರ್ ಬಳಸಿ.
ತರಬೇತಿ, ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಕ್ರಾಲರ್ಗಳು: ಪ್ರತಿಯೊಂದನ್ನು ತಡೆದರೆ ಏನಾಗುತ್ತದೆ
ತರಬೇತಿ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆಯುವುದು ಒಂದು ನೀತಿ ನಿರ್ಧಾರ. ಇದು ನಿಮ್ಮ ಪುಟಗಳನ್ನು ಭವಿಷ್ಯದ ಮಾದರಿ ತರಬೇತಿಯಿಂದ ಹೊರಗಿಡುತ್ತದೆ, ಮತ್ತು ಇಂದು AI ಹುಡುಕಾಟ ನಿಮ್ಮನ್ನು ಉಲ್ಲೇಖಿಸಬಹುದೇ ಎಂಬುದರ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ. OAI-SearchBot, Claude-SearchBot ಅಥವಾ PerplexityBot ನಂತಹ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನು ತಡೆದರೆ ನಿಮ್ಮ ಪುಟಗಳು ಆ ಸಹಾಯಕನ ಉತ್ತರಗಳಿಂದ ಹೊರಗುಳಿಯುತ್ತವೆ. Googlebot ಅಥವಾ Bingbot ಅನ್ನು ತಡೆದರೆ ಆ ಹುಡುಕಾಟ ಎಂಜಿನ್ಗಳಿಂದ ಮತ್ತು ಅವುಗಳ ಮೇಲೆ ನಿರ್ಮಿಸಿದ AI ವೈಶಿಷ್ಟ್ಯಗಳಿಂದ ನೀವು ಹೊರಗುಳಿಯುತ್ತೀರಿ.
ChatGPT-User ನಂತಹ ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗಳು ನಿಮ್ಮ ಪುಟವನ್ನು ಕೇಳಿದ ವ್ಯಕ್ತಿಯ ಪರವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತವೆ. ಅಂತಹ ವಿನಂತಿಗಳಿಗೆ ಈ ಏಜೆಂಟ್ಗಳು robots.txt ಪಾಲಿಸದಿರಬಹುದು ಎಂದು ಕೆಲವು ಕಂಪನಿಗಳು ಹೇಳುತ್ತವೆ, ಆದ್ದರಿಂದ ಅವುಗಳಿಗಾಗಿ ಬರೆದ ನಿಯಮ ಒಂದು ವಿನಂತಿ, ಖಾತರಿಯಲ್ಲ. ತರಬೇತಿ ಆಫ್ ಮತ್ತು AI ಹುಡುಕಾಟ ಆನ್ ಬೇಕಿದ್ದರೆ, ತರಬೇತಿ ಟೋಕನ್ಗಳನ್ನು ತಡೆದು ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಟೋಕನ್ಗಳನ್ನು ಹಾಗೆಯೇ ಬಿಡಿ.
ಪ್ರಕಟಿಸುವ ಮೊದಲು ಪರೀಕ್ಷಿಸಿ, ನಂತರ ಮತ್ತೆ ಪರೀಕ್ಷಿಸಿ
ನಿಮ್ಮ ಕರಡನ್ನು ಪರೀಕ್ಷಕದಲ್ಲಿ ಅಂಟಿಸಿ, ಉತ್ಪನ್ನ ಅಥವಾ ಬೆಲೆ ಪುಟದಂತಹ ಮುಖ್ಯ ಪುಟದ ಪಾತ್ ಹೊಂದಿಸಿ, ಮತ್ತು ನಿಮಗೆ ಮುಖ್ಯವಾದ ಪ್ರತಿ ಕ್ರಾಲರ್ನ ಸಾಲನ್ನು ಓದಿ. ನೀವು ತಡೆಯಲು ಬಯಸಿದ ಪಾತ್ನೊಂದಿಗೆ ಮತ್ತೆ ಮಾಡಿ. ಫಲಿತಾಂಶಗಳು ನಿಮ್ಮ ಉದ್ದೇಶಕ್ಕೆ ಹೊಂದಿದಾಗ, ಫೈಲ್ ಪ್ರಕಟಿಸಿ ಮತ್ತು ಲೈವ್ ವಿಳಾಸದೊಂದಿಗೆ ಪರೀಕ್ಷಕವನ್ನು ಮತ್ತೆ ನಡೆಸಿ; ನೀವು ಸಂಪಾದಿಸಿದ ಫೈಲ್ ಅನ್ನೇ ಸರ್ವರ್ ನೀಡುತ್ತಿದೆ ಎಂದು ಇದು ಸಾಬೀತುಪಡಿಸುತ್ತದೆ.
ಕ್ರಾಲರ್ಗಳು robots.txt ಅನ್ನು ಕ್ಯಾಶ್ ಮಾಡುತ್ತವೆ; ಉದಾಹರಣೆಗೆ Google ಸಾಮಾನ್ಯವಾಗಿ 24 ಗಂಟೆಗಳಲ್ಲಿ ತನ್ನ ಪ್ರತಿಯನ್ನು ರಿಫ್ರೆಶ್ ಮಾಡುತ್ತದೆ. ಬದಲಾವಣೆ ಅವುಗಳ ವರ್ತನೆಯಲ್ಲಿ ಕಾಣಿಸಲು ಒಂದು ದಿನ ಬೇಕಾಗಬಹುದು, ಮತ್ತು Google Search Console ನಲ್ಲಿನ robots.txt ವರದಿ Google ಕೊನೆಯದಾಗಿ ಪಡೆದ ಪ್ರತಿಯನ್ನು ತೋರಿಸುತ್ತದೆ.
robots.txt ಕ್ರಾಲರ್ ಅನ್ನು ಅನುಮತಿಸಿದರೂ ಅದು ತಡೆಯಲ್ಪಟ್ಟಾಗ
robots.txt ಕೇವಲ ಒಂದು ವಿನಂತಿ. ಜನರಿಗೆ ಪುಟ ಸಿಗುತ್ತಿದ್ದರೂ, ಫೈರ್ವಾಲ್, ಬಾಟ್ ರಕ್ಷಣಾ ಸೇವೆ ಅಥವಾ CDN ನಿಯಮ ಕ್ರಾಲರ್ಗೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟದೊಂದಿಗೆ ಉತ್ತರಿಸಬಹುದು. ಪರೀಕ್ಷಕ ಒಂದು ಫೈಲ್ ಅನ್ನು ಮಾತ್ರ ಓದುವುದರಿಂದ ಅದನ್ನು ನೋಡಲಾರದು. ಪೂರ್ಣ ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಪುಟವನ್ನು ಸಾಮಾನ್ಯ ಬ್ರೌಸರ್ ಜೊತೆಗೆ ಪ್ರತಿ ಕ್ರಾಲರ್ನ ಬಳಕೆದಾರ ಏಜೆಂಟ್ನೊಂದಿಗೆ ಪಡೆದು, ಯಾವ ಕ್ರಾಲರ್ಗೆ ಬೇರೆ ಉತ್ತರ ಸಿಗುತ್ತದೆ ಎಂದು HTTP ಸ್ಥಿತಿ ಮತ್ತು ಫೈರ್ವಾಲ್ನ ಸಹಿಯೊಂದಿಗೆ ತೋರಿಸುತ್ತದೆ.
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
ಇದು Google ನ robots.txt Tester ನಂತೆಯೇ ಇದೆಯೇ?
ಇಲ್ಲ. Google ತನ್ನ ಪ್ರತ್ಯೇಕ robots.txt Tester ಅನ್ನು 2023 ರಲ್ಲಿ ನಿಲ್ಲಿಸಿತು; ಈಗ Search Console ನಲ್ಲಿನ robots.txt ವರದಿ Google ಪಡೆದ ಫೈಲ್ ಮತ್ತು ಯಾವುದೇ ಪಾರ್ಸಿಂಗ್ ದೋಷಗಳನ್ನು Google ನ ಕ್ರಾಲರ್ಗಳಿಗೆ ಮಾತ್ರ ತೋರಿಸುತ್ತದೆ. ಈ ಪರೀಕ್ಷಕ ಅದೇ RFC 9309 ನಿಯಮಗಳನ್ನು ಒಮ್ಮೆಗೇ 16 AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳಿಗೆ ಅನ್ವಯಿಸುತ್ತದೆ.
ಅನುಮತಿಸಲಾಗಿದೆ ಎಂದರೆ ಕ್ರಾಲರ್ ನನ್ನ ಪುಟವನ್ನು ಓದುತ್ತದೆ ಅಥವಾ ಉಲ್ಲೇಖಿಸುತ್ತದೆ ಎಂದು ಅರ್ಥವೇ?
ಇಲ್ಲ. robots.txt ಅದನ್ನು ನಿಷೇಧಿಸುವುದಿಲ್ಲ ಎಂದು ಮಾತ್ರ ಅರ್ಥ. ಕ್ರಾಲರ್ಗೆ ಪುಟ ಸಿಗುತ್ತದೆಯೇ ಎಂಬುದು ನಿಮ್ಮ ಸರ್ವರ್ ಮತ್ತು ಫೈರ್ವಾಲ್ ಮೇಲೆ ಅವಲಂಬಿಸಿದೆ, ಮತ್ತು ಸಹಾಯಕ ಅದನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತದೆಯೇ ಎಂಬುದು ನಿಮ್ಮ ವಿಷಯ ಮತ್ತು ಕೇಳಿದ ಪ್ರಶ್ನೆಯ ಮೇಲೆ ಅವಲಂಬಿಸಿದೆ.
ಒಂದು ಕ್ರಾಲರ್ಗೆ “ನಿಯಮ ಇಲ್ಲ” ಎಂದು ಏಕೆ ಕಾಣಿಸುತ್ತದೆ?
ನಿಮ್ಮ ಫೈಲ್ನಲ್ಲಿ ಅದರ ಟೋಕನ್ಗೆ ಗುಂಪು ಇಲ್ಲ ಮತ್ತು User-agent: * ಗುಂಪೂ ಇಲ್ಲ, ಆದ್ದರಿಂದ ಅದಕ್ಕೆ ಏನೂ ಅನ್ವಯಿಸುವುದಿಲ್ಲ ಮತ್ತು ಪ್ರತಿ ಪಾತ್ ಅನುಮತಿಸಲ್ಪಡುತ್ತದೆ.
ಇನ್ನೂ ಪ್ರಕಟಿಸದ robots.txt ಅನ್ನು ಪರೀಕ್ಷಿಸಬಹುದೇ?
ಹೌದು. ಪಠ್ಯವನ್ನು ಎರಡನೇ ಕ್ಷೇತ್ರದಲ್ಲಿ ಅಂಟಿಸಿ ಮತ್ತು ಪರೀಕ್ಷಿಸಬೇಕಾದ ಪಾತ್ ನಮೂದಿಸಿ. ನಿಮ್ಮ ಸೈಟ್ನಿಂದ ಏನನ್ನೂ ಪಡೆಯಲಾಗುವುದಿಲ್ಲ, ಮತ್ತು ಅಂಟಿಸಿದ ಪಠ್ಯವನ್ನು ಉಳಿಸಲಾಗುವುದಿಲ್ಲ.
ಪರೀಕ್ಷಕ GPTBot ಅಥವಾ ಇತರ ಕ್ರಾಲರ್ಗಳಾಗಿ ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸುತ್ತದೆಯೇ?
ಇಲ್ಲ. ಇದು ನಿಮ್ಮ robots.txt ಅನ್ನು ಓದಿ ನಿಯಮಗಳನ್ನು ಅನ್ವಯಿಸುತ್ತದೆ, ಅಷ್ಟೇ. ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ನಿಮ್ಮ ಸರ್ವರ್ನಿಂದ ನಿಜವಾಗಿ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ನೋಡಲು, ಪೂರ್ಣ ಪರಿಶೀಲನೆ ನಡೆಸಿ.
ಇದನ್ನು ಎಷ್ಟು ಬಾರಿ ಬಳಸಬಹುದು?
ಇದು ಉಚಿತ ಮತ್ತು ಖಾತೆ ಬೇಕಿಲ್ಲ. ಎಲ್ಲರಿಗೂ ಲಭ್ಯವಾಗಿಡಲು, ಪ್ರತಿ ನೆಟ್ವರ್ಕ್ ಗಂಟೆಗೆ ಸೀಮಿತ ಸಂಖ್ಯೆಯ ಪರೀಕ್ಷೆಗಳನ್ನು ಮಾತ್ರ ನಡೆಸಬಹುದು.