AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt: ಏನನ್ನು ಅನುಮತಿಸಬೇಕು, ಏನನ್ನು ತಡೆಯಬೇಕು
ನಿಮಗೆ ಮುಖ್ಯವಾದ ಪ್ರತಿ AI ಕ್ರಾಲರ್ಗೆ ಅದರದೇ User-agent ಗುಂಪು ನೀಡಿ. ಉಲ್ಲೇಖಿಸಲ್ಪಡಬೇಕಿದ್ದರೆ OAI-SearchBot, Claude-SearchBot ಮತ್ತು PerplexityBot ನಂತಹ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಅನುಮತಿಸಿ, ಮತ್ತು GPTBot, ClaudeBot, Google-Extended ಮತ್ತು Applebot-Extended ನಂತಹ ತರಬೇತಿ ಟೋಕನ್ಗಳ ಕುರಿತು ಪ್ರತ್ಯೇಕವಾಗಿ ನಿರ್ಧರಿಸಿ. ಹೆಸರಿರುವ ಗುಂಪು ಆ ಕ್ರಾಲರ್ಗೆ * ಗುಂಪಿನ ಸ್ಥಾನವನ್ನು ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ.
robots.txt 1994 ರಷ್ಟು ಹಳೆಯ ಸರಳ ಪಠ್ಯ ಫೈಲ್, 2022 ರಲ್ಲಿ ಅದು RFC 9309 ಎಂಬ ಅಧಿಕೃತ ಮಾನದಂಡವಾಯಿತು. ಹೆಚ್ಚಿನ AI ಮಾರಾಟಗಾರರು ತಮ್ಮ ಕ್ರಾಲರ್ಗಳು ಅದನ್ನು ಪಾಲಿಸುತ್ತವೆ ಎಂದು ಹೇಳುತ್ತಾರೆ, ಮತ್ತು ಹಲವರು ಹುಡುಕಾಟಕ್ಕೂ ತರಬೇತಿಗೂ ಪ್ರತ್ಯೇಕ ಟೋಕನ್ಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತಾರೆ. ಹೀಗಾಗಿ AI ನೀತಿಯನ್ನು ಹೇಳಲು robots.txt ಅತ್ಯಂತ ಸರಳ ಸ್ಥಳ, ನಿಯಮಗಳು ನೀವು ಅಂದುಕೊಂಡ ಅರ್ಥವನ್ನೇ ನೀಡುತ್ತಿದ್ದರೆ ಮಾತ್ರ.
ಈ ಪುಟದಲ್ಲಿ
- AI ಕ್ರಾಲರ್ಗಳು ಯಾವ robots.txt ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತವೆ?
- ಉತ್ತಮ AI robots.txt ಹೇಗಿರುತ್ತದೆ?
- ತಮಗೆ ಯಾವ ನಿಯಮಗಳು ಅನ್ವಯಿಸುತ್ತವೆ ಎಂದು ಕ್ರಾಲರ್ಗಳು ಹೇಗೆ ಆರಿಸುತ್ತವೆ?
- robots.txt ನ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು ಯಾವುವು?
- ಅನುಮತಿ ಮತ್ತು ನಿಷೇಧದ ಆಚೆ AI ಬಳಕೆ ನೀತಿಯನ್ನು ಹೇಳಬಹುದೇ?
- ಬದಲಾವಣೆಗಳಿಗೆ ಎಷ್ಟು ಸಮಯ ಬೇಕು, ಮತ್ತು ಅವನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
AI ಕ್ರಾಲರ್ಗಳು ಯಾವ robots.txt ಟೋಕನ್ಗಳನ್ನು ಬಳಸುತ್ತವೆ?
ಇವು ಮಾರಾಟಗಾರರು ದಾಖಲಿಸಿರುವ ಟೋಕನ್ಗಳು. RFC 9309 ಪ್ರಕಾರ ಹೊಂದಾಣಿಕೆಯಲ್ಲಿ ದೊಡ್ಡಕ್ಷರ-ಸಣ್ಣಕ್ಷರ ವ್ಯತ್ಯಾಸ ಲೆಕ್ಕಕ್ಕಿಲ್ಲ.
- OpenAI:
OAI-SearchBot(ChatGPT ಹುಡುಕಾಟ),GPTBot(ತರಬೇತಿ),ChatGPT-User(ಬಳಕೆದಾರ ಕೇಳುವ ಭೇಟಿಗಳು; robots.txt ಅನ್ವಯಿಸದಿರಬಹುದು ಎಂದು OpenAI ಹೇಳುತ್ತದೆ). - Anthropic:
Claude-SearchBot(ಹುಡುಕಾಟ),ClaudeBot(ತರಬೇತಿ),Claude-User(ಬಳಕೆದಾರ ಕೇಳುವ ಭೇಟಿಗಳು). - Perplexity:
PerplexityBot(ಹುಡುಕಾಟ),Perplexity-User(ಬಳಕೆದಾರ ಕೇಳುವ ಭೇಟಿಗಳು; ಇದು ಸಾಮಾನ್ಯವಾಗಿ robots.txt ಅನ್ನು ಕಡೆಗಣಿಸುತ್ತದೆ ಎಂದು Perplexity ಹೇಳುತ್ತದೆ). - Google:
Googlebot(ಹುಡುಕಾಟ, ಅದರ AI ವೈಶಿಷ್ಟ್ಯಗಳು ಸೇರಿ) ಮತ್ತುGoogle-Extended, ತನ್ನದೇ ಕ್ರಾಲರ್ ಇಲ್ಲದ ಟೋಕನ್; ಇದು Gemini ತರಬೇತಿ ಮತ್ತು grounding ನಲ್ಲಿನ ಬಳಕೆಯನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ. - Apple:
Applebot(Spotlight, Siri, Safari ಹುಡುಕಾಟ) ಮತ್ತುApplebot-Extended, ಇದು ಕ್ರಾಲ್ ಮಾಡುವುದಿಲ್ಲ ಆದರೆ Apple ನ ಮೂಲ ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ಬಳಕೆಯನ್ನು ನಿಯಂತ್ರಿಸುತ್ತದೆ. - Meta:
meta-externalagent(ತರಬೇತಿ ಮತ್ತು ಉತ್ಪನ್ನ ಇಂಡೆಕ್ಸಿಂಗ್) ಮತ್ತುmeta-webindexer(Meta AI ಹುಡುಕಾಟ). - Common Crawl:
CCBot, ಇದು Common Crawl ನ ವೆಬ್ ಡೇಟಾದ ಉಚಿತ ಸಾರ್ವಜನಿಕ ಸಂಗ್ರಹವನ್ನು ನಿರ್ಮಿಸುತ್ತದೆ.
ಉತ್ತಮ AI robots.txt ಹೇಗಿರುತ್ತದೆ?
ಈ ಉದಾಹರಣೆ AI ಹುಡುಕಾಟ ಮತ್ತು ಬಳಕೆದಾರ ಫೆಚ್ಗಳನ್ನು ಒಳಬಿಡುತ್ತದೆ, ಮುಖ್ಯ ತರಬೇತಿ ಟೋಕನ್ಗಳಿಂದ ಹೊರಗುಳಿಯುತ್ತದೆ ಮತ್ತು ಒಂದು ಖಾಸಗಿ ಭಾಗವನ್ನು ಎಲ್ಲರಿಗೂ ಮುಚ್ಚಿಡುತ್ತದೆ:
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: ChatGPT-User
User-agent: Claude-User
Allow: /
Disallow: /account/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /
User-agent: *
Allow: /
Disallow: /account/
Sitemap: https://example.com/sitemap.xml ಸಾಲಾಗಿ ಬರುವ ಹಲವು User-agent ಸಾಲುಗಳು ಒಂದೇ ಗುಂಪಾಗುತ್ತವೆ, ಆದ್ದರಿಂದ ಅವುಗಳ ಕೆಳಗಿನ ನಿಯಮಗಳು ಆ ಪ್ರತಿ ಕ್ರಾಲರ್ಗೂ ಅನ್ವಯಿಸುತ್ತವೆ. ನಿಮ್ಮ ವಿಷಯ ತರಬೇತಿಗೆ ಬಳಕೆಯಾಗಲಿ ಎಂದಿದ್ದರೆ, ಎರಡನೇ ಗುಂಪನ್ನು ಬಿಟ್ಟುಬಿಡಿ. Google-Extended ತಡೆಯುವುದು Google ಹುಡುಕಾಟದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ: ಅದು ಹುಡುಕಾಟದಲ್ಲಿ ಸೇರ್ಪಡೆಯ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ ಮತ್ತು ರ್ಯಾಂಕಿಂಗ್ ಸಂಕೇತವಲ್ಲ ಎಂದು Google ಹೇಳುತ್ತದೆ. ಹಾಗೆಯೇ, Applebot-Extended ನಿಷೇಧಿಸಿದ ಪುಟಗಳು ತನ್ನ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ಈಗಲೂ ಕಾಣಿಸಬಹುದು ಎಂದು Apple ಹೇಳುತ್ತದೆ.
ತಮಗೆ ಯಾವ ನಿಯಮಗಳು ಅನ್ವಯಿಸುತ್ತವೆ ಎಂದು ಕ್ರಾಲರ್ಗಳು ಹೇಗೆ ಆರಿಸುತ್ತವೆ?
RFC 9309 ಇದನ್ನು ನಿಖರವಾಗಿ ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ, ಮತ್ತು ಈ ವಿವರಗಳೇ ಹೆಚ್ಚಿನ ಅಚ್ಚರಿಗಳನ್ನು ವಿವರಿಸುತ್ತವೆ:
- ಕ್ರಾಲರ್ ತನ್ನ ಉತ್ಪನ್ನ ಟೋಕನ್ಗೆ ಹೊಂದುವ
User-agentಇರುವ ಗುಂಪನ್ನು ಹುಡುಕುತ್ತದೆ, ಅಕ್ಷರದ ಗಾತ್ರ ಲೆಕ್ಕಿಸದೆ. ಹಲವು ಗುಂಪುಗಳು ಹೊಂದಿದರೆ, ಅವುಗಳ ನಿಯಮಗಳು ಒಂದಾಗಿ ಸೇರುತ್ತವೆ. - ಯಾವ ಗುಂಪೂ ಹೊಂದದಿದ್ದರೆ ಮಾತ್ರ ಕ್ರಾಲರ್
User-agent: *ಗುಂಪನ್ನು ಪಾಲಿಸುತ್ತದೆ. ಹೆಸರಿರುವ ಗುಂಪು*ನಿಂದ ಏನನ್ನೂ ಪಡೆಯುವುದಿಲ್ಲ. - ಗುಂಪಿನೊಳಗೆ, ಅತಿ ಉದ್ದವಾಗಿ ಹೊಂದುವ ಪಥದ ನಿಯಮ ಗೆಲ್ಲುತ್ತದೆ.
/blog/postಗೆAllow: /blog/ನಿಯಮDisallow: /ಅನ್ನು ಮೀರಿಸುತ್ತದೆ. Allowಮತ್ತುDisallowನಿಯಮಗಳು ಸಮಾನ ಉದ್ದದಲ್ಲಿ ಹೊಂದಿದರೆ,Allowಬಳಸಬೇಕು.- ಪಥದಲ್ಲಿನ
*ಯಾವುದೇ ಅಕ್ಷರಗಳಿಗೆ ಹೊಂದುತ್ತದೆ ಮತ್ತು$ಕೊನೆಯನ್ನು ಸೂಚಿಸುತ್ತದೆ, ಆದ್ದರಿಂದDisallow: /*.pdf$ಪ್ರತಿ PDF ಅನ್ನೂ ಒಳಗೊಳ್ಳುತ್ತದೆ.
robots.txt ನ ಅತ್ಯಂತ ಸಾಮಾನ್ಯ ತಪ್ಪುಗಳು ಯಾವುವು?
- ಹೆಸರಿರುವ ಗುಂಪು
*ನಿಂದ ನಿಯಮಗಳನ್ನು ಪಡೆಯುತ್ತದೆ ಎಂದು ನಿರೀಕ್ಷಿಸುವುದು.Allow: /ಮಾತ್ರ ಇರುವOAI-SearchBotಗುಂಪು ಪ್ರತಿ ಪಥವನ್ನೂ ತೆರೆಯುತ್ತದೆ,*ಅಡಿಯಲ್ಲಿ ನೀವು ನಿಷೇಧಿಸಿದವುಗಳನ್ನೂ ಸೇರಿ. - HTML ಪುಟವನ್ನು ಹಿಂತಿರುಗಿಸುವ robots.txt ವಿಳಾಸ, ಹೆಚ್ಚಾಗಿ ಸ್ಥಿತಿ 200 ಜೊತೆ ನೀಡುವ 404 ಪುಟ. ಕ್ರಾಲರ್ಗಳಿಗೆ ಅದರಲ್ಲಿ ಮಾನ್ಯ ನಿಯಮಗಳು ಸಿಗುವುದಿಲ್ಲ.
- ಸರ್ವರ್ ದೋಷ ಹಿಂತಿರುಗಿಸುವ robots.txt. ಆಗ ಕ್ರಾಲರ್ ಇಡೀ ಸೈಟ್ ನಿಷೇಧಿತ ಎಂದು ಭಾವಿಸಬೇಕು ಎಂದು RFC 9309 ಹೇಳುತ್ತದೆ. 404 ಬೇರೆ: ಅದರರ್ಥ ಯಾವುದೇ ನಿರ್ಬಂಧಗಳಿಲ್ಲ.
- ತರಬೇತಿಯನ್ನು ತಡೆಯಬೇಕೆಂದುಕೊಂಡು ಹುಡುಕಾಟ ಟೋಕನ್ ತಡೆಯುವುದು, ಉದಾಹರಣೆಗೆ ಮಾದರಿ ತರಬೇತಿ ತಪ್ಪಿಸಲು
PerplexityBotಅಥವಾClaude-SearchBotನಿಷೇಧಿಸುವುದು. - ಬಳಕೆದಾರ ಕೇಳುವ ಫೆಚ್ಗಳನ್ನು ನಿಲ್ಲಿಸಲು robots.txt ಅನ್ನು ಅವಲಂಬಿಸುವುದು. ತಮ್ಮ ಬಳಕೆದಾರ ಏಜೆಂಟ್ಗಳು ಅದನ್ನು ಪಾಲಿಸದಿರಬಹುದು ಎಂದು OpenAI ಮತ್ತು Perplexity ಎರಡೂ ಹೇಳುತ್ತವೆ.
- ಸಬ್ಡೊಮೇನ್ಗಳನ್ನು ಮರೆಯುವುದು. ಪ್ರತಿ ಹೋಸ್ಟ್ಗೂ ತನ್ನದೇ robots.txt ಇರುತ್ತದೆ; ಪ್ರತಿ ಸಬ್ಡೊಮೇನ್ಗೆ ನಿಯಮಗಳನ್ನು ಸೇರಿಸಲು Anthropic ನ ದಾಖಲೆಗಳು ಸೈಟ್ ಮಾಲೀಕರಿಗೆ ನೆನಪಿಸುತ್ತವೆ.
ಅನುಮತಿ ಮತ್ತು ನಿಷೇಧದ ಆಚೆ AI ಬಳಕೆ ನೀತಿಯನ್ನು ಹೇಳಬಹುದೇ?
Cloudflare robots.txt ಗೆ ಮೂರು ಸಂಕೇತಗಳಿರುವ Content-Signal ಸಾಲನ್ನು ಪ್ರಸ್ತಾಪಿಸಿದೆ: search (ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್ ನಿರ್ಮಿಸಿ ಲಿಂಕ್ಗಳು ಮತ್ತು ಚಿಕ್ಕ ಆಯ್ದ ಭಾಗಗಳನ್ನು ತೋರಿಸುವುದು), ai-input (AI ಉತ್ತರಗಳಿಗಾಗಿ ವಿಷಯವನ್ನು ನೈಜ ಸಮಯದಲ್ಲಿ ಬಳಸುವುದು) ಮತ್ತು ai-train (ಮಾದರಿಗಳ ತರಬೇತಿ ಅಥವಾ fine-tuning). Cloudflare ನ managed robots.txt ಅದನ್ನು ನಿಮಗಾಗಿ ಸೇರಿಸಬಲ್ಲದು.
User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: / robots.txt ನಲ್ಲಿರುವ ಎಲ್ಲದರಂತೆ ಇವೂ ಆದ್ಯತೆಗಳು, ತಾಂತ್ರಿಕ ನಿಯಂತ್ರಣಗಳಲ್ಲ. robots.txt ಪಾಲನೆ ಸ್ವಯಂಪ್ರೇರಿತ ಎಂದು Cloudflare ತಾನೇ ಗಮನಿಸುತ್ತದೆ. ಈ ಸಾಲು ಐಚ್ಛಿಕ ಮತ್ತು ಹಾನಿ ಮಾಡುವುದಿಲ್ಲ, ಆದರೆ ಮೇಲಿನ ಪ್ರತಿ-ಕ್ರಾಲರ್ ಗುಂಪುಗಳಿಗೆ ಬದಲಿಯಲ್ಲ.
ಬದಲಾವಣೆಗಳಿಗೆ ಎಷ್ಟು ಸಮಯ ಬೇಕು, ಮತ್ತು ಅವನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ಕ್ರಾಲರ್ಗಳು ಕ್ಯಾಶ್ ಮಾಡಿದ robots.txt ಅನ್ನು 24 ಗಂಟೆಗಳಿಗಿಂತ ಹೆಚ್ಚು ಬಳಸಬಾರದು ಎಂದು RFC 9309 ಹೇಳುತ್ತದೆ, ಮತ್ತು ಬದಲಾವಣೆಗಳು ಜಾರಿಯಾಗಲು ಸುಮಾರು ಒಂದು ದಿನ ಬೇಕಾಗಬಹುದು ಎಂದು OpenAI ಮತ್ತು Perplexity ಎರಡೂ ಹೇಳುತ್ತವೆ. robots.txt ಪ್ರವೇಶ ನಿಯಂತ್ರಣವಲ್ಲ ಎಂಬುದನ್ನೂ ನೆನಪಿಡಿ: ನಿಮ್ಮ ನಿಯಮಗಳು ಅನುಮತಿಸುವ ಕ್ರಾಲರ್ ಅನ್ನು ಫೈರ್ವಾಲ್ ಈಗಲೂ ತಡೆಯಬಹುದು.
AISeeWhy ತಾನು ಪರೀಕ್ಷಿಸುವ ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ನಿಮ್ಮ robots.txt ಅನ್ನು RFC 9309 ಪ್ರಕಾರ ಪಾರ್ಸ್ ಮಾಡುತ್ತದೆ, ತಲುಪಲಾಗದ ಅಥವಾ HTML ಆಗಿ ನೀಡಲ್ಪಡುವ ಫೈಲ್ಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ, ನಿಮ್ಮ ನಿಯಮಗಳು ಮತ್ತು ಸರ್ವರ್ ಎಲ್ಲಿ ಭಿನ್ನವಾಗಿವೆ ಎಂದು ತೋರಿಸುತ್ತದೆ ಮತ್ತು ಬದಲಾವಣೆಗೆ ಸಿದ್ಧ diff ನೀಡುತ್ತದೆ.
ಈ ಸಮಸ್ಯೆಗೆ ಪರಿಹಾರಗಳು
- robots.txt GPTBot ಅನ್ನು ಅನುಮತಿಸುತ್ತದೆ, ಆದರೆ ಸರ್ವರ್ ಅದನ್ನು ತಡೆಯುತ್ತದೆ
- robots.txt OAI-SearchBot ಅನ್ನು ನಿಷೇಧಿಸುತ್ತದೆ
- robots.txt ಒಂದು HTML ಪುಟ
- robots.txt ನಲ್ಲಿ Content-Signal ಇಲ್ಲ
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
GPTBot ಅಥವಾ ClaudeBot ತಡೆದರೆ AI ಉತ್ತರಗಳಲ್ಲಿ ನನ್ನ ಗೋಚರತೆಗೆ ಹಾನಿಯೇ?
ನೇರವಾಗಿ ಇಲ್ಲ. ಎರಡೂ ಮಾರಾಟಗಾರರು ಹುಡುಕಾಟಕ್ಕೆ ಪ್ರತ್ಯೇಕ ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಬಳಸುತ್ತಾರೆ, OAI-SearchBot ಮತ್ತು Claude-SearchBot. ತರಬೇತಿ ಕ್ರಾಲರ್ ತಡೆಯುವುದು ನೀತಿಯ ಆಯ್ಕೆ.
Google-Extended, AI Overviews ಅನ್ನು ನಿಲ್ಲಿಸುತ್ತದೆಯೇ?
ಇಲ್ಲ. ಹುಡುಕಾಟದ AI ವೈಶಿಷ್ಟ್ಯಗಳು Googlebot ಮತ್ತು nosnippet, noindex ನಂತಹ ಸಾಮಾನ್ಯ ಹುಡುಕಾಟ ನಿಯಂತ್ರಣಗಳನ್ನು ಬಳಸುತ್ತವೆ ಎಂದು Google ಹೇಳುತ್ತದೆ. Google-Extended ಇತರ Google ಉತ್ಪನ್ನಗಳಲ್ಲಿನ Gemini ತರಬೇತಿ ಮತ್ತು grounding ಅನ್ನು ಒಳಗೊಳ್ಳುತ್ತದೆ ಮತ್ತು ಹುಡುಕಾಟದ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವುದಿಲ್ಲ.
AI ಕ್ರಾಲರ್ಗಳು Crawl-delay ಬೆಂಬಲಿಸುತ್ತವೆಯೇ?
ಅದು RFC 9309 ನ ಭಾಗವಲ್ಲ. Anthropic Crawl-delay ಅನ್ನು ಮಾನದಂಡವಲ್ಲದ ವಿಸ್ತರಣೆಯಾಗಿ ಬೆಂಬಲಿಸುವುದಾಗಿ ಹೇಳುತ್ತದೆ; ಇತರ ಮಾರಾಟಗಾರರಿಗೆ ಅವರ ದಾಖಲೆಗಳನ್ನು ನೋಡಿ.
robots.txt ಎಲ್ಲಿರಬೇಕು?
ಪ್ರತಿ ಹೋಸ್ಟ್ನ ರೂಟ್ನಲ್ಲಿ, ಉದಾಹರಣೆಗೆ https://example.com/robots.txt. ಉಪ ಫೋಲ್ಡರ್ನಲ್ಲಿರುವ ಫೈಲ್ ಕಡೆಗಣಿಸಲ್ಪಡುತ್ತದೆ, ಮತ್ತು ಪ್ರತಿ ಸಬ್ಡೊಮೇನ್ಗೆ ತನ್ನದೇ ಫೈಲ್ ಬೇಕು.
ಮೂಲಗಳು
- RFC 9309: Robots Exclusion Protocol
- OpenAI: OpenAI ಕ್ರಾಲರ್ಗಳ ಅವಲೋಕನ
- Google: Google-Extended ಸೇರಿದಂತೆ ಸಾಮಾನ್ಯ ಕ್ರಾಲರ್ಗಳು
- Apple: Applebot ಕುರಿತು
- Cloudflare: Managed robots.txt ಮತ್ತು Content Signals