robots.txt ನಲ್ಲಿ Content-Signal ಎಂದರೇನು, ಮತ್ತು ಯಾರಾದರೂ ಅದನ್ನು ಪಾಲಿಸುತ್ತಾರೆಯೇ?

ಪ್ರಕಟಿಸಲಾಗಿದೆ

ಚಿಕ್ಕ ಉತ್ತರ

Content-Signal ಎಂಬುದು Cloudflare ಪ್ರಕಟಿಸಿದ ಐಚ್ಛಿಕ robots.txt ಸಾಲು. ಪಡೆದ ನಂತರ ನಿಮ್ಮ ವಿಷಯವನ್ನು ಹೇಗೆ ಬಳಸಬಹುದು ಎಂದು ಅದು ಹೇಳುತ್ತದೆ: ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಿಗೆ search, AI ಉತ್ತರಗಳಿಗೆ ನೀಡಲು ai-input ಮತ್ತು ಮಾದರಿಗಳ ತರಬೇತಿಗೆ ai-train, ಪ್ರತಿಯೊಂದೂ yes ಅಥವಾ no, ಉದಾಹರಣೆಗೆ Content-Signal: search=yes, ai-input=yes, ai-train=no. ಇದು ಆದ್ಯತೆಯನ್ನು ವ್ಯಕ್ತಪಡಿಸುತ್ತದೆ, ಏನನ್ನೂ ತಡೆಯುವುದಿಲ್ಲ. ನವೆಂಬರ್ 2026 ರ ವೇಳೆಗೆ OpenAI, Anthropic, Google ಅಥವಾ Perplexity ನ ಯಾವ ಕ್ರಾಲರ್ ಪುಟವೂ ತಾವು ಇದನ್ನು ಓದುತ್ತೇವೆ ಎಂದು ಹೇಳುವುದಿಲ್ಲ, ಆದರೆ ದೊಡ್ಡ AI ಕಂಪನಿಗಳು ತರಬೇತಿಗೆ ಮಾತ್ರ ಸೀಮಿತವಾದ ಬೇರೆ ಟೋಕನ್ ಅನ್ನು ಬೆಂಬಲಿಸಿವೆ.

robots.txt ಕ್ರಾಲರ್ ಎಲ್ಲಿಗೆ ಹೋಗಬಹುದು ಎಂದು ಹೇಳಲು ರೂಪಿತವಾಗಿತ್ತು, ಓದಿದ್ದರೊಂದಿಗೆ ಏನು ಮಾಡಬಹುದು ಎಂದು ಹೇಳಲು ಅಲ್ಲ. ಒಂದೇ ಫೆಚ್ ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್, ನೇರ AI ಉತ್ತರ ಮತ್ತು ತರಬೇತಿ ಡೇಟಾಸೆಟ್ ಎಲ್ಲಕ್ಕೂ ಬಳಕೆಯಾಗಬಹುದಾದಾಗ ಆ ಅಂತರ ಮುಖ್ಯವಾಯಿತು. ಅದನ್ನು ತುಂಬಲು Cloudflare 24 ಸೆಪ್ಟೆಂಬರ್ 2025 ರಂದು CC0 ಪರವಾನಗಿಯಡಿ Content Signals Policy ಪ್ರಕಟಿಸಿತು, ಮತ್ತು ಆಗಲೇ ತನ್ನ ಗ್ರಾಹಕರು 38 ಲಕ್ಷಕ್ಕೂ ಹೆಚ್ಚು ಡೊಮೇನ್‌ಗಳಿಗೆ managed robots.txt ಆನ್ ಮಾಡಿದ್ದರು ಎಂದು ಹೇಳಿತು; ಈ ವೈಶಿಷ್ಟ್ಯ ಈಗ ಅವರಿಗಾಗಿ ಈ ಸಾಲನ್ನು ಸೇರಿಸುತ್ತದೆ.

ಈ ಪುಟದಲ್ಲಿ
  1. search, ai-input ಮತ್ತು ai-train ಎಂದರೇನು?
  2. robots.txt ನಲ್ಲಿ Content-Signal ಸಾಲನ್ನು ಹೇಗೆ ಬರೆಯುವುದು?
  3. ಸಾಲಿನ ಮೇಲಿರುವ ನೀತಿ ಪಠ್ಯ ಏನು ಹೇಳುತ್ತದೆ?
  4. Content-Signal ಈಗಾಗಲೇ ನನ್ನ robots.txt ನಲ್ಲಿದೆಯೇ?
  5. AI ಕ್ರಾಲರ್‌ಗಳು Content-Signal ಪಾಲಿಸುತ್ತವೆಯೇ?
  6. ನನ್ನ robots.txt ಗೆ Content-Signal ಸೇರಿಸಬೇಕೇ?
  7. ನನ್ನ robots.txt ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ಏನು ಹೇಳುತ್ತದೆ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?

search, ai-input ಮತ್ತು ai-train ಎಂದರೇನು?

ನೀತಿ ಮೂರು ಸಂಕೇತಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ. ಕೆಳಗಿನ ಪದಗಳು contentsignals.org ಮತ್ತು Cloudflare ಪ್ರಕಟಿಸುವ ನೀತಿ ಪಠ್ಯವನ್ನು ಅನುಸರಿಸುತ್ತವೆ:

ಪ್ರತಿ ಸಂಕೇತ yes ಅಥವಾ no ತೆಗೆದುಕೊಳ್ಳುತ್ತದೆ. ನೀತಿಯ ಪದಗಳಲ್ಲಿ, yes ಎಂದರೆ ಆ ಬಳಕೆಗೆ ವಿಷಯ ಸಂಗ್ರಹಿಸಬಹುದು, no ಎಂದರೆ ಸಂಗ್ರಹಿಸಬಾರದು, ಮತ್ತು ನೀವು ಬಿಟ್ಟ ಸಂಕೇತ ಆ ಬಳಕೆಯನ್ನು ಅನುಮತಿಸುವುದೂ ಇಲ್ಲ, ನಿರ್ಬಂಧಿಸುವುದೂ ಇಲ್ಲ. Cloudflare ನ ಡೀಫಾಲ್ಟ್ search ಮತ್ತು ai-train ಹೊಂದಿಸುತ್ತದೆ ಮತ್ತು ai-input ಅನ್ನು ಖಾಲಿ ಬಿಡುತ್ತದೆ, ಏಕೆಂದರೆ ಆ ಸಂಕೇತಕ್ಕೆ ಪ್ರತಿ ಗ್ರಾಹಕರ ಆದ್ಯತೆ ತನಗೆ ತಿಳಿದಿಲ್ಲ ಮತ್ತು ಊಹಿಸಲು ಬಯಸುವುದಿಲ್ಲ ಎಂದು ಅದು ಹೇಳುತ್ತದೆ.

search ಮತ್ತು ai-input ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನೇ ಹೆಚ್ಚಿನವರು ಗಮನಿಸುವುದಿಲ್ಲ. ನಿಮ್ಮ ಪುಟಗಳು AI ಉತ್ತರಗಳಲ್ಲಿ ಬಳಕೆಯಾಗಬೇಕೆಂದಿದ್ದರೆ, search=yes ಒಂದೇ ಅದನ್ನು ಹೇಳುವುದಿಲ್ಲ. ai-input=yes ಹೇಳುತ್ತದೆ.

robots.txt ನಲ್ಲಿ Content-Signal ಸಾಲನ್ನು ಹೇಗೆ ಬರೆಯುವುದು?

Content-Signal user agent ಗುಂಪಿನೊಳಗೆ, Allow ಮತ್ತು Disallow ಪಕ್ಕದಲ್ಲಿ, ಅಲ್ಪವಿರಾಮಗಳಿಂದ ಬೇರ್ಪಟ್ಟ ಸಂಕೇತಗಳೊಂದಿಗೆ ಬರುತ್ತದೆ. ಪಾತ್‌ನಿಂದ ಶುರುವಾಗುವ ರೂಪವನ್ನೂ contentsignals.org ತೋರಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಸೈಟ್‌ನ ಒಂದು ವಿಭಾಗಕ್ಕೆ ಉಳಿದ ಭಾಗಕ್ಕಿಂತ ಬೇರೆ ಸಂಕೇತಗಳನ್ನು ನೀಡಬಹುದು:

User-Agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

# Search only for the blog
User-Agent: *
Content-Signal: /blog/ search=yes, ai-input=no, ai-train=no
Allow: /blog/

Allow ಮತ್ತು Disallow ಮೊದಲಿನಂತೆಯೇ ಕೆಲಸ ಮಾಡುತ್ತವೆ, ಮತ್ತು Content-Signal ಅವುಗಳನ್ನು ಬದಲಿಸುವುದಿಲ್ಲ. ವ್ಯಾಖ್ಯಾನಿತ ನಿಯಮಗಳಿಗೆ ಅಡ್ಡಿಯಾಗದ ಹೊರತು ಪ್ರೋಟೋಕಾಲ್‌ನ ಭಾಗವಲ್ಲದ ದಾಖಲೆಗಳನ್ನು ಕ್ರಾಲರ್‌ಗಳು ಅರ್ಥೈಸಲು RFC 9309 ಅವಕಾಶ ನೀಡುತ್ತದೆ, ಆದ್ದರಿಂದ ಈ ಸಾಲು ತಿಳಿಯದ ಪಾರ್ಸರ್ ಅದನ್ನು ಬಿಟ್ಟುಬಿಡಬೇಕು.

ತಿಳಿದಿರಬೇಕಾದ ಎರಡು ವಿವರಗಳು. ಮೊದಲು, ಈ ಸಾಲು ಒಂದು ಗುಂಪಿಗೆ ಸೇರುತ್ತದೆ. RFC 9309 ಪ್ರಕಾರ ತನ್ನ ಹೆಸರಿನ ಗುಂಪು ಇರುವ ಕ್ರಾಲರ್ User-agent: * ಗುಂಪನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ, ಮತ್ತು Content Signals ಪುಟಗಳು ಈ ಸಾಲಿಗೆ ಯಾವುದೇ ವಿನಾಯಿತಿಯನ್ನು ವಿವರಿಸುವುದಿಲ್ಲ. ನೀವು Googlebot ಅಥವಾ OAI-SearchBot ಗೆ ಪ್ರತ್ಯೇಕ ಗುಂಪು ನೀಡಿದರೆ, contentsignals.org ತನ್ನ ಪ್ರತಿ-ಕ್ರಾಲರ್ ಉದಾಹರಣೆಯಲ್ಲಿ ಮಾಡುವಂತೆ, Content-Signal ಸಾಲನ್ನು ಅಲ್ಲಿಯೂ ಪುನರಾವರ್ತಿಸಿ. ಎರಡನೆಯದಾಗಿ, Google Search Console ಈ ಸಾಲಿಗೆ Syntax not understood ಎಂದು ವರದಿ ಮಾಡಬಹುದು. Cloudflare ನ ದಾಖಲೆಗಳು ಇದನ್ನು ಉಲ್ಲೇಖಿಸಿ, ಕ್ರಾಲಿಂಗ್ ಅಥವಾ SEO ಮೇಲೆ ಯಾವ ಪರಿಣಾಮವನ್ನೂ ಗಮನಿಸಿಲ್ಲ ಎಂದು ಹೇಳುತ್ತವೆ. Google ನ robots.txt ದಾಖಲೆಗಳು user-agent, allow, disallow ಮತ್ತು sitemap ಅನ್ನು ಮಾತ್ರ ಬೆಂಬಲಿತ ಕ್ಷೇತ್ರಗಳಾಗಿ ಪಟ್ಟಿ ಮಾಡುತ್ತವೆ.

ಸಾಲಿನ ಮೇಲಿರುವ ನೀತಿ ಪಠ್ಯ ಏನು ಹೇಳುತ್ತದೆ?

Content Signals Policy ಒಂದು ಸಾಲಿಗಿಂತ ಹೆಚ್ಚು. contentsignals.org ನಲ್ಲಿನ Cloudflare ನ ಜನರೇಟರ್ ಮತ್ತು ಅದರ managed robots.txt ಎರಡೂ ಸಂಕೇತಗಳ ಮೇಲೆ ಕಾಮೆಂಟ್‌ಗಳ ಒಂದು ಬ್ಲಾಕ್ ಇಡುತ್ತವೆ. ವೆಬ್‌ಸೈಟ್ ಪ್ರವೇಶಿಸುವ ಷರತ್ತಾಗಿ ನೀವು content signals ಪಾಲಿಸಲು ಒಪ್ಪುತ್ತೀರಿ ಎಂದು ಅದು ಶುರುವಾಗುತ್ತದೆ, ನಂತರ ಮೂರು ಸಂಕೇತಗಳನ್ನು ಮತ್ತು yes, no ಹಾಗೂ ಬಿಟ್ಟುಹೋದ ಸಂದರ್ಭಗಳನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ.

content signals ಮೂಲಕ ವ್ಯಕ್ತಪಡಿಸಿದ ಯಾವುದೇ ನಿರ್ಬಂಧಗಳು Digital Single Market ನಲ್ಲಿನ ಹಕ್ಕುಸ್ವಾಮ್ಯ ಕುರಿತ EU Directive 2019/790 ರ Article 4 ಅಡಿಯಲ್ಲಿ ಹಕ್ಕುಗಳ ಸ್ಪಷ್ಟ ಮೀಸಲಾತಿಗಳು ಎಂದು ಹೇಳುವ ದೊಡ್ಡಕ್ಷರದ ವಾಕ್ಯದೊಂದಿಗೆ ಅದು ಮುಗಿಯುತ್ತದೆ. ಈ ಸಂಕೇತಗಳಿಗೆ ವಿವಿಧ ನ್ಯಾಯವ್ಯಾಪ್ತಿಗಳಲ್ಲಿ ಕಾನೂನು ತೂಕ ಇರಬಹುದು ಎಂದು Cloudflare ನ ಘೋಷಣೆ ಸೇರಿಸುತ್ತದೆ.

robots.txt ಫೈಲ್‌ಗಳು ಜಾರಿಗೊಳಿಸಬಹುದಾದ ಕಾನೂನು ಬಾಧ್ಯತೆಗಳನ್ನು ಹೇರುವುದಿಲ್ಲ ಎಂದು ನ್ಯಾಯಾಲಯಗಳು ಮತ್ತು ನಿಯಂತ್ರಕರು ತೀರ್ಮಾನಿಸಬಹುದು ಎಂದು contentsignals.org ತಾನೇ ಎಚ್ಚರಿಸುತ್ತದೆ, ಮತ್ತು ವಕೀಲರನ್ನು ಸಂಪರ್ಕಿಸಲು ಸೂಚಿಸುತ್ತದೆ. ಕಾಮೆಂಟ್ ಬ್ಲಾಕ್ ಅನ್ನು ನಿಮ್ಮ ನಿಲುವಿನ ಲಿಖಿತ ಹೇಳಿಕೆ ಎಂದು ಪರಿಗಣಿಸಿ, ಒಪ್ಪಂದ ಎಂದಲ್ಲ.

Content-Signal ಈಗಾಗಲೇ ನನ್ನ robots.txt ನಲ್ಲಿದೆಯೇ?

ನಿಮ್ಮ ಸೈಟ್ Cloudflare ನಲ್ಲಿದ್ದರೆ, ಎರಡರಲ್ಲಿ ಒಂದು ರೀತಿಯಲ್ಲಿ ಇರಬಹುದು:

use=reference ಭಾಗ ಇತ್ತೀಚಿನದು. Cloudflare use ಅನ್ನು ತಾನು ಪರೀಕ್ಷಿಸುತ್ತಿರುವ ಐಚ್ಛಿಕ ನಾಲ್ಕನೇ ಕ್ಷೇತ್ರ ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಮೂರು ಮೌಲ್ಯಗಳೊಂದಿಗೆ: immediate (ಸಂವಹಿಸಿ, ಆದರೆ ಏನನ್ನೂ ಸಂಗ್ರಹಿಸಬೇಡಿ ಅಥವಾ ಮರುಬಳಸಬೇಡಿ), reference (ಇಂಡೆಕ್ಸ್ ಮಾಡಿ, ಆಯ್ದ ಭಾಗ ನೀಡಿ ಮತ್ತು ಹಿಂದಕ್ಕೆ ಲಿಂಕ್ ಮಾಡಿ) ಮತ್ತು full (ಸಾರಾಂಶ ನೀಡಿ ಮತ್ತು ಪುನರುತ್ಪಾದಿಸಿ). ಇದು ಮೂಲ ಮೂರು ಸಂಕೇತಗಳಲ್ಲಿ ಒಂದಲ್ಲ, ಮತ್ತು ನಾವು ಪರಿಶೀಲಿಸಿದ ಯಾವ ಕ್ರಾಲರ್ ದಾಖಲೆಯೂ ಇದನ್ನು ಉಲ್ಲೇಖಿಸುವುದಿಲ್ಲ.

Cloudflare ಈ ಸಾಲುಗಳನ್ನು edge ನಲ್ಲಿ ಸೇರಿಸುವುದರಿಂದ, ನಿಮ್ಮ ರೆಪಾಸಿಟರಿಯಲ್ಲಿನ ಫೈಲ್ ಬದಲಾಗದಂತೆ ಕಂಡರೂ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಸಿಗುವ ಫೈಲ್ ಬೇರೆಯಾಗಿರಬಹುದು. ನಿಮ್ಮ ಸ್ವಂತ ಸಾಲು ಸೇರಿಸುವ ಮೊದಲು ಲೈವ್ https://yourdomain.com/robots.txt ಪಡೆಯಿರಿ, ಆಗ ಪ್ರತಿಕ್ರಿಯೆ ಎರಡು ಬೇರೆ ನೀತಿಗಳನ್ನು ಹೇಳುವುದಿಲ್ಲ.

ದೊಡ್ಡ ಸೈಟ್‌ಗಳಲ್ಲಿ ಅಳವಡಿಕೆ ಇನ್ನೂ ಕಡಿಮೆ. ಅತ್ಯಂತ ಜನಪ್ರಿಯ 1,000 ಡೊಮೇನ್‌ಗಳ ನಮ್ಮ ನವೆಂಬರ್ 2026 ರ ಅಧ್ಯಯನದಲ್ಲಿ, robots.txt ನೀಡಿದ 518 ಸೈಟ್‌ಗಳಲ್ಲಿ 18 (3.5%) Content-Signal ಬಳಸಿದ್ದವು.

AI ಕ್ರಾಲರ್‌ಗಳು Content-Signal ಪಾಲಿಸುತ್ತವೆಯೇ?

ನಮಗೆ ಸಿಕ್ಕ ಯಾವ ದಾಖಲೆಯ ಪ್ರಕಾರವೂ ಇಲ್ಲ. 17 ನವೆಂಬರ್ 2026 ರಂದು ನಾವು OpenAI, Anthropic, Google ಮತ್ತು Perplexity ನ ಕ್ರಾಲರ್ ಪುಟಗಳನ್ನು ಪರಿಶೀಲಿಸಿದೆವು, ಮತ್ತು ಯಾವುದೂ Content-Signal ಅನ್ನು ಉಲ್ಲೇಖಿಸುವುದಿಲ್ಲ. Cloudflare ತಾನೇ ಈ ಸಂಕೇತಗಳನ್ನು ಸ್ಕ್ರೇಪಿಂಗ್ ವಿರುದ್ಧದ ತಾಂತ್ರಿಕ ಪ್ರತಿಕ್ರಮಗಳಲ್ಲ, ಆದ್ಯತೆಗಳು ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಮತ್ತು ಕೆಲವು ಕಂಪನಿಗಳು ಅವನ್ನು ಸರಳವಾಗಿ ನಿರ್ಲಕ್ಷಿಸಬಹುದು ಎಂದು ಹೇಳುತ್ತದೆ.

AI ಕಂಪನಿಗಳು ಬದಲಿಗೆ ದಾಖಲಿಸಿರುವುದು IETF AI Preferences ವರ್ಕಿಂಗ್ ಗ್ರೂಪ್‌ನ ಕೆಲಸವನ್ನು ಆಧರಿಸಿದ ಪ್ರತ್ಯೇಕ ವ್ಯವಸ್ಥೆ: ಸಾಮಾನ್ಯ User-Agent ಗುಂಪಾಗಿ ಬರೆಯುವ __usage_ai-training ಎಂಬ ನೀತಿ ಟೋಕನ್. ಇದು ತರಬೇತಿಯನ್ನು ಮಾತ್ರ ಒಳಗೊಳ್ಳುತ್ತದೆ, ಮತ್ತು ಇದನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವ Internet-Draft ಪ್ರಕಾರ User-Agent: * ಗುಂಪು ಈ ಟೋಕನ್ ಬಳಕೆ ಎಂದು ಪರಿಗಣಿತವಾಗುವುದಿಲ್ಲ:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

ಬೆಂಬಲ ಅಸಮಾನವಾಗಿದೆ ಮತ್ತು ಭಾಗಶಃ ಇನ್ನೂ ಭವಿಷ್ಯದಲ್ಲಿದೆ. 30 ಅಕ್ಟೋಬರ್ 2026 ರಿಂದ ಯಂತ್ರ-ಓದಬಲ್ಲ ಸಾಮಾನ್ಯ ತರಬೇತಿ ಸಂಕೇತವನ್ನು ಗುರುತಿಸುತ್ತಿದ್ದೇವೆ, ಅದನ್ನು ಹಂತಹಂತವಾಗಿ ಜಾರಿಗೆ ತರುತ್ತಿದ್ದೇವೆ, ಮತ್ತು ClaudeBot ಅನ್ನು ಹೆಸರಿಸುವ ನಿಯಮಕ್ಕೆ ಅದಕ್ಕಿಂತ ಆದ್ಯತೆ ಇದೆ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ. Microsoft Bing ಗಾಗಿ __usage_ai-training ಟೋಕನ್ ಅನ್ನು ದಾಖಲಿಸಿದೆ, ಅದರ ಹೊಸ ಆದ್ಯತೆಗಳು 1 ಫೆಬ್ರವರಿ 2027 ರಿಂದ ಪುಟಗಳು ಕ್ರಾಲ್ ಆದಂತೆ ಜಾರಿಗೆ ಬರುತ್ತವೆ. 2027 ರಲ್ಲಿ ಈ ಹಂಚಿಕೆಯ ನಿಯಂತ್ರಣವನ್ನು ಬೆಂಬಲಿಸುವ ಗುರಿ ಇದೆ ಮತ್ತು Google-Extended ಹೆಸರಿಸದಿದ್ದಾಗ ಅದರ ಮೂಲಕದ ತರಬೇತಿ ಆಪ್ಟ್-ಔಟ್ ಅನ್ನು ಆ ಟೋಕನ್‌ನ disallow ಎಂದು ಪರಿಗಣಿಸುವ ಯೋಜನೆ ಇದೆ ಎಂದು Google ಹೇಳುತ್ತದೆ. OpenAI ಅದೇ ದಿನ ಹಂಚಿಕೆಯ ಸಂಕೇತವನ್ನು ಗೌರವಿಸುತ್ತೇವೆ ಎಂದು ದಿನಾಂಕವಿಲ್ಲದೆ ಘೋಷಣೆ ಪ್ರಕಟಿಸಿತು.

ಹೀಗಾಗಿ ai-train=no ಮತ್ತು __usage_ai-training ಒಂದೇ ರೀತಿಯ ವಿಷಯ ಹೇಳುತ್ತವೆ, ಆದರೆ ಎರಡನೆಯದಕ್ಕೆ ಮಾತ್ರ AI ಕಂಪನಿಗಳ ದಾಖಲಿತ ಬೆಂಬಲವಿದೆ. GPTBot ಮತ್ತು ClaudeBot ನಂತಹ ಪ್ರತಿ-ಕ್ರಾಲರ್ ಟೋಕನ್‌ಗಳೇ ಇಂದು ಪ್ರತಿ ಮಾರಾಟಗಾರರು ಅನ್ವಯಿಸುವ ನಿಯಂತ್ರಣಗಳು.

ನನ್ನ robots.txt ಗೆ Content-Signal ಸೇರಿಸಬೇಕೇ?

ನಿಮ್ಮ ಬಳಕೆ ನೀತಿಯನ್ನು ಯಂತ್ರಗಳು ಮತ್ತು ಜನರು ಓದಬಲ್ಲ ಒಂದೇ ಸ್ಥಳದಲ್ಲಿ ಬರೆದಿಡಲು ಬಯಸಿದರೆ ಸೇರಿಸಿ. ಇದು ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ai-input ಆದ್ಯತೆಯನ್ನು ಒಂದೇ ಸಾಲಿನಲ್ಲಿ ಹೇಳುತ್ತದೆ, ಮಾರಾಟಗಾರರ ಟೋಕನ್‌ಗಳು ಅದನ್ನು ಕ್ರಾಲರ್‌ವಾರು ಮಾತ್ರ ಹೇಳಬಲ್ಲವು. ಇದಕ್ಕೆ ಒಂದು ಸಾಲು ಸಾಕು, ಮತ್ತು ಇದನ್ನು ತಿಳಿಯದ ಪಾರ್ಸರ್‌ಗಳು ಬಿಟ್ಟುಬಿಡುತ್ತವೆ.

ಇದನ್ನು ಮಾತ್ರ ಅವಲಂಬಿಸಬೇಡಿ. ವಿಷಯವನ್ನು ತರಬೇತಿಯಿಂದ ಹೊರಗಿಡಲು, ದಾಖಲಿತ ತರಬೇತಿ ಟೋಕನ್‌ಗಳನ್ನೂ ನಿಷೇಧಿಸಿ ಮತ್ತು ಹಂಚಿಕೆಯ ತರಬೇತಿ ಟೋಕನ್ ಅನ್ನು ಪರಿಗಣಿಸಿ; AI ಹುಡುಕಾಟದಲ್ಲಿ ಉಳಿದು AI ತರಬೇತಿಯನ್ನು ತಡೆಯುವ ನಮ್ಮ ಮಾರ್ಗದರ್ಶಿ ಮಾರಾಟಗಾರವಾರು ಟೋಕನ್‌ಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ. robots.txt ನಿರ್ಲಕ್ಷಿಸುವ ಯಾವುದಕ್ಕೂ ಫೈರ್‌ವಾಲ್ ನಿಯಮ ಮಾತ್ರ ತಡೆಯನ್ನು ಜಾರಿಗೊಳಿಸುತ್ತದೆ.

ಕೊನೆಯದಾಗಿ, ಈ ಸಾಲು ಫೈಲ್‌ನ ಉಳಿದ ಭಾಗದೊಂದಿಗೆ ಹೊಂದುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ. OAI-SearchBot ಅಥವಾ PerplexityBot ಗಾಗಿ Allow ಗುಂಪಿನ ಪಕ್ಕದಲ್ಲಿ ai-input=no ಗೊಂದಲದ ಸಂದೇಶ ನೀಡುತ್ತದೆ: AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಒಳಗೆ ಬಿಡುತ್ತೀರಿ, ಆದರೆ ಅವು ಪಡೆದದ್ದನ್ನು ಅವುಗಳ ಉತ್ತರಗಳು ಬಳಸಬಾರದು ಎನ್ನುತ್ತೀರಿ.

ನನ್ನ robots.txt ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ಏನು ಹೇಳುತ್ತದೆ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?

ಉಚಿತ AISeeWhy robots.txt ಪರೀಕ್ಷಕ ಪುಟದ ವಿಳಾಸ ಅಥವಾ ಅಂಟಿಸಿದ robots.txt ತೆಗೆದುಕೊಂಡು, ಪ್ರತಿ AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗೆ ಆ ಪುಟವನ್ನು ಪಡೆಯಬಹುದೇ ಎಂದು ತೋರಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ Cloudflare ಮುಂದೆ ಸೇರಿಸಿದ್ದೂ ಸೇರಿದಂತೆ ಲೈವ್ ಫೈಲ್ ನೀವು ಉದ್ದೇಶಿಸಿದ್ದನ್ನೇ ಹೇಳುತ್ತದೆ ಎಂದು ದೃಢಪಡಿಸಬಹುದು. ಉಚಿತ robots.txt ಜನರೇಟರ್ ನಿಮ್ಮ ಆಯ್ಕೆಗಳಿಂದ ಫೈಲ್ ಬರೆಯುತ್ತದೆ.

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

Content-Signal robots.txt ಮಾನದಂಡದ ಭಾಗವೇ?

ಇಲ್ಲ. RFC 9309 User-agent, Allow ಮತ್ತು Disallow ಅನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುತ್ತದೆ ಮತ್ತು ಇತರ ದಾಖಲೆಗಳನ್ನು ಅರ್ಥೈಸಲು ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಬಿಡುತ್ತದೆ. Content-Signal CC0 ಪರವಾನಗಿಯಡಿ ಬಿಡುಗಡೆಯಾದ Cloudflare ನ Content Signals Policy ಯಿಂದ ಬಂದಿದೆ. ಪ್ರತ್ಯೇಕವಾಗಿ, IETF AI Preferences ವರ್ಕಿಂಗ್ ಗ್ರೂಪ್ robots.txt ಗಾಗಿ ತನ್ನದೇ Content-Usage ನಿಯಮವನ್ನು ರೂಪಿಸುತ್ತಿದೆ, ಅದು ಇನ್ನೂ Internet-Draft, ಮಾನದಂಡವಲ್ಲ.

ai-train=no GPTBot ಅಥವಾ ClaudeBot ಅನ್ನು ತಡೆಯುತ್ತದೆಯೇ?

ಮಾರಾಟಗಾರರ ದಾಖಲೆಗಳ ಪ್ರಕಾರ ಇಲ್ಲ. OpenAI ಮತ್ತು Anthropic GPTBot ಮತ್ತು ClaudeBot ಅನ್ನು ಹೆಸರಿಸುವ robots.txt ನಿಯಮಗಳ ಮೂಲಕ ನಿಯಂತ್ರಣವನ್ನು ವಿವರಿಸುತ್ತವೆ, ಮತ್ತು ಯಾವ ಕ್ರಾಲರ್ ಪುಟವೂ Content-Signal ಅನ್ನು ಉಲ್ಲೇಖಿಸುವುದಿಲ್ಲ. ಇವೆರಡರಲ್ಲಿ ಯಾವುದರ ತರಬೇತಿಯಿಂದಲೂ ಹೊರಗುಳಿಯಲು, ಟೋಕನ್ ಅನ್ನು ಹೆಸರಿನಿಂದ ನಿಷೇಧಿಸಿ.

Content-Signal ಮತ್ತು __usage_ai-training ನಡುವಿನ ವ್ಯತ್ಯಾಸವೇನು?

Content-Signal ಗುಂಪಿನೊಳಗಿನ ಒಂದು ಸಾಲು ಮತ್ತು ಹುಡುಕಾಟ, AI ಇನ್‌ಪುಟ್ ಹಾಗೂ ತರಬೇತಿಯನ್ನು ಒಳಗೊಳ್ಳುತ್ತದೆ. __usage_ai-training ತನ್ನದೇ User-Agent ಗುಂಪಾಗಿ ಬಳಸುವ ನೀತಿ ಟೋಕನ್ ಮತ್ತು ತರಬೇತಿಯನ್ನು ಮಾತ್ರ ಒಳಗೊಳ್ಳುತ್ತದೆ. Anthropic, Microsoft, Google ಮತ್ತು OpenAI ಹಂಚಿಕೆಯ ತರಬೇತಿ ಸಂಕೇತದ ಬಗ್ಗೆ ಹೇಳಿಕೆಗಳನ್ನು ಪ್ರಕಟಿಸಿವೆ; ಯಾವುದೂ Content-Signal ಅನ್ನು ದಾಖಲಿಸಿಲ್ಲ.

Google Search Console ಏಕೆ Syntax not understood ಎನ್ನುತ್ತದೆ?

Google ನ robots.txt ದಾಖಲೆಗಳು user-agent, allow, disallow ಮತ್ತು sitemap ಅನ್ನು ಮಾತ್ರ ಬೆಂಬಲಿಸುತ್ತವೆ, ಆದ್ದರಿಂದ ಇತರ ಸಾಲುಗಳನ್ನು ಗುರುತಿಸಬಹುದು. ಈ ವರದಿಗಳಿಂದ ಕ್ರಾಲಿಂಗ್ ದರ ಅಥವಾ SEO ಮೇಲೆ ಯಾವ ಪರಿಣಾಮವನ್ನೂ ಗಮನಿಸಿಲ್ಲ ಎಂದು Cloudflare ಹೇಳುತ್ತದೆ.

use=reference ಎಂದರೇನು?

ಇದು Cloudflare ಪರೀಕ್ಷಿಸುತ್ತಿರುವ ನಾಲ್ಕನೇ ಕ್ಷೇತ್ರ. reference ಎಂದರೆ ಇಂಡೆಕ್ಸ್ ಮಾಡಿ, ಆಯ್ದ ಭಾಗ ನೀಡಿ ಮತ್ತು ಹಿಂದಕ್ಕೆ ಲಿಂಕ್ ಮಾಡಿ. Cloudflare ಇದನ್ನು managed robots.txt ಫೈಲ್‌ಗಳಿಗೆ ಸೇರಿಸುತ್ತದೆ, ಮತ್ತು ನಾವು ಪರಿಶೀಲಿಸಿದ ಯಾವ ಕ್ರಾಲರ್ ದಾಖಲೆಯೂ ಇದನ್ನು ಉಲ್ಲೇಖಿಸುವುದಿಲ್ಲ.

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು