Claude ನನ್ನ ವೆಬ್‌ಸೈಟ್ ನೋಡಬಲ್ಲದೇ? ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು

ಪ್ರಕಟಿಸಲಾಗಿದೆ · ನವೀಕರಿಸಲಾಗಿದೆ

ಚಿಕ್ಕ ಉತ್ತರ

ನಿಮ್ಮ robots.txt Anthropic ನ ಏಜೆಂಟ್‌ಗಳನ್ನು ಅನುಮತಿಸಿದರೆ ಮತ್ತು ನಿಮ್ಮ ಸರ್ವರ್ ಅವುಗಳಿಗೆ ಬ್ರೌಸರ್‌ಗೆ ಸಿಗುವ ಅದೇ HTML ಕಳುಹಿಸಿದರೆ ಮಾತ್ರ Claude ನಿಮ್ಮ ಪುಟವನ್ನು ಓದಬಲ್ಲದು. robots.txt Claude-SearchBot ಅಥವಾ Claude-User ಅನ್ನು ನಿಷೇಧಿಸುವುದಿಲ್ಲ, ನಿಮ್ಮ ಫೈರ್‌ವಾಲ್ ಅವುಗಳಿಗೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ನೀಡುವುದಿಲ್ಲ, ಮತ್ತು ಮುಖ್ಯ ಪಠ್ಯ ಆರಂಭಿಕ HTML ನಲ್ಲೇ ಇದೆ ಎಂದು ಪರಿಶೀಲಿಸಿ. ನಂತರ Claude ಅನ್ನೇ ಪರೀಕ್ಷಿಸಿ: ಚಾಟ್‌ನಲ್ಲಿ ನಿಮ್ಮ URL ಅಂಟಿಸಿ, ವೆಬ್ ಹುಡುಕಾಟ ಆನ್ ಮಾಡಿ ನಿಮ್ಮ ಖರೀದಿದಾರರ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಿ.

ನಿಮ್ಮ ಉತ್ಪನ್ನದ ಬಗ್ಗೆ Claude ಗೆ ಕೇಳಿದಾಗ ಅದು ಬೇರೆ ಸೈಟ್‌ಗಳನ್ನು ಉಲ್ಲೇಖಿಸಿದರೆ, ಮೊದಲ ಪ್ರಶ್ನೆ: ಅದು ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ತಲುಪಬಲ್ಲದೇ? ಇದಕ್ಕೆ ಪರೀಕ್ಷಿಸಬಹುದಾದ ಉತ್ತರವಿದೆ. Anthropic ತನ್ನ ಏಜೆಂಟ್‌ಗಳ robots.txt ಟೋಕನ್‌ಗಳನ್ನು ಮತ್ತು ಅವು ಬರುವ IP ವಿಳಾಸಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತದೆ, ಮತ್ತು Claude ತಾನು ಬಳಸಿದ ಮೂಲಗಳನ್ನು ತೋರಿಸುತ್ತದೆ. ಆದ್ದರಿಂದ ಪ್ರತಿ ಹೆಜ್ಜೆಯನ್ನೂ ಕ್ರಮವಾಗಿ ಪರಿಶೀಲಿಸಬಹುದು: ನಿಮ್ಮ robots.txt ಏನು ಹೇಳುತ್ತದೆ, ನಿಮ್ಮ ಸರ್ವರ್ ಏನು ಕಳುಹಿಸುತ್ತದೆ, ನಿಮ್ಮ ಲಾಗ್‌ಗಳಲ್ಲಿ ಏನು ದಾಖಲಾಗುತ್ತದೆ, ಮತ್ತು ನೀವು ಪುಟವನ್ನು ನೀಡಿದಾಗ Claude ಅದರೊಂದಿಗೆ ಏನು ಮಾಡುತ್ತದೆ.

ಈ ಪುಟದಲ್ಲಿ
  1. 5 ನಿಮಿಷದ ಪರಿಶೀಲನೆ, ಹಂತ ಹಂತವಾಗಿ
  2. Claude ವೆಬ್‌ಸೈಟ್‌ಗಳನ್ನು ಹೇಗೆ ಓದುತ್ತದೆ?
  3. robots.txt ಮೂಲಕ Claude ನನ್ನ ವೆಬ್‌ಸೈಟ್ ಪ್ರವೇಶಿಸಬಲ್ಲದೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
  4. ನನ್ನ ಸರ್ವರ್‌ನಿಂದ Claude ನ ಏಜೆಂಟ್‌ಗಳಿಗೆ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ಹೇಗೆ ಪರೀಕ್ಷಿಸುವುದು?
  5. Claude ನಿಜವಾಗಿ ನನ್ನ ಸೈಟ್‌ಗೆ ಭೇಟಿ ನೀಡುತ್ತದೆಯೇ ಎಂದು ಹೇಗೆ ನೋಡುವುದು?
  6. ನನ್ನ ಪುಟದೊಂದಿಗೆ Claude ಅನ್ನೇ ಹೇಗೆ ಪರೀಕ್ಷಿಸುವುದು?
  7. Claude ನನ್ನ ಪುಟವನ್ನು ಓದಬಲ್ಲದು, ಆದರೂ ಉಲ್ಲೇಖಿಸದಿದ್ದರೆ?
  8. AISeeWhy ಇದನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ?

5 ನಿಮಿಷದ ಪರಿಶೀಲನೆ, ಹಂತ ಹಂತವಾಗಿ

  1. ನಿಮ್ಮ robots.txt ತೆರೆಯಿರಿ ಮತ್ತು Claude-SearchBot, Claude-User ಅಥವಾ User-agent: * ಗಾಗಿ ಯಾವ ಗುಂಪೂ ಪುಟವನ್ನು ನಿಷೇಧಿಸುತ್ತಿಲ್ಲ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ. ClaudeBot ತರಬೇತಿಗೆ ಮಾತ್ರ ಮುಖ್ಯ.
  2. AISeeWhy ನಲ್ಲಿ ಪುಟದ ಉಚಿತ ಪರಿಶೀಲನೆ ನಡೆಸಿ ಅಥವಾ Claude-User ಬಳಕೆದಾರ ಏಜೆಂಟ್‌ನೊಂದಿಗೆ ಒಂದು ವಿನಂತಿ ಕಳುಹಿಸಿ: ಅದಕ್ಕೆ ಸ್ಥಿತಿ 200 ಮತ್ತು ಬ್ರೌಸರ್‌ಗೆ ಸಿಗುವ ಅದೇ ಪಠ್ಯ ಸಿಗಬೇಕು.
  3. ನಿಮ್ಮ ಆಕ್ಸೆಸ್ ಲಾಗ್‌ನಲ್ಲಿ Claude-SearchBot ಮತ್ತು Claude-User ಗಾಗಿ ಹುಡುಕಿ ಮತ್ತು ಅವುಗಳಿಗೆ ಸಿಕ್ಕ ಸ್ಥಿತಿ ಕೋಡ್‌ಗಳನ್ನು ನೋಡಿ.
  4. ವೆಬ್ ಹುಡುಕಾಟ ಆನ್ ಮಾಡಿ ನಿಮ್ಮ URL ಅನ್ನು Claude ನಲ್ಲಿ ಅಂಟಿಸಿ, ಪುಟದ ಸಾರಾಂಶ ಕೇಳಿ, ನಂತರ ನಿಮ್ಮ ಖರೀದಿದಾರರು ಕೇಳುವ ಪ್ರಶ್ನೆ ಕೇಳಿ ಉಲ್ಲೇಖಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.

ಹಂತ 1 ಅಥವಾ 2 ವಿಫಲವಾದರೆ, ಮೊದಲು ಪ್ರವೇಶವನ್ನು ಸರಿಪಡಿಸಿ; ಕೆಳಗಿನ ವಿಭಾಗಗಳು ಹೇಗೆ ಎಂದು ತೋರಿಸುತ್ತವೆ. Claude ಪುಟವನ್ನು ಓದಿದರೂ ಉಲ್ಲೇಖಿಸದಿದ್ದರೆ, ವಿಷಯದ ಮೇಲೆ ಕೆಲಸ ಮಾಡಿ.

Claude ವೆಬ್‌ಸೈಟ್‌ಗಳನ್ನು ಹೇಗೆ ಓದುತ್ತದೆ?

Claude ವೆಬ್ ಅನ್ನು ಎರಡು ರೀತಿಯಲ್ಲಿ ತಲುಪುತ್ತದೆ. ವೆಬ್ ಹುಡುಕಾಟ ಆನ್ ಇದ್ದಾಗ, ಪ್ರಶ್ನೆಗೆ ಇತ್ತೀಚಿನ ಮಾಹಿತಿ ಬೇಕಾದರೆ ಅದು ಹುಡುಕುತ್ತದೆ, ಹಲವು ಮೂಲಗಳನ್ನು ನೋಡುತ್ತದೆ ಮತ್ತು ಉಲ್ಲೇಖಗಳೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತದೆ. ವೆಬ್ ಹುಡುಕಾಟ ಬಳಸುವ ಪ್ರತಿ ಉತ್ತರದಲ್ಲೂ ಉಲ್ಲೇಖಗಳಿರುತ್ತವೆ ಎಂದು Anthropic ನ ಸಹಾಯ ಕೇಂದ್ರ ಹೇಳುತ್ತದೆ. ಯಾರಾದರೂ Claude ಗೆ ನಿರ್ದಿಷ್ಟ ಲಿಂಕ್ ನೀಡಿದಾಗ, ಅದು ಆ ಪುಟವನ್ನು ನೇರವಾಗಿ ತೆರೆಯಬಲ್ಲದು.

ಇದಕ್ಕಾಗಿ Anthropic ಮೂರು ಏಜೆಂಟ್‌ಗಳನ್ನು ದಾಖಲಿಸಿದೆ, ಪ್ರತಿಯೊಂದಕ್ಕೂ ತನ್ನದೇ robots.txt ಟೋಕನ್ ಇದೆ. Claude-SearchBot Claude ನ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳನ್ನು ಸುಧಾರಿಸಲು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ, Claude-User ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗೆ ಬೇಕಾದಾಗ ಪುಟಗಳನ್ನು ಪಡೆಯುತ್ತದೆ, ಮತ್ತು ClaudeBot ತರಬೇತಿಗೆ ಬಳಸಬಹುದಾದ ವಿಷಯವನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ಪ್ರತಿಯೊಂದೂ ಏನು ಮಾಡುತ್ತದೆ ಎಂಬುದನ್ನು Anthropic ನ ಮೂರು ಕ್ರಾಲರ್‌ಗಳ ಕುರಿತ ನಮ್ಮ ಪ್ರತ್ಯೇಕ ಮಾರ್ಗದರ್ಶಿ ವಿವರವಾಗಿ ತಿಳಿಸುತ್ತದೆ. ಓದಲ್ಪಡಲು ಮತ್ತು ಉಲ್ಲೇಖಗೊಳ್ಳಲು ಮೊದಲ ಎರಡನ್ನು ಪರಿಶೀಲಿಸಬೇಕು.

ಒಂದು ಪ್ರಾಮಾಣಿಕ ಮಿತಿ: Claude ನ ವೆಬ್ ಹುಡುಕಾಟ ಯಾವ ಹುಡುಕಾಟ ಇಂಡೆಕ್ಸ್ ಬಳಸುತ್ತದೆ ಅಥವಾ ಮೂಲಗಳನ್ನು ಹೇಗೆ ಆರಿಸುತ್ತದೆ ಎಂದು Anthropic ದಾಖಲಿಸಿಲ್ಲ. Claude-SearchBot ಅನ್ನು ತಡೆದರೆ ಹುಡುಕಾಟ ಫಲಿತಾಂಶಗಳಲ್ಲಿ ನಿಮ್ಮ ಗೋಚರತೆ ಕಡಿಮೆಯಾಗಬಹುದು, ಮತ್ತು Claude-User ಅನ್ನು ತಡೆದರೆ ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗಳಿಗಾಗಿ ಪುಟ ಪಡೆಯುವುದು ನಿಲ್ಲುತ್ತದೆ ಎಂದು ಅದು ಹೇಳುತ್ತದೆ. ಎರಡನ್ನೂ ಅನುಮತಿಸುವುದು ಉಲ್ಲೇಖವನ್ನು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ; ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ.

robots.txt ಮೂಲಕ Claude ನನ್ನ ವೆಬ್‌ಸೈಟ್ ಪ್ರವೇಶಿಸಬಲ್ಲದೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?

https://yourdomain.com/robots.txt ತೆರೆಯಿರಿ ಮತ್ತು Claude-SearchBot ಅಥವಾ Claude-User ಹೆಸರಿರುವ ಗುಂಪುಗಳನ್ನು ಹುಡುಕಿ. ಯಾವುದನ್ನೂ ಹೆಸರಿಸದಿದ್ದರೆ, ಎರಡೂ User-agent: * ಗುಂಪನ್ನು ಅನುಸರಿಸುತ್ತವೆ. RFC 9309 ಪ್ರಕಾರ ಟೋಕನ್ ಹೊಂದಾಣಿಕೆ ದೊಡ್ಡಕ್ಷರ-ಸಣ್ಣಕ್ಷರ ಭೇದ ಮಾಡುವುದಿಲ್ಲ, ಮತ್ತು ಅನ್ವಯಿಸುವ ಗುಂಪಿನಲ್ಲಿ Disallow: / ಇದ್ದರೆ ಇಡೀ ಸೈಟ್ ಆ ಏಜೆಂಟ್‌ಗೆ ಮುಚ್ಚಲ್ಪಡುತ್ತದೆ.

ಪ್ರತಿಕ್ರಿಯೆಯನ್ನೂ ಪರಿಶೀಲಿಸಿ. ಸರ್ವರ್ ದೋಷ ನೀಡುವ robots.txt ಎಲ್ಲವೂ ನಿಷೇಧಿತ ಎಂದು ಭಾವಿಸುವಂತೆ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಹೇಳುತ್ತದೆ. 404 ಎಂದರೆ ಯಾವುದೇ ನಿಯಮಗಳಿಲ್ಲ. ಎರಡು ಕಮಾಂಡ್‌ಗಳು ಸ್ಥಿತಿ ಮತ್ತು ಫೈಲ್‌ನ ಪ್ರತಿ ಗುಂಪನ್ನು ತೋರಿಸುತ್ತವೆ:

# Status and content type of robots.txt (expect 200 and text/plain, or 404)
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" https://example.com/robots.txt

# Every user-agent, allow and disallow line, with line numbers
curl -s https://example.com/robots.txt | grep -n -i -E "^(user-agent|allow|disallow):"

ನಿಯಮಗಳು ಪ್ರತಿ ಸಬ್‌ಡೊಮೇನ್‌ನ ಮೇಲ್ಮಟ್ಟದ robots.txt ನಲ್ಲಿರಬೇಕು ಎಂದು Anthropic ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ blog.example.com ಗೆ ತನ್ನದೇ ಫೈಲ್ ಬೇಕು. ಈ ತಡೆಗಳು ಅಪರೂಪವಲ್ಲ. ಅತ್ಯಂತ ಜನಪ್ರಿಯ 1,000 ಡೊಮೇನ್‌ಗಳ ನಮ್ಮ ಅಧ್ಯಯನದಲ್ಲಿ, robots.txt ನೀಡಿದ 518 ಸೈಟ್‌ಗಳಲ್ಲಿ 67 (12.9%) Claude-SearchBot ಗೆ ಮತ್ತು 68 (13.1%) Claude-User ಗೆ ಮುಖಪುಟವನ್ನು ನಿಷೇಧಿಸಿದ್ದವು, ಹಾಗೆಯೇ 110 (21.2%) ತರಬೇತಿ ಕ್ರಾಲರ್ ClaudeBot ಗೆ ನಿಷೇಧಿಸಿದ್ದವು.

ನನ್ನ ಸರ್ವರ್‌ನಿಂದ Claude ನ ಏಜೆಂಟ್‌ಗಳಿಗೆ ಏನು ಸಿಗುತ್ತದೆ ಎಂದು ಹೇಗೆ ಪರೀಕ್ಷಿಸುವುದು?

robots.txt ಒಂದು ವಿನಂತಿ, ಪ್ರವೇಶ ನಿಯಂತ್ರಣವಲ್ಲ. ನಿಮ್ಮ ಬ್ರೌಸರ್‌ನಲ್ಲಿ ಪುಟ ಸಾಮಾನ್ಯವಾಗಿ ಕಾಣುತ್ತಿರುವಾಗಲೇ ಫೈರ್‌ವಾಲ್, CDN ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣೆ Anthropic ನ ಏಜೆಂಟ್‌ಗಳಿಗೆ 403, 429 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ನೀಡಬಹುದು. ತನ್ನ ಬಾಟ್‌ಗಳು CAPTCHA ಗಳನ್ನು ದಾಟಲು ಪ್ರಯತ್ನಿಸುವುದಿಲ್ಲ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಚಾಲೆಂಜ್ ಪುಟ ಬಂದರೆ ಭೇಟಿ ಅಲ್ಲೇ ಮುಗಿಯುತ್ತದೆ.

ಅದೇ URL ಅನ್ನು ಬ್ರೌಸರ್ user agent ನೊಂದಿಗೆ ಮತ್ತು ಪ್ರತಿ Anthropic ಟೋಕನ್‌ನೊಂದಿಗೆ ವಿನಂತಿಸಿ, ನಂತರ ಸ್ಥಿತಿ ಮತ್ತು ಗಾತ್ರವನ್ನು ಹೋಲಿಸಿ:

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; Claude-SearchBot)" \
          "Mozilla/5.0 (compatible; Claude-User)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}  $UA\n" -A "$UA" "$URL"
done

Anthropic ನ ಸಹಾಯ ಪುಟ ಟೋಕನ್‌ಗಳನ್ನು ಹೆಸರಿಸುತ್ತದೆ, ಆದರೆ ಪೂರ್ಣ user agent ಸ್ಟ್ರಿಂಗ್‌ಗಳನ್ನು ಪ್ರಕಟಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಇವು ಪರೀಕ್ಷಾ ಸ್ಟ್ರಿಂಗ್‌ಗಳು, Anthropic ನ ನಿಜವಾದವಲ್ಲ. ಹೆಸರಿಗೆ ಹೊಂದುವ ನಿಯಮಗಳು ವಿನಂತಿಯನ್ನು ಹೇಗೆ ನಡೆಸಿಕೊಳ್ಳುತ್ತವೆ ಎಂದು ಇವು ತೋರಿಸುತ್ತವೆ. Claude ಸಾಲುಗಳಿಗೆ ಮಾತ್ರ 403, 429 ಅಥವಾ 503, ಅಥವಾ ಬ್ರೌಸರ್‌ಗಿಂತ ತುಂಬಾ ಚಿಕ್ಕ 200 ಸಿಕ್ಕರೆ, ಕಾರಣ ನಿಮ್ಮ ಫೈರ್‌ವಾಲ್.

ನಿಮ್ಮ ಪರೀಕ್ಷೆ ನಿಮ್ಮ ಸ್ವಂತ IP ವಿಳಾಸದಿಂದ ಬರುತ್ತದೆ. claude.com/crawling/bots.json ನಲ್ಲಿನ ಪಟ್ಟಿಯ ವಿಳಾಸಗಳಿಂದ ಬರುವ ವಿನಂತಿಗಳು Anthropic ನವು ಎಂದು Anthropic ಹೇಳುತ್ತದೆ. ನಿಮ್ಮ ಫೈರ್‌ವಾಲ್ ಪರಿಶೀಲಿತ ಕ್ರಾಲರ್‌ಗಳನ್ನು IP ಆಧಾರದಲ್ಲಿ ಅನುಮತಿಸಿದರೆ, ನಿಜವಾದ ಏಜೆಂಟ್‌ಗಳು ಒಳಗೆ ಬಂದು ನಿಮ್ಮ ಪರೀಕ್ಷೆ ತಡೆಯಲ್ಪಡಬಹುದು, ಮತ್ತು ಇದರ ವಿರುದ್ಧವೂ ಸಾಧ್ಯ. ಈ ಪಟ್ಟಿಯನ್ನು Anthropic ಅನ್ನು ಅನುಮತಿಸಲು ಬಳಸಿ, ತಡೆಯಲು ಅಲ್ಲ: IP ತಡೆಯಿಂದ ತನ್ನ ಬಾಟ್‌ಗಳು ನಿಮ್ಮ robots.txt ಓದುವುದೂ ನಿಲ್ಲುವುದರಿಂದ Anthropic ಅದನ್ನು ಶಿಫಾರಸು ಮಾಡುವುದಿಲ್ಲ.

Claude ನಿಜವಾಗಿ ನನ್ನ ಸೈಟ್‌ಗೆ ಭೇಟಿ ನೀಡುತ್ತದೆಯೇ ಎಂದು ಹೇಗೆ ನೋಡುವುದು?

ನಿಮ್ಮ ಆಕ್ಸೆಸ್ ಲಾಗ್‌ಗಳು ಇದಕ್ಕೆ ನೇರ ಉತ್ತರ ನೀಡುತ್ತವೆ. ಮೂರು ಟೋಕನ್‌ಗಳಿಗಾಗಿ ಅವುಗಳಲ್ಲಿ ಹುಡುಕಿ, ನಂತರ ಮೂಲ ವಿಳಾಸಗಳು Anthropic ಪ್ರಕಟಿಸಿದ ಶ್ರೇಣಿಗಳಲ್ಲಿವೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ, ಏಕೆಂದರೆ user agent ಹೆಸರನ್ನು ಯಾರಾದರೂ ನಕಲಿಸಬಹುದು:

# Requests that name an Anthropic agent: count by client IP and status code
grep -i -E "claude-searchbot|claude-user|claudebot" access.log \
  | awk '{print $1, $9}' | sort | uniq -c | sort -rn | head -20

# Anthropic's published IP ranges
curl -s https://claude.com/crawling/bots.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

ಮೊದಲ ಕಮಾಂಡ್ ಸಾಮಾನ್ಯ combined ಲಾಗ್ ಸ್ವರೂಪವನ್ನು ಊಹಿಸುತ್ತದೆ, ಅಲ್ಲಿ ಕ್ಷೇತ್ರ 1 ಕ್ಲೈಂಟ್ ವಿಳಾಸ ಮತ್ತು ಕ್ಷೇತ್ರ 9 ಸ್ಥಿತಿ ಕೋಡ್. Anthropic ನ ಏಜೆಂಟ್‌ಗಳ ಪಕ್ಕದಲ್ಲಿ ಅನೇಕ 403 ಅಥವಾ 429 ಕೋಡ್‌ಗಳಿದ್ದರೆ ಅದು ಫೈರ್‌ವಾಲ್ ಸಮಸ್ಯೆಯನ್ನು ದೃಢಪಡಿಸುತ್ತದೆ. Claude-SearchBot ನಿಂದ ಒಂದೂ ಭೇಟಿ ಇಲ್ಲದಿದ್ದರೆ, ಅದು ಆ ಪುಟಗಳನ್ನು ಇನ್ನೂ ಕ್ರಾಲ್ ಮಾಡಿಲ್ಲ ಅಥವಾ ಅದಕ್ಕೂ ಮುಂಚಿನ ಯಾವುದೋ ಹಂತ ಅದನ್ನು ತಡೆಯುತ್ತಿದೆ ಎಂದು ಮಾತ್ರ ಅರ್ಥ.

ನನ್ನ ಪುಟದೊಂದಿಗೆ Claude ಅನ್ನೇ ಹೇಗೆ ಪರೀಕ್ಷಿಸುವುದು?

ಚಾಟ್ ತೆರೆಯಿರಿ ಮತ್ತು “ಈ ಪುಟದ ಸಾರಾಂಶ ನೀಡಿ” ಎಂಬಂತಹ ವಿನಂತಿಯೊಂದಿಗೆ ನಿಮ್ಮ ಪುಟವೊಂದರ URL ಅಂಟಿಸಿ. ವೆಬ್ ಹುಡುಕಾಟ ಆನ್ ಇದ್ದಾಗ Claude ನೀವು ನೀಡುವ ಲಿಂಕ್‌ಗಳನ್ನು ತೆರೆಯಬಲ್ಲದು ಎಂದು Anthropic ನ ಸಹಾಯ ಕೇಂದ್ರ ಹೇಳುತ್ತದೆ. ವೆಬ್ ಹುಡುಕಾಟ ಆಫ್ ಇದ್ದರೆ, + ಮೆನುವಿನಿಂದ ಆನ್ ಮಾಡಿ; Anthropic ನ ಹೊಸ Claude ಅನುಭವದಲ್ಲಿ ಟಾಗಲ್ ಇಲ್ಲ, ಉಪಯುಕ್ತವಾದಾಗ Claude ತಾನೇ ಹುಡುಕುತ್ತದೆ. Team ಮತ್ತು Enterprise ಪ್ಲಾನ್‌ಗಳಲ್ಲಿ ಮಾಲೀಕರು ಮೊದಲು ಸಂಸ್ಥೆಗೆ ವೆಬ್ ಹುಡುಕಾಟವನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಬೇಕು. ಬ್ರೌಸರ್ ತೆರೆಯಬಲ್ಲ ನಿಮ್ಮ ಪುಟವನ್ನು Claude ತೆರೆಯಲಾಗದಿದ್ದರೆ, ಫೈರ್‌ವಾಲ್ ಪರೀಕ್ಷೆಗೆ ಹಿಂತಿರುಗಿ.

ನಂತರ ನಿಮ್ಮ ಸೈಟ್ ಹೆಸರಿಸದೆ ನಿಮ್ಮ ಖರೀದಿದಾರರು ಕೇಳುವ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಿ, ಉಲ್ಲೇಖಿತ ಮೂಲಗಳನ್ನು ತೆರೆಯಿರಿ. ಸ್ಥಳೀಯ ಫಲಿತಾಂಶಗಳಿಗಾಗಿ Claude ನಿಮ್ಮ IP ವಿಳಾಸದಿಂದ ಊಹಿಸಿದ ಸ್ಥಳವನ್ನು ಬಳಸಬಹುದು ಎಂದು Anthropic ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಉತ್ತರಗಳು ಸ್ಥಳದಿಂದ ಸ್ಥಳಕ್ಕೆ ಮತ್ತು ಪ್ರತಿ ಬಾರಿ ಬದಲಾಗಬಹುದು.

ಡೆವಲಪರ್‌ಗಳು ಇದನ್ನು Claude API ಮೂಲಕ ಪುನರಾವರ್ತಿಸಬಹುದು. ವೆಬ್ ಹುಡುಕಾಟ ಟೂಲ್ allowed_domains ಪಟ್ಟಿಯನ್ನು ಸ್ವೀಕರಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ ಡೊಮೇನ್‌ಗೆ ಸೀಮಿತವಾದ ವಿನಂತಿ ಒಂದು ಪ್ರಶ್ನೆಗೆ Claude ನ ಹುಡುಕಾಟ ನಿಮ್ಮ ಯಾವುದಾದರೂ ಪುಟವನ್ನು ನೀಡುತ್ತದೆಯೇ ಎಂದು ತೋರಿಸುತ್ತದೆ:

curl https://api.anthropic.com/v1/messages \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2026-10-21" \
  -H "content-type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "max_tokens": 1024,
    "messages": [{"role": "user", "content": "What does example.com offer?"}],
    "tools": [{
      "type": "web_search_20250305",
      "name": "web_search",
      "max_uses": 3,
      "allowed_domains": ["example.com"]
    }]
  }'

ಹುಡುಕಾಟ ಫಲಿತಾಂಶ ಖಾಲಿಯಾಗಿದ್ದರೆ, ಆ ಪ್ರಶ್ನೆಗೆ Claude ನ ಹುಡುಕಾಟಕ್ಕೆ ಆ ಡೊಮೇನ್‌ನಲ್ಲಿ ಏನೂ ಸಿಗಲಿಲ್ಲ ಎಂದರ್ಥ. API ವೆಬ್ ಹುಡುಕಾಟಗಳಿಗೆ Anthropic ಟೋಕನ್‌ಗಳ ಜೊತೆಗೆ ಪ್ರತ್ಯೇಕ ಶುಲ್ಕ ವಿಧಿಸುತ್ತದೆ. API ನ ವೆಬ್ ಫೆಚ್ ಟೂಲ್ ಪುಟವನ್ನು ಏಕೆ ಓದಲಾಗಲಿಲ್ಲ ಎಂದೂ ತಿಳಿಸುತ್ತದೆ: url_not_allowed robots.txt ನಂತಹ ತಡೆಗಳನ್ನು ಒಳಗೊಳ್ಳುತ್ತದೆ, ಮತ್ತು url_not_accessible ಎಂದರೆ HTTP ದೋಷ. API ಉತ್ತರಗಳು Claude ಆ್ಯಪ್‌ಗಳು ತೋರಿಸುವುದಕ್ಕಿಂತ ಭಿನ್ನವಾಗಿರಬಹುದು.

Claude ನನ್ನ ಪುಟವನ್ನು ಓದಬಲ್ಲದು, ಆದರೂ ಉಲ್ಲೇಖಿಸದಿದ್ದರೆ?

ಮೊದಲು, ಅದಕ್ಕೆ ಬೇಕಾದ ಪಠ್ಯ ನಿಮ್ಮ ಸರ್ವರ್ ಕಳುಹಿಸುವ HTML ನಲ್ಲಿದೆಯೇ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ. ತನ್ನ ವೆಬ್ ಫೆಚ್ ಟೂಲ್ JavaScript ನಿಂದ ರೆಂಡರ್ ಆಗುವ ವೆಬ್‌ಸೈಟ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುವುದಿಲ್ಲ ಎಂದು Anthropic ನ API ದಾಖಲೆಗಳು ಹೇಳುತ್ತವೆ, ಮತ್ತು ತನ್ನ ಕ್ರಾಲರ್‌ಗಳು ಸ್ಕ್ರಿಪ್ಟ್‌ಗಳನ್ನು ರೆಂಡರ್ ಮಾಡುತ್ತವೆ ಎಂದು Anthropic ಹೇಳುವುದಿಲ್ಲ. curl ಮೂಲಕ ನಿಮ್ಮ ಪುಟವನ್ನು ಪಡೆದು, ಮುಖ್ಯ ವಿಷಯದ ಒಂದು ವಾಕ್ಯವನ್ನು ಔಟ್‌ಪುಟ್‌ನಲ್ಲಿ ಹುಡುಕಿ. ಅದು ಇಲ್ಲದಿದ್ದರೆ, ಸರ್ವರ್-ಸೈಡ್ ರೆಂಡರಿಂಗ್ ಅಥವಾ ಪ್ರಿ-ರೆಂಡರಿಂಗ್ ಇದನ್ನು Claude ಗೂ ಇತರ ಬಹುತೇಕ AI ಕ್ರಾಲರ್‌ಗಳಿಗೂ ಸರಿಪಡಿಸುತ್ತದೆ.

ಅದರ ನಂತರ ಪುಟವೇ ನಿರ್ಧರಿಸುತ್ತದೆ. ಪುಟದ ಮುಖ್ಯ ಪ್ರಶ್ನೆಗೆ ಉತ್ತರವನ್ನು ಮೊದಲ ವಾಕ್ಯಗಳಲ್ಲೇ ಇಡಿ, ಜನರು ಕೇಳುವ ಪ್ರಶ್ನೆಗಳಿಗೆ ಹೊಂದುವ ಶೀರ್ಷಿಕೆಗಳನ್ನು ಬಳಸಿ, ಪ್ರಕಾಶಕರನ್ನು ಹೆಸರಿಸಿ ಮತ್ತು ದಿನಾಂಕಗಳನ್ನು ತೋರಿಸಿ. ನಂತರ ಅದೇ ಪ್ರಶ್ನೆಗೆ Claude ಉಲ್ಲೇಖಿಸುವ ಪುಟದೊಂದಿಗೆ ನಿಮ್ಮ ಪುಟವನ್ನು ಹೋಲಿಸಿ: ಉಲ್ಲೇಖಿತ ಪುಟ ಹೆಚ್ಚಾಗಿ ಆ ನಿರ್ದಿಷ್ಟ ಪ್ರಶ್ನೆಗೆ ಹೆಚ್ಚು ನೇರವಾಗಿ ಉತ್ತರಿಸುತ್ತದೆ.

AISeeWhy ಇದನ್ನು ಹೇಗೆ ಪರಿಶೀಲಿಸುತ್ತದೆ?

ಉಚಿತ AISeeWhy ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಪುಟವನ್ನು ನಿಜವಾದ ಬ್ರೌಸರ್ ಜೊತೆಗೆ Claude-SearchBot, Claude-User, ClaudeBot ಮತ್ತು ಇತರ AI ಹಾಗೂ ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳಾಗಿ ಪಡೆಯುತ್ತದೆ, ಪ್ರತಿಯೊಂದಕ್ಕೂ ನಿಮ್ಮ robots.txt ಅನ್ವಯಿಸುತ್ತದೆ, ಚಾಲೆಂಜ್ ಪುಟಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ ಮತ್ತು JavaScript ಇಲ್ಲದೆ ಎಷ್ಟು ಪಠ್ಯ ತಲುಪುತ್ತದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ. ಪಾವತಿಸಿದ ಪ್ಲಾನ್‌ಗಳಲ್ಲಿನ AI ಗೋಚರತೆ ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಸ್ವಂತ API ಕೀಯೊಂದಿಗೆ ವೆಬ್ ಹುಡುಕಾಟ ಸಹಿತ Claude ಮೂಲಕ ನಿಮ್ಮ ಪ್ರಶ್ನೆಗಳನ್ನು ಕೇಳಿ, ನಿಮ್ಮ ಬ್ರ್ಯಾಂಡ್ ಅಥವಾ ಡೊಮೇನ್ ಉಲ್ಲೇಖಗೊಂಡಿದೆಯೇ ಅಥವಾ ಮೂಲವಾಗಿ ಉಲ್ಲೇಖಿತವಾಗಿದೆಯೇ ಎಂದು ತೋರಿಸುತ್ತದೆ.

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

Claude ನನ್ನ ಸೈಟ್ ನೋಡಬಲ್ಲದೇ ಎಂದು ಉಚಿತವಾಗಿ ಪರಿಶೀಲಿಸಬಹುದೇ?

ಹೌದು. ನಿಮ್ಮ robots.txt, ಒಂದು curl ವಿನಂತಿ, ನಿಮ್ಮ ಸರ್ವರ್ ಲಾಗ್ ಮತ್ತು Claude ನಲ್ಲಿ ಒಂದು ಪ್ರಶ್ನೆಗೆ ಯಾವುದೇ ವೆಚ್ಚವಿಲ್ಲ. AISeeWhy ನ ಉಚಿತ ಪರಿಶೀಲನೆ Anthropic ನ ಏಜೆಂಟ್‌ಗಳು ಮತ್ತು ಇನ್ನೂ 13 ಕ್ರಾಲರ್‌ಗಳನ್ನು ದಿನಕ್ಕೆ ಒಂದು ಪುಟಕ್ಕೆ ಖಾತೆ ಇಲ್ಲದೆ ಪರೀಕ್ಷಿಸುತ್ತದೆ.

ಲಿಂಕ್ ಅಂಟಿಸಿದಾಗ Claude ನನ್ನ ವೆಬ್‌ಸೈಟ್ ಅನ್ನು ಏಕೆ ತೆರೆಯುವುದಿಲ್ಲ?

ಸಾಮಾನ್ಯ ಕಾರಣಗಳು: Anthropic ನ ಏಜೆಂಟ್‌ಗಳಿಗೆ 403 ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ನೀಡುವ ಫೈರ್‌ವಾಲ್ ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣೆ, Claude-User ಅನ್ನು ನಿಷೇಧಿಸುವ robots.txt ನಿಯಮ, ಅಥವಾ JavaScript ಚಲಿಸಿದ ನಂತರವೇ ಪಠ್ಯ ಕಾಣುವ ಪುಟ. URL ಅನ್ನು curl ಮೂಲಕ ಬ್ರೌಸರ್ ಆಗಿ ಮತ್ತು Claude ಟೋಕನ್‌ಗಳೊಂದಿಗೆ ಪರೀಕ್ಷಿಸಿ, ಮತ್ತು ತಡೆಯಲ್ಪಟ್ಟ ವಿನಂತಿಗಳಿಗಾಗಿ ನಿಮ್ಮ ಲಾಗ್‌ಗಳನ್ನು ನೋಡಿ.

ಪರೀಕ್ಷೆಗೆ ಬಳಸಬಹುದಾದ user agent ಸ್ಟ್ರಿಂಗ್ ಅನ್ನು Anthropic ಪ್ರಕಟಿಸುತ್ತದೆಯೇ?

Anthropic ನ ಕ್ರಾಲರ್ ಸಹಾಯ ಪುಟ ClaudeBot, Claude-SearchBot ಮತ್ತು Claude-User ಟೋಕನ್‌ಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತದೆ, ಆದರೆ ಪೂರ್ಣ user agent ಸ್ಟ್ರಿಂಗ್‌ಗಳನ್ನಲ್ಲ. ನಿಜವಾದ Anthropic ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಕಲಿಗಳಿಂದ ಬೇರ್ಪಡಿಸಲು, ಮೂಲ IP ಯನ್ನು claude.com/crawling/bots.json ನಲ್ಲಿನ ಪಟ್ಟಿಯೊಂದಿಗೆ ಹೋಲಿಸಿ.

robots.txt ಬದಲಾವಣೆ Claude ತಲುಪಲು ಎಷ್ಟು ಸಮಯ ಬೇಕು?

Anthropic ಸಮಯವನ್ನು ಹೇಳುವುದಿಲ್ಲ. ಕ್ರಾಲರ್‌ಗಳು 24 ಗಂಟೆಗಿಂತ ಹೆಚ್ಚು ಕಾಲ ಕ್ಯಾಶ್ ಮಾಡಿದ robots.txt ಬಳಸಬಾರದು ಎಂದು RFC 9309 ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ ಲಾಗ್‌ಗಳಲ್ಲಿ ಅಥವಾ Claude ನ ಉತ್ತರಗಳಲ್ಲಿ ಫಲಿತಾಂಶವನ್ನು ನಿರ್ಣಯಿಸುವ ಮೊದಲು ಕನಿಷ್ಠ ಒಂದು ದಿನ ಕಾಯಿರಿ.

Claude API ಮತ್ತು Claude ಆ್ಯಪ್ ಒಂದೇ ಉತ್ತರ ನೀಡುತ್ತವೆಯೇ?

ಅಗತ್ಯವಿಲ್ಲ. ಆ್ಯಪ್ ನಿಮ್ಮ ಅಂದಾಜು ಸ್ಥಳ ಮತ್ತು ತನ್ನದೇ ಸೆಟ್ಟಿಂಗ್‌ಗಳನ್ನು ಬಳಸಬಹುದು, ಆದರೆ API ವಿನಂತಿ ನೀವು ಕಳುಹಿಸುವ ಟೂಲ್‌ಗಳು ಮತ್ತು ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಬಳಸುತ್ತದೆ. API ಫಲಿತಾಂಶಗಳನ್ನು ಪುನರಾವರ್ತಿಸಬಹುದಾದ ಪರೀಕ್ಷೆ ಎಂದು ಪರಿಗಣಿಸಿ, ಪ್ರತಿ ಬಳಕೆದಾರ ನೋಡುವುದರ ನಕಲು ಎಂದಲ್ಲ.

Claude ನನ್ನ ಬ್ರ್ಯಾಂಡ್ ಅನ್ನು ಉಲ್ಲೇಖಿಸುತ್ತದೆಯೇ ಎಂದು ಹೇಗೆ ತಿಳಿಯುವುದು?

ವೆಬ್ ಹುಡುಕಾಟ ಆನ್ ಮಾಡಿ ನಿಮ್ಮ ಖರೀದಿದಾರರು ಕೇಳುವ ಪ್ರಶ್ನೆಗಳನ್ನು Claude ಗೆ ಕೇಳಿ, ಅದು ನಿಮ್ಮ ಸೈಟ್ ಅನ್ನು ಹೆಸರಿಸುತ್ತದೆಯೇ ಅಥವಾ ಉಲ್ಲೇಖಿಸುತ್ತದೆಯೇ ಮತ್ತು ಬದಲಿಗೆ ಯಾವ ಪ್ರತಿಸ್ಪರ್ಧಿಗಳು ಕಾಣಿಸುತ್ತಾರೆ ಎಂದು ಗಮನಿಸಿ. ಉತ್ತರಗಳು ಬದಲಾಗುವುದರಿಂದ ಪ್ರತಿ ಪ್ರಶ್ನೆಯನ್ನು ಹಲವು ವಾರಗಳ ಕಾಲ ಪುನರಾವರ್ತಿಸಿ. AISeeWhy ನ AI ಗೋಚರತೆ ಪರಿಶೀಲನೆ ಇದನ್ನು ನಿಮ್ಮ ಕೀಯೊಂದಿಗೆ Claude API ಮೂಲಕ ಪ್ರತಿ ವಾರ, ನಾಲ್ಕು ಪ್ರತಿಸ್ಪರ್ಧಿಗಳವರೆಗಿನ ಜೊತೆ ಮಾಡುತ್ತದೆ.

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು