ನನ್ನ ಸೈಟ್ ಇದ್ದಕ್ಕಿದ್ದಂತೆ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಏಕೆ ತಡೆಯುತ್ತಿದೆ?

ಪ್ರಕಟಿಸಲಾಗಿದೆ

ಚಿಕ್ಕ ಉತ್ತರ

AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ತಡೆಯಲು ಶುರುಮಾಡುವ ಸೈಟ್‌ನಲ್ಲಿ ಬಹುತೇಕ ಯಾವಾಗಲೂ ಈ ಐದು ಸ್ಥಳಗಳಲ್ಲಿ ಒಂದು ಬದಲಾಗಿರುತ್ತದೆ: ನಿಜವಾಗಿ ನೀಡಲಾಗುವ robots.txt, Cloudflare ನ AI ಕ್ರಾಲರ್ ನೀತಿಗಳಂತಹ CDN ಸೆಟ್ಟಿಂಗ್, ಬಾಟ್ ರಕ್ಷಣೆ ಅಥವಾ ರೇಟ್ ಮಿತಿ, ಹೋಸ್ಟಿಂಗ್ ಡೀಫಾಲ್ಟ್, ಅಥವಾ ಈಗ ದೋಷದೊಂದಿಗೆ ಉತ್ತರಿಸುವ robots.txt. ಇಂದಿನ robots.txt ಮತ್ತು ಒಂದು ಪುಟವನ್ನು ಪ್ರತಿ ಕ್ರಾಲರ್ ಆಗಿ ಪಡೆದು, ಬ್ರೌಸರ್‌ನೊಂದಿಗೆ ಮತ್ತು ಹಿಂದೆ ಇದ್ದದ್ದರೊಂದಿಗೆ ಹೋಲಿಸಿ, ಆ ಹಂತಗಳನ್ನು ಅದೇ ಕ್ರಮದಲ್ಲಿ ಪರಿಶೀಲಿಸಿ.

AI ಉತ್ತರಗಳಿಂದ ಕಣ್ಮರೆಯಾಗಲು ಯಾರೂ ನಿರ್ಧರಿಸುವುದಿಲ್ಲ. ಇದು ಥೀಮ್ ಅಪ್‌ಡೇಟ್, ಭದ್ರತಾ ಸೆಟ್ಟಿಂಗ್, ಮೈಗ್ರೇಶನ್ ಅಥವಾ ಪೂರೈಕೆದಾರರಲ್ಲಿ ಬದಲಾದ ಡೀಫಾಲ್ಟ್‌ನ ಅಡ್ಡಪರಿಣಾಮವಾಗಿ ಆಗುತ್ತದೆ. ಬ್ರೌಸರ್‌ಗೆ ಸೈಟ್ ಇನ್ನೂ ಸಾಮಾನ್ಯವಾಗಿ ಕಾಣುತ್ತದೆ, ಆದ್ದರಿಂದ ಯಾರಾದರೂ ಉತ್ಪನ್ನದ ಬಗ್ಗೆ ChatGPT ಅಥವಾ Perplexity ಗೆ ಕೇಳಿ ಪ್ರತಿಸ್ಪರ್ಧಿಯನ್ನು ಪಡೆಯುವವರೆಗೆ ಬದಲಾವಣೆ ಗಮನಕ್ಕೆ ಬರದಿರಬಹುದು. ಪ್ರತಿ ಹಂತವೂ ಹೊರಗಿನಿಂದ ಅಥವಾ ನಿಮ್ಮ ಲಾಗ್‌ಗಳಲ್ಲಿ ಪರಿಶೀಲಿಸಬಹುದಾದ ಕುರುಹುಗಳನ್ನು ಬಿಡುತ್ತದೆ.

ಈ ಪುಟದಲ್ಲಿ
  1. ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಸಿಗುವ robots.txt ಬದಲಾಗಿದೆಯೇ?
  2. Cloudflare ನ 2026 AI ಕ್ರಾಲರ್ ನೀತಿಗಳು ನನ್ನ ಸೈಟ್ ಅನುಮತಿಸುವುದನ್ನು ಬದಲಿಸಿವೆಯೇ?
  3. ಬಾಟ್ ರಕ್ಷಣೆ ಅಥವಾ ರೇಟ್ ಮಿತಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಹಿಡಿಯುತ್ತಿದೆಯೇ?
  4. ನನ್ನ ಹೋಸ್ಟಿಂಗ್ ಪೂರೈಕೆದಾರರು ತಮ್ಮ ಡೀಫಾಲ್ಟ್‌ಗಳನ್ನು ಬದಲಿಸಿದ್ದಾರೆಯೇ?
  5. robots.txt ದೋಷದೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತಿದೆಯೇ?
  6. ಇದು ಯಾವಾಗ ಶುರುವಾಯಿತು ಎಂದು ಹೇಗೆ ಕಂಡುಹಿಡಿಯುವುದು?
  7. ಮುಂದಿನ ಬಾರಿ ಇದನ್ನು ಬೇಗ ಹೇಗೆ ಹಿಡಿಯುವುದು?

ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಸಿಗುವ robots.txt ಬದಲಾಗಿದೆಯೇ?

https://yourdomain.com/robots.txt ಪಡೆದು ನಿಮ್ಮ ರೆಪಾಸಿಟರಿ ಅಥವಾ ಬ್ಯಾಕಪ್‌ನಲ್ಲಿರುವ ಫೈಲ್‌ನೊಂದಿಗೆ ಹೋಲಿಸಿ. ಡಿಸ್ಕ್‌ನಲ್ಲಿರುವ ಫೈಲ್ ಅಲ್ಲ, ನೀಡಲಾಗುವ ಫೈಲ್ ಅನ್ನು ನೋಡಿ, ಏಕೆಂದರೆ ಹಲವು ಹಂತಗಳು ದಾರಿಯಲ್ಲಿ ಅದನ್ನು ಬದಲಿಸಬಹುದು:

Google Search Console ನ robots.txt ವರದಿ ಕಳೆದ 30 ದಿನಗಳಲ್ಲಿ Google ಪಡೆದ ಆವೃತ್ತಿಗಳನ್ನು ತೋರಿಸುತ್ತದೆ, ಫೈಲ್ ಅಥವಾ ಫೆಚ್ ಫಲಿತಾಂಶ ಬದಲಾದ ಪ್ರತಿ ಬಾರಿ ಹೊಸ ನಮೂದಿನೊಂದಿಗೆ. ಇದು Google ನೋಡಿದ್ದನ್ನು ಮಾತ್ರ ಒಳಗೊಳ್ಳುತ್ತದೆ, ಆದರೆ ನಿಮ್ಮ ಸರ್ವರ್ user agent ಪ್ರಕಾರ robots.txt ಬದಲಿಸದಿದ್ದರೆ, AI ಕ್ರಾಲರ್‌ಗಳಿಗೂ ಅದೇ ಫೈಲ್ ಸಿಕ್ಕಿರುತ್ತದೆ.

Cloudflare ನ 2026 AI ಕ್ರಾಲರ್ ನೀತಿಗಳು ನನ್ನ ಸೈಟ್ ಅನುಮತಿಸುವುದನ್ನು ಬದಲಿಸಿವೆಯೇ?

Cloudflare ತನ್ನ AI ಕ್ರಾಲರ್ ನಿಯಂತ್ರಣಗಳನ್ನು ಹಲವು ಬಾರಿ ಬದಲಿಸಿದೆ, ಮತ್ತು ಕೆಲವು ಬದಲಾವಣೆಗಳು ಯಾರೂ ಸಂಪಾದಿಸದೆಯೇ zone ಮಾಡುವುದನ್ನು ಬದಲಿಸುತ್ತವೆ. 1 ಜುಲೈ 2025 ರಂದು ಅದು ಸೈನ್-ಅಪ್ ವೇಳೆ ಹೊಸ ಡೊಮೇನ್‌ಗಳಿಗೆ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಅನುಮತಿಸಬೇಕೇ ಎಂದು ಕೇಳಲು ಶುರುಮಾಡಿತು, ತಡೆಯುವುದೇ ಆರಂಭಿಕ ಸ್ಥಿತಿಯಾಗಿತ್ತು. 1 ಜುಲೈ 2026 ರಂದು ಅದು ಏಕೈಕ Block AI bots ಸ್ವಿಚ್ ಬದಲು Free ಸೇರಿದಂತೆ ಎಲ್ಲಾ ಪ್ಲಾನ್‌ಗಳಿಗೆ ಪ್ರತ್ಯೇಕ Search, Agent ಮತ್ತು Training ನೀತಿಗಳನ್ನು ತಂದಿತು.

ಹೆಚ್ಚಿನ ಸೈಟ್‌ಗಳನ್ನು ಸಿಕ್ಕಿಹಾಕುವ ವಿವರ ಮಿಶ್ರ-ಉದ್ದೇಶದ ಕ್ರಾಲರ್‌ಗಳು. Training ಕ್ರಿಯೆಗಳು ಹುಡುಕಾಟ ಮತ್ತು ತರಬೇತಿ ಎರಡಕ್ಕೂ ಬಳಸುವ ಕ್ರಾಲರ್‌ಗಳಿಗೂ ಅನ್ವಯಿಸುತ್ತವೆ ಎಂದು Cloudflare ನ ದಾಖಲೆಗಳು ಹೇಳುತ್ತವೆ. 15 ಸೆಪ್ಟೆಂಬರ್ 2026 ರಿಂದ, ಹೊಸ ಆಯ್ಕೆಗಳ ಮೂಲಕವಾಗಲಿ ಹಳೆಯ Block AI bots ಸೆಟ್ಟಿಂಗ್ ಮೂಲಕವಾಗಲಿ Training ತಡೆಯಲು ಆರಿಸಿದ ಗ್ರಾಹಕರಿಗೆ Googlebot, Applebot ಮತ್ತು BingBot ನಂತಹ ಬಹು-ಉದ್ದೇಶದ ಕ್ರಾಲರ್‌ಗಳು ತಡೆಯಲ್ಪಡುತ್ತವೆ ಎಂದು ಅದರ ಜುಲೈ 2026 ರ ಘೋಷಣೆ ಹೇಳಿತು. ಹೀಗಾಗಿ ಒಂದು ವರ್ಷದ ಹಿಂದೆ ಹೊಂದಿಸಿದ ತರಬೇತಿ ಆಪ್ಟ್-ಔಟ್ ಈಗ ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳನ್ನೂ ತಲುಪಬಹುದು.

ಹೊಸ ಡೊಮೇನ್‌ಗಳ ಡೀಫಾಲ್ಟ್‌ಗಳನ್ನು ಕಾಲಕಾಲಕ್ಕೆ ಬೇರೆ ಬೇರೆಯಾಗಿ ವಿವರಿಸಲಾಗಿದೆ. 15 ಸೆಪ್ಟೆಂಬರ್ 2026 ರಿಂದ ಜಾಹೀರಾತು ತೋರಿಸುವ ಪುಟಗಳಲ್ಲಿ ಹೊಸ ಡೊಮೇನ್‌ಗಳಿಗೆ Training ಮತ್ತು Agent ತಡೆಯಲ್ಪಡುತ್ತವೆ ಎಂದು ಅದೇ ಘೋಷಣೆ ಹೇಳಿತು, ಆದರೆ 2 ನವೆಂಬರ್ 2026 ರಂದು ನವೀಕರಿಸಿದ ನೀತಿ ದಾಖಲೆಗಳು ಹೊಸ ಡೊಮೇನ್‌ಗಳು ಮೂರನ್ನೂ Allow ನಲ್ಲಿ ಶುರುಮಾಡುತ್ತವೆ ಎಂದು ಹೇಳುತ್ತವೆ. Security, ನಂತರ Settings ತೆರೆದು Bot traffic ಪ್ರಕಾರ ಫಿಲ್ಟರ್ ಮಾಡಿ, ನಿಮ್ಮ zone ನ AI Crawler and Agent access policies ಓದಿ. Cloudflare AI Crawl Control ಕುರಿತ ನಮ್ಮ ಮಾರ್ಗದರ್ಶಿ ಪ್ರತಿ ಸೆಟ್ಟಿಂಗ್ ಅನ್ನು ವಿವರಿಸುತ್ತದೆ.

ಬಾಟ್ ರಕ್ಷಣೆ ಅಥವಾ ರೇಟ್ ಮಿತಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಹಿಡಿಯುತ್ತಿದೆಯೇ?

ಬಾಟ್ ರಕ್ಷಣೆ ಪ್ರತಿ ವಿನಂತಿಯನ್ನು ನಿರ್ಣಯಿಸುತ್ತದೆ, ಮತ್ತು ಕ್ರಾಲರ್‌ಗಳು ಡೇಟಾ ಸೆಂಟರ್‌ಗಳಿಂದ ವೇಗವಾಗಿ ಅನೇಕ ಪುಟಗಳನ್ನು ಪಡೆಯುತ್ತವೆ, ಬಾಟ್‌ಗಳು ಮಾಡುವುದೇ ಅದು. ಕಳೆದ ತಿಂಗಳು ಒಳಬಂದ ಕ್ರಾಲರ್, ಅದರ ನಿರ್ವಾಹಕರು IP ಶ್ರೇಣಿಗಳನ್ನು ಅಥವಾ ಕ್ರಾಲ್ ದರವನ್ನು ಬದಲಿಸಿದ ನಂತರ, ಅಥವಾ ರಕ್ಷಣಾ ನಿಯಮಗಳು ನವೀಕರಣಗೊಂಡ ನಂತರ ಚಾಲೆಂಜ್ ಪುಟಗಳನ್ನು ಪಡೆಯಲು ಶುರುಮಾಡಬಹುದು. Cloudflare ನ Bot Fight Mode ಸಾಮಾನ್ಯ ಕಾರಣ, ಮತ್ತು ಅದನ್ನು WAF ಕಸ್ಟಮ್ ನಿಯಮಗಳು ಅಥವಾ Page Rules ಮೂಲಕ ದಾಟಲು ಅಥವಾ ಬಿಟ್ಟುಬಿಡಲು ಸಾಧ್ಯವಿಲ್ಲ ಎಂದು Cloudflare ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಅದು ಆನ್ ಇರುವವರೆಗೆ ನಂತರ ಸೇರಿಸಿದ allow ನಿಯಮ ಸಹಾಯ ಮಾಡುವುದಿಲ್ಲ. ಒಮ್ಮೆಲೇ ಬರುವ ವಿನಂತಿಗಳಿಗೆ 429 ನೀಡುವ ಹೊಸ ರೇಟ್ ಮಿತಿಯೂ ಚುರುಕಾದ ಕ್ರಾಲರ್ ಮೇಲೆ ಅದೇ ಪರಿಣಾಮ ಬೀರುತ್ತದೆ.

ಹೊರಗಿನಿಂದ ಪರೀಕ್ಷಿಸಿ: ಒಂದು ಪುಟವನ್ನು ಬ್ರೌಸರ್ ಆಗಿ ಮತ್ತು ಎರಡು AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳಾಗಿ ವಿನಂತಿಸಿ, ನಂತರ robots.txt ಅನ್ನು ಕ್ರಾಲರ್ ಆಗಿ ವಿನಂತಿಸಿ.

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

ಕ್ರಾಲರ್‌ಗೆ ಮಾತ್ರ 403, 429 ಅಥವಾ 503, Just a moment... ಶೀರ್ಷಿಕೆಯ ಪುಟ, ಅಥವಾ ಬ್ರೌಸರ್‌ಗಿಂತ ತುಂಬಾ ಚಿಕ್ಕ body ಸಿಕ್ಕರೆ, ಕ್ರಾಲರ್ ಅನ್ನು ಬೇರೆ ರೀತಿಯಲ್ಲಿ ನಡೆಸಿಕೊಳ್ಳಲಾಗುತ್ತಿದೆ. ಪರೀಕ್ಷೆ ಮಾರಾಟಗಾರರ IP ಯಿಂದಲ್ಲ, ನಿಮ್ಮ IP ಯಿಂದ ಬರುತ್ತದೆ, ಆದ್ದರಿಂದ ಪರಿಶೀಲಿತ ಬಾಟ್ ಸ್ಥಿತಿಯನ್ನು ಆಧರಿಸಿದ ನಿಯಮಗಳು ನಿಜವಾದ ಕ್ರಾಲರ್ ಅನ್ನು ಇನ್ನೂ ಬೇರೆ ರೀತಿಯಲ್ಲಿ ನಡೆಸಿಕೊಳ್ಳಬಹುದು. ಯಾವ ನಿಯಮ ಉತ್ತರಿಸಿತು ಎಂದು ಫೈರ್‌ವಾಲ್‌ನ ಈವೆಂಟ್ ಲಾಗ್ ತೋರಿಸುತ್ತದೆ.

ನನ್ನ ಹೋಸ್ಟಿಂಗ್ ಪೂರೈಕೆದಾರರು ತಮ್ಮ ಡೀಫಾಲ್ಟ್‌ಗಳನ್ನು ಬದಲಿಸಿದ್ದಾರೆಯೇ?

ಕೆಲವು ಹೋಸ್ಟ್‌ಗಳು ನಿಮ್ಮ ಸ್ವಂತ ನಿಯಮಗಳು ಚಲಿಸುವ ಮೊದಲೇ ಸರ್ವರ್‌ನಲ್ಲಿ AI ಟ್ರಾಫಿಕ್ ಅನ್ನು ಫಿಲ್ಟರ್ ಮಾಡುತ್ತವೆ. ಉದಾಹರಣೆಗೆ SiteGround ಆಗಸ್ಟ್ 2025 ರಲ್ಲಿ, ತರಬೇತಿ ಡೇಟಾ ಸಂಗ್ರಹಿಸಲು ರೂಪಿಸಿದ AI ಕ್ರಾಲರ್‌ಗಳನ್ನು ಡೀಫಾಲ್ಟ್ ಆಗಿ ತಡೆಯುತ್ತೇವೆ ಮತ್ತು ವ್ಯಕ್ತಿಯೊಬ್ಬರು AI ಸಹಾಯಕಕ್ಕೆ ಪುಟದ ಬಗ್ಗೆ ಕೇಳಿದಾಗ ಭೇಟಿ ನೀಡುವ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಅನುಮತಿಸುತ್ತೇವೆ ಎಂದು ಬರೆಯಿತು. ಇಂತಹ ನಿಯಮಗಳು ನಿಮ್ಮ robots.txt ನಲ್ಲಿ ಕಾಣಿಸುವುದಿಲ್ಲ, ಮತ್ತು ಹೋಸ್ಟ್ ತನ್ನ ಬಾಟ್ ಪಟ್ಟಿಗಳನ್ನು ನವೀಕರಿಸಿದಾಗ ಬದಲಾಗಬಹುದು.

ಒಂದೇ ಹೋಸ್ಟ್‌ನ ಹಲವು ಸೈಟ್‌ಗಳಲ್ಲಿ ಒಮ್ಮೆಲೇ ತಡೆ ಕಾಣಿಸಿದರೆ, ಅಥವಾ ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಲಾಗ್‌ಗಳನ್ನು ಎಂದೂ ತಲುಪದ ಪ್ರತಿಕ್ರಿಯೆಗಳಲ್ಲಿ ಕಾಣಿಸಿದರೆ, ನಿಮ್ಮ ಖಾತೆಗೆ ಯಾವ ಬಾಟ್ ನಿಯಮಗಳು ಅನ್ವಯಿಸುತ್ತವೆ ಮತ್ತು ನೀವು ಉಳಿಸಿಕೊಳ್ಳಲು ಬಯಸುವ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ವಿನಾಯಿತಿ ನೀಡಬಹುದೇ ಎಂದು ಹೋಸ್ಟ್ ಅನ್ನು ಕೇಳಿ.

robots.txt ದೋಷದೊಂದಿಗೆ ಉತ್ತರಿಸುತ್ತಿದೆಯೇ?

ವಿಫಲವಾಗುವ robots.txt ಯಾವುದೇ Disallow ಸಾಲಿಗಿಂತ ಹೆಚ್ಚು ತಡೆಯಬಹುದು. RFC 9309 ಪ್ರಕಾರ, 4xx ಪ್ರತಿಕ್ರಿಯೆ ಎಂದರೆ ಕ್ರಾಲರ್ ಎಲ್ಲವನ್ನೂ ಪಡೆಯಬಹುದು, ಆದರೆ ಸರ್ವರ್ ದೋಷ (5xx) ಅಥವಾ ಯಾವುದೇ ಉತ್ತರ ಇಲ್ಲದಿದ್ದರೆ ಇಡೀ ಸೈಟ್ ನಿಷೇಧಿತ ಎಂದು ಅದು ಭಾವಿಸಬೇಕು. ಇಂತಹ ದೋಷಗಳ ಮೊದಲ 12 ಗಂಟೆ Google ಕ್ರಾಲಿಂಗ್ ನಿಲ್ಲಿಸುತ್ತದೆ ಮತ್ತು ನಂತರ 30 ದಿನಗಳವರೆಗೆ ತನ್ನ ಕೊನೆಯ ಸರಿಯಾದ ಪ್ರತಿಯನ್ನು ಬಳಸುತ್ತದೆ.

ಹೀಗೆ ಲೋಡ್ ಏರಿಕೆ, /robots.txt ಗೆ ಚಾಲೆಂಜ್ ನೀಡುವ ಫೈರ್‌ವಾಲ್ ನಿಯಮ, ಅಥವಾ ಅದನ್ನೂ ಒಳಗೊಳ್ಳುವ ರೇಟ್ ಮಿತಿ ಒಂದೂ ನಿಯಮ ಬದಲಾಗದೆ ಸಭ್ಯ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಹೊರಗಿಡಬಹುದು. ಮೇಲಿನ ಪರೀಕ್ಷೆಯ ಕೊನೆಯ ಕಮಾಂಡ್ 200 ಮತ್ತು text/plain ಹಿಂದಿರುಗಿಸಬೇಕು. ಅಲ್ಲಿ 5xx, ಟೈಮ್‌ಔಟ್ ಅಥವಾ ಚಾಲೆಂಜ್ ಪುಟ ಬಂದರೆ ಅದನ್ನೇ ಮೊದಲು ಸರಿಪಡಿಸಿ.

ಇದು ಯಾವಾಗ ಶುರುವಾಯಿತು ಎಂದು ಹೇಗೆ ಕಂಡುಹಿಡಿಯುವುದು?

ದಿನಾಂಕ ರಹಸ್ಯವನ್ನು ಹೋಲಿಕೆಯಾಗಿ ಬದಲಿಸುತ್ತದೆ. ನಿಮ್ಮ ಆಕ್ಸೆಸ್ ಲಾಗ್‌ಗಳಲ್ಲಿ AI ಕ್ರಾಲರ್ user agent ಗಳ ವಿನಂತಿಗಳನ್ನು ಫಿಲ್ಟರ್ ಮಾಡಿ, ಅವುಗಳ ಸ್ಥಿತಿ ಕೋಡ್‌ಗಳು 200 ನಿಂದ 403, 429 ಅಥವಾ 503 ಗೆ ಬದಲಾದ ದಿನವನ್ನು, ಅಥವಾ robots.txt ಓದಿದ ನಂತರ ಪುಟಗಳನ್ನು ವಿನಂತಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿದ ದಿನವನ್ನು ಹುಡುಕಿ; AI ಕ್ರಾಲರ್‌ಗಳಿಗಾಗಿ ಸರ್ವರ್ ಲಾಗ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸುವ ನಮ್ಮ ಮಾರ್ಗದರ್ಶಿಯಲ್ಲಿ ಕಮಾಂಡ್‌ಗಳಿವೆ. ನಿಮ್ಮ CDN ತಡೆದ ವಿನಂತಿಗಳು origin ಅನ್ನು ಎಂದೂ ತಲುಪುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ CDN ಅನ್ನೂ ಪರಿಶೀಲಿಸಿ. Cloudflare ನಲ್ಲಿ AI Crawl Control ಕಾಲಾನಂತರದ ಸ್ಥಿತಿ ಕೋಡ್ ವಿತರಣೆಯನ್ನು ತೋರಿಸುತ್ತದೆ, ಅದನ್ನು ಕ್ರಾಲರ್ ಪ್ರಕಾರ ಫಿಲ್ಟರ್ ಮಾಡಬಹುದು.

ನಂತರ ಆ ದಿನಾಂಕವನ್ನು ಡಿಪ್ಲಾಯ್‌ಗಳು, ಪ್ಲಗಿನ್ ಮತ್ತು ಥೀಮ್ ಅಪ್‌ಡೇಟ್‌ಗಳು, CDN ಸೆಟ್ಟಿಂಗ್ ಬದಲಾವಣೆಗಳು ಮತ್ತು ಪೂರೈಕೆದಾರರ ಘೋಷಣೆಗಳೊಂದಿಗೆ ಹೊಂದಿಸಿ. ಕ್ರಮ ಕೈಗೊಳ್ಳುವ ಮೊದಲು ಮೂಲ IP ಗಳು ಮಾರಾಟಗಾರರಿಗೆ ಸೇರಿವೆ ಎಂದು ದೃಢಪಡಿಸಿಕೊಳ್ಳಿ, ಆಗ ನೀವು ನೋಡುತ್ತಿರುವುದು ನಿಜವಾದ ಕ್ರಾಲರ್, ಅದರ ಹೆಸರು ಬಳಸುವ ನಕಲಿಯಲ್ಲ.

ಮುಂದಿನ ಬಾರಿ ಇದನ್ನು ಬೇಗ ಹೇಗೆ ಹಿಡಿಯುವುದು?

ಟ್ರಾಫಿಕ್ ಇಳಿದಾಗ ಮಾತ್ರವಲ್ಲ, ಪ್ರತಿ ಡಿಪ್ಲಾಯ್, CDN ಬದಲಾವಣೆ ಮತ್ತು ಪ್ಲಗಿನ್ ಅಪ್‌ಡೇಟ್ ನಂತರ ಪ್ರವೇಶವನ್ನು ಪರಿಶೀಲಿಸಿ. ಉಚಿತ AISeeWhy ಪರಿಶೀಲನೆ ಪುಟವನ್ನು ನಿಜವಾದ ಬ್ರೌಸರ್ ಜೊತೆಗೆ 16 AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳಾಗಿ ಪಡೆಯುತ್ತದೆ, ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ನಿಮ್ಮ robots.txt ಅನ್ವಯಿಸುತ್ತದೆ ಮತ್ತು ಫೈರ್‌ವಾಲ್ ಚಾಲೆಂಜ್ ಪುಟಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ. ಉಚಿತ robots.txt ಪರೀಕ್ಷಕ, ಇಂದು ಲೈವ್ ಇರುವ ಫೈಲ್ ಪ್ರಕಾರ ಪುಟವನ್ನು ಪಡೆಯಬಹುದೇ ಎಂದು ಪ್ರತಿ ಕ್ರಾಲರ್‌ಗೆ ತೋರಿಸುತ್ತದೆ.

ಉಚಿತ ಉಪಕರಣಗಳು

ಮುಂದಿನ ಹಂತಗಳು

ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್‌ಗಳು

ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು

ChatGPT ನನ್ನ ಸೈಟ್ ತೋರಿಸುವುದನ್ನು ಏಕೆ ನಿಲ್ಲಿಸಿತು?

ಹೆಚ್ಚಾಗಿ ChatGPT ಹುಡುಕಾಟದ ಹಿಂದಿನ ಕ್ರಾಲರ್ OAI-SearchBot robots.txt ಬದಲಾವಣೆ, CDN ನೀತಿ ಅಥವಾ ಬಾಟ್ ರಕ್ಷಣೆಯಿಂದ ತಡೆಯಲ್ಪಟ್ಟಿರುತ್ತದೆ. ಅದನ್ನು ತಡೆಯುವ ಸೈಟ್‌ಗಳು ChatGPT ಹುಡುಕಾಟ ಉತ್ತರಗಳಲ್ಲಿ ಕಾಣಿಸುವುದಿಲ್ಲ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ. ಆ ಕ್ರಾಲರ್‌ಗಾಗಿ ಪ್ರತಿ ಹಂತವನ್ನು ಪರಿಶೀಲಿಸಿ, ಮತ್ತು robots.txt ಸರಿಪಡಿಸಿದ ನಂತರ ಸುಮಾರು 24 ಗಂಟೆ ಕಾಯಿರಿ; OpenAI ಪ್ರಕಾರ ಅದರ ವ್ಯವಸ್ಥೆಗಳು ಹೊಂದಿಕೊಳ್ಳಲು ಅಷ್ಟು ಸಮಯ ಬೇಕು.

Cloudflare ನನ್ನ ಸೈಟ್‌ನಲ್ಲಿ Googlebot ಅನ್ನು ತಡೆಯಲು ಶುರುಮಾಡಿದೆಯೇ?

ಹಾಗಾಗಬಹುದು. 15 ಸೆಪ್ಟೆಂಬರ್ 2026 ರಿಂದ Training ತಡೆಯುವ ಗ್ರಾಹಕರು Googlebot, Applebot ಮತ್ತು BingBot ನಂತಹ ಬಹು-ಉದ್ದೇಶದ ಕ್ರಾಲರ್‌ಗಳನ್ನೂ ತಡೆಯುತ್ತಾರೆ ಎಂದು Cloudflare ಹೇಳಿತು. Training Disallow ಆಯ್ಕೆ ತರಬೇತಿ ಕ್ರಾಲರ್‌ಗಳನ್ನು edge ನಲ್ಲಿ ತಡೆಯುತ್ತದೆ ಆದರೆ ಮಿಶ್ರ-ಬಳಕೆಯ ಕ್ರಾಲರ್‌ಗಳನ್ನು ಬಿಡುತ್ತದೆ ಎಂದು ಅದರ ದಾಖಲೆಗಳು ಹೇಳುತ್ತವೆ, ಆದ್ದರಿಂದ ನಿಮ್ಮ zone ಯಾವ ಆಯ್ಕೆ ಬಳಸುತ್ತದೆ ಎಂದು ಪರಿಶೀಲಿಸಿ.

ವೆಬ್‌ಸೈಟ್ ಬಿಲ್ಡರ್ ಅಥವಾ ಪ್ಲಗಿನ್ ನನ್ನ ಪರವಾಗಿ robots.txt ಬದಲಿಸಬಹುದೇ?

ಹೌದು. ಸೈಟ್ ಬಿಲ್ಡರ್‌ಗಳು ಮತ್ತು SEO ಅಥವಾ ಭದ್ರತಾ ಪ್ಲಗಿನ್‌ಗಳು robots.txt ಗೆ AI ಕ್ರಾಲರ್ ನಿಯಮಗಳನ್ನು ಬರೆಯಬಹುದು, ಮತ್ತು ಕೆಲವು ಕಾಲಾನಂತರ ತಮ್ಮ ಬಾಟ್ ಪಟ್ಟಿಗಳನ್ನು ವಿಸ್ತರಿಸುತ್ತವೆ. ಪ್ರತಿ ಅಪ್‌ಡೇಟ್ ನಂತರ ಲೈವ್ ಫೈಲ್ ಪಡೆದು, ನಿಮಗೆ ಮುಖ್ಯವಾದ ಹುಡುಕಾಟ ಕ್ರಾಲರ್‌ಗಳಿಗೆ ಅನ್ವಯಿಸುವ ಗುಂಪುಗಳನ್ನು ಓದಿ.

ನನ್ನ ಲೈವ್ robots.txt ಸರ್ವರ್‌ನಲ್ಲಿರುವ ಫೈಲ್‌ಗಿಂತ ಏಕೆ ಭಿನ್ನವಾಗಿದೆ?

ನಿಮ್ಮ ಸರ್ವರ್‌ನ ಮುಂದಿರುವ ಯಾವುದೋ ಅದನ್ನು ಬದಲಿಸುತ್ತಿದೆ. ಉದಾಹರಣೆಗೆ Cloudflare ನ managed robots.txt ಅದೇ ಪ್ರತಿಕ್ರಿಯೆಯಲ್ಲಿ ನಿಮ್ಮ ಫೈಲ್‌ನ ಮುಂದೆ ತನ್ನ ನಿಯಮಗಳು ಮತ್ತು content signals ಸೇರಿಸುತ್ತದೆ. ವಿನಂತಿಯ ಮೇರೆಗೆ robots.txt ರಚಿಸುವ CMS ಅಥವಾ ಹೋಸ್ಟ್ ಮಟ್ಟದ ಸೆಟ್ಟಿಂಗ್ ಕೂಡ ಅದನ್ನು ಬದಲಿಸಬಹುದು ಅಥವಾ ವಿಸ್ತರಿಸಬಹುದು.

ಸರಿಪಡಿಸಿದ ನಂತರ AI ಕ್ರಾಲರ್‌ಗಳು ಹಿಂತಿರುಗಲು ಎಷ್ಟು ಸಮಯ ಬೇಕು?

ಕ್ರಾಲರ್‌ಗಳು 24 ಗಂಟೆಗಿಂತ ಹೆಚ್ಚು ಕಾಲ ಕ್ಯಾಶ್ ಮಾಡಿದ robots.txt ಬಳಸಬಾರದು ಎಂದು RFC 9309 ಹೇಳುತ್ತದೆ, OpenAI ಸುಮಾರು 24 ಗಂಟೆ ಮತ್ತು Perplexity 24 ಗಂಟೆಗಳವರೆಗೆ ಎನ್ನುತ್ತವೆ. ಫೈರ್‌ವಾಲ್ ಬದಲಾವಣೆಗಳು ನಿಮ್ಮ ಪೂರೈಕೆದಾರರು ಡಿಪ್ಲಾಯ್ ಮಾಡಿದ ತಕ್ಷಣ ಜಾರಿಗೆ ಬರುತ್ತವೆ, ಆದರೆ ಕ್ರಾಲರ್‌ಗಳು ತಮ್ಮದೇ ವೇಳಾಪಟ್ಟಿಯಲ್ಲಿ ಹಿಂತಿರುಗುತ್ತವೆ.

ಮೂಲಗಳು

ಇನ್ನಷ್ಟು ಲೇಖನಗಳು