AI ಕ್ರಾಲರ್ಗಳನ್ನು ತಡೆಯದೆ ಅವುಗಳ ವೇಗ ಕಡಿಮೆ ಮಾಡುವುದು ಹೇಗೆ
ತಡೆಯುವ ಬದಲು ರೇಟ್ ಮಿತಿ ಹಾಕಿ. ಹೆಚ್ಚುವರಿ ಕ್ರಾಲರ್ ವಿನಂತಿಗಳಿಗೆ Retry-After ಹೆಡರ್ ಸಹಿತ 429 ಅಥವಾ 503 ನೀಡಿ, ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಪ್ರತ್ಯೇಕ ಮಿತಿ ನೀಡಿ, /robots.txt ಅನ್ನು ಎಲ್ಲಾ ಮಿತಿಗಳಿಂದ ಹೊರಗಿಡಿ, ಮತ್ತು ಕ್ರಾಲರ್ಗಳಿಗೆ ಕ್ಯಾಶ್ನಿಂದ ನೀಡಿ. robots.txt ನಲ್ಲಿನ Crawl-delay ನಿರ್ವಾಹಕರು ಅದನ್ನು ದಾಖಲಿಸಿದಲ್ಲಿ ಮಾತ್ರ ಸಹಾಯ ಮಾಡುತ್ತದೆ: Anthropic ಮತ್ತು Bing ದಾಖಲಿಸಿವೆ, Google ಬೆಂಬಲಿಸುವುದಿಲ್ಲ ಎನ್ನುತ್ತದೆ, OpenAI ಮತ್ತು Perplexity ಉಲ್ಲೇಖಿಸುವುದಿಲ್ಲ. AI ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳನ್ನು ಅನುಮತಿಸಿಯೇ ಇಡಿ, ಇಲ್ಲದಿದ್ದರೆ ಅವು ಪೂರೈಸುವ ಉತ್ತರಗಳಿಂದಲೂ ಹೊರಬೀಳುತ್ತೀರಿ.
ಕ್ರಾಲರ್ ಗಂಟೆಗೆ ಸಾವಿರಾರು ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸಿದಾಗ, ತ್ವರಿತ ಪರಿಹಾರ Disallow: / ಅಥವಾ ಫೈರ್ವಾಲ್ ತಡೆ. ತರಬೇತಿ ಕ್ರಾಲರ್ಗೆ ಅದು ನ್ಯಾಯಯುತ ಆಯ್ಕೆಯಾಗಬಹುದು. OAI-SearchBot, Claude-SearchBot ಅಥವಾ PerplexityBot ಗೆ ಅದು ನೀವು ಕಾಣಿಸಿಕೊಳ್ಳಬೇಕಾದ AI ಉತ್ತರಗಳಿಂದ ನಿಮ್ಮ ಪುಟಗಳನ್ನು ತೆಗೆದುಹಾಕುತ್ತದೆ. ಹೆಚ್ಚಿನ ಸಮಯ ಅದನ್ನು ಬಿಟ್ಟುಕೊಡದೆ, ಕ್ರಾಲರ್ಗಳು ಈಗಾಗಲೇ ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವ ಸಂಕೇತಗಳಿಂದ ಹೊರೆ ಕಡಿಮೆ ಮಾಡಬಹುದು: ಸ್ಥಿತಿ ಕೋಡ್ಗಳು, ಕ್ಯಾಶಿಂಗ್ ಮತ್ತು, ಕೆಲವು ನಿರ್ವಾಹಕರಿಗೆ, Crawl-delay.
ಈ ಪುಟದಲ್ಲಿ
- ನಿಜವಾಗಿ ಯಾವ ಕ್ರಾಲರ್ ಹೊರೆ ಉಂಟುಮಾಡುತ್ತಿದೆ?
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ Crawl-delay ಕೆಲಸ ಮಾಡುತ್ತದೆಯೇ?
- 429 ಮತ್ತು 503 ಪ್ರತಿಕ್ರಿಯೆಗಳು ಕ್ರಾಲರ್ಗಳನ್ನು ಹೇಗೆ ನಿಧಾನಗೊಳಿಸುತ್ತವೆ?
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ ರೇಟ್ ಮಿತಿ ಹೇಗೆ ಹೊಂದಿಸುವುದು?
- ಕ್ಯಾಶಿಂಗ್ ಕ್ರಾಲರ್ ಹೊರೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದೇ?
- ಕ್ರಾಲರ್ಗಳನ್ನು ನಿಧಾನಗೊಳಿಸುವಾಗ ಏನನ್ನು ತಪ್ಪಿಸಬೇಕು?
- ಕ್ರಾಲರ್ಗಳು ಇನ್ನೂ ಒಳಬರುತ್ತಿವೆಯೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ನಿಜವಾಗಿ ಯಾವ ಕ್ರಾಲರ್ ಹೊರೆ ಉಂಟುಮಾಡುತ್ತಿದೆ?
ಏನನ್ನಾದರೂ ಬದಲಿಸುವ ಮೊದಲು ನೋಡಿ. ನಿಮ್ಮ ಆಕ್ಸೆಸ್ ಲಾಗ್ಗಳಲ್ಲಿ user agent ಪ್ರಕಾರ ಮತ್ತು ಗಂಟೆವಾರು ವಿನಂತಿಗಳನ್ನು ಎಣಿಸಿ, ಮತ್ತು ಮೂಲ IP ಗಳನ್ನು ಪ್ರತಿ ಮಾರಾಟಗಾರರು ಪ್ರಕಟಿಸುವ ಶ್ರೇಣಿಗಳೊಂದಿಗೆ ಪರಿಶೀಲಿಸಿ; AI ಕ್ರಾಲರ್ಗಳಿಗಾಗಿ ಸರ್ವರ್ ಲಾಗ್ಗಳನ್ನು ಪರಿಶೀಲಿಸುವ ನಮ್ಮ ಮಾರ್ಗದರ್ಶಿಯಲ್ಲಿ ಕಮಾಂಡ್ಗಳಿವೆ. ಎರಡು ಫಲಿತಾಂಶಗಳು ಆಗಾಗ ಕಾಣಿಸುತ್ತವೆ:
- ಭಾರೀ ಟ್ರಾಫಿಕ್ ತಾನು AI ಕ್ರಾಲರ್ ಎಂದು ಹೇಳಿಕೊಳ್ಳುತ್ತದೆ ಅಷ್ಟೇ. IP ಗಳು ಮಾರಾಟಗಾರರ ಪಟ್ಟಿಯಲ್ಲಿ ಇಲ್ಲದಿದ್ದರೆ, ನಿಜವಾದ ಕ್ರಾಲರ್ಗಾಗಿನ ನಿಯಮಗಳು ಸಹಾಯ ಮಾಡುವುದಿಲ್ಲ. ಆ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಅದರ ಮೂಲದ ಪ್ರಕಾರ ಮಿತಿಗೊಳಿಸಿ ಅಥವಾ ತಡೆಯಿರಿ.
- ನಿಜವಾದ ಕ್ರಾಲರ್ ಅಂತ್ಯವಿಲ್ಲದ ಕ್ಯಾಲೆಂಡರ್ ಪುಟಗಳು, ಫಿಲ್ಟರ್ ಸಂಯೋಜನೆಗಳು ಅಥವಾ URL ಗಳಲ್ಲಿನ ಸೆಷನ್ ID ಗಳಂತಹ ಕ್ರಾಲ್ ಟ್ರ್ಯಾಪ್ನಲ್ಲಿ ಸಿಕ್ಕಿಕೊಂಡಿದೆ. ಆ ಪಾತ್ಗಳಿಗೆ
Disallowನಿಯಮಗಳಿಂದ ಟ್ರ್ಯಾಪ್ ಮುಚ್ಚುವುದು ಯಾವುದೇ ರೇಟ್ ಮಿತಿಗಿಂತ ಹೆಚ್ಚು ಉಳಿಸುತ್ತದೆ.
ಕ್ರಾಲರ್ಗಳನ್ನು ಅವುಗಳ ಕೆಲಸದ ಪ್ರಕಾರವೂ ವಿಂಗಡಿಸಿ. GPTBot ಮತ್ತು ClaudeBot ನಂತಹ ತರಬೇತಿ ಕ್ರಾಲರ್ಗಳು ನಿಮ್ಮನ್ನು AI ಹುಡುಕಾಟದಲ್ಲಿ ಉಲ್ಲೇಖಾರ್ಹವಾಗಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಅವುಗಳಲ್ಲಿ ಒಂದು ಸಮಸ್ಯೆಯಾಗಿದ್ದರೆ, ಅದನ್ನು ನಿಷೇಧಿಸುವುದು ಸಮಂಜಸ ಆಯ್ಕೆ. ಈ ಮಾರ್ಗದರ್ಶಿಯ ಉಳಿದ ಭಾಗ ನೀವು ಉಳಿಸಿಕೊಳ್ಳಲು ಬಯಸುವ ಕ್ರಾಲರ್ಗಳಿಗಾಗಿ.
AI ಕ್ರಾಲರ್ಗಳಿಗೆ Crawl-delay ಕೆಲಸ ಮಾಡುತ್ತದೆಯೇ?
Crawl-delay RFC 9309 ನ ಭಾಗವಲ್ಲ, ಆದ್ದರಿಂದ ಅದನ್ನು ಓದಬೇಕೇ ಎಂದು ಪ್ರತಿ ನಿರ್ವಾಹಕರೂ ನಿರ್ಧರಿಸುತ್ತಾರೆ. ನವೆಂಬರ್ 2026 ರ ವೇಳೆಗೆ ದಾಖಲೆಗಳು ಹೇಳುವುದು ಇದು:
- Anthropic: ಬೆಂಬಲಿತ. ಕ್ರಾಲಿಂಗ್ ಚಟುವಟಿಕೆಯನ್ನು ಮಿತಿಗೊಳಿಸಲು ಪ್ರಮಾಣಿತವಲ್ಲದ
Crawl-delayವಿಸ್ತರಣೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತೇವೆ ಎಂದು ಅದರ ಸಹಾಯ ಪುಟ ಹೇಳುತ್ತದೆ, ಉದಾಹರಣೆಯಾಗಿClaudeBotಗುಂಪಿನಲ್ಲಿCrawl-delay: 1. - Microsoft Bing: ಬೆಂಬಲಿತ. Bing ನ ವೆಬ್ಮಾಸ್ಟರ್ ಬ್ಲಾಗ್ ಈ ಮೌಲ್ಯವನ್ನು 1 ರಿಂದ 30 ಸೆಕೆಂಡುಗಳ ಸಮಯದ ಅವಧಿ ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಅದರಲ್ಲಿ
bingbotಹೆಚ್ಚೆಂದರೆ ಒಂದು ಪುಟ ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ, ಮತ್ತು robots.txt ನ crawl delay Bing Webmaster Tools ನ ಕ್ರಾಲ್ ಸೆಟ್ಟಿಂಗ್ಗಳನ್ನು ಮೀರುತ್ತದೆ ಎಂದು ಹೇಳುತ್ತದೆ. - Google: ಬೆಂಬಲಿತವಲ್ಲ. Google ನ robots.txt ದಾಖಲೆಗಳು
crawl-delayಅನ್ನು ತಾನು ಬೆಂಬಲಿಸದ ಕ್ಷೇತ್ರವಾಗಿ ಹೆಸರಿಸುತ್ತವೆ. - OpenAI ಮತ್ತು Perplexity: ಅವುಗಳ ಕ್ರಾಲರ್ ಪುಟಗಳು ಇದನ್ನು ಉಲ್ಲೇಖಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ
GPTBot,OAI-SearchBotಅಥವಾPerplexityBotಮೇಲೆ ಇದರ ಪರಿಣಾಮ ದಾಖಲಾಗಿಲ್ಲ.
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ ಗುಂಪಿನ ತರ್ಕವನ್ನು ಗಮನಿಸಿ. ತನ್ನ ಹೆಸರಿನ ಗುಂಪು ಕಂಡ ಕ್ರಾಲರ್ User-agent: * ಗುಂಪನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ನಿರ್ಲಕ್ಷಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ Crawl-delay ಮಾತ್ರ ಇರುವ ClaudeBot ಗುಂಪು ಉಳಿದೆಲ್ಲರಿಗಾಗಿ ನೀವು ಹೊಂದಿಸಿದ ಪ್ರತಿ Disallow ಅನ್ನು ಕೈಬಿಡುತ್ತದೆ. ಮೇಲಿನಂತೆ ಅವನ್ನು ಪುನರಾವರ್ತಿಸಿ. Bing Crawl-delay ಅನ್ನು ಯಾವ ಗುಂಪಿನಿಂದಲೂ ಓದುವ ಅಪವಾದ ಎಂದು ವಿವರಿಸುತ್ತದೆ, ಆದರೆ ಇತರ ಕ್ರಾಲರ್ಗಳಿಗೆ ಹಾಗೆಂದು ಭಾವಿಸಬೇಡಿ.
429 ಮತ್ತು 503 ಪ್ರತಿಕ್ರಿಯೆಗಳು ಕ್ರಾಲರ್ಗಳನ್ನು ಹೇಗೆ ನಿಧಾನಗೊಳಿಸುತ್ತವೆ?
ಲೋಡ್ ಶಿಖರಗಳಿಗೆ, ಕ್ರಾಲರ್ಗಳು ಗೌರವಿಸುವಂತೆ ರೂಪಿಸಲಾದ ಸಂಕೇತ ಸ್ಥಿತಿ ಕೋಡ್. RFC 6585 ನಲ್ಲಿ ವ್ಯಾಖ್ಯಾನಿಸಲಾದ 429 Too Many Requests ಎಂದರೆ ಕ್ಲೈಂಟ್ ನಿಗದಿತ ಸಮಯದಲ್ಲಿ ಹೆಚ್ಚು ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸಿದೆ, ಮತ್ತು ಎಷ್ಟು ಕಾಯಬೇಕು ಎಂದು ಹೇಳುವ Retry-After ಹೆಡರ್ ಅದರಲ್ಲಿರಬಹುದು. 503 Service Unavailable ಸರ್ವರ್ ಈಗ ನಿಭಾಯಿಸಲಾಗುತ್ತಿಲ್ಲ ಎಂದು ಹೇಳುತ್ತದೆ.
Googlebot ನ ಕ್ರಾಲ್ ದರವನ್ನು ಬೇಗ ಕಡಿಮೆ ಮಾಡುವ ಮಾರ್ಗವಾಗಿ Google ಇದನ್ನು ದಾಖಲಿಸಿದೆ: ಕೆಲವು ಕ್ರಾಲ್ ವಿನಂತಿಗಳಿಗೆ 200 ಬದಲು 500, 503 ಅಥವಾ 429 ಹಿಂದಿರುಗಿಸಿ. ಇದು ಇಡೀ hostname ನ ಕ್ರಾಲ್ ದರವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ಮತ್ತು Retry-After ನಲ್ಲಿ ಸೆಕೆಂಡುಗಳ ಸಂಖ್ಯೆ ಅಥವಾ ದಿನಾಂಕ ಇರಬಹುದು ಎಂದು ಅದು ಹೇಳುತ್ತದೆ.
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. ಇದನ್ನು ಅಲ್ಪಾವಧಿಗೆ ಇಡಿ. ಒಂದು ಅಥವಾ ಎರಡು ದಿನಗಳಿಗಿಂತ ಹೆಚ್ಚು ಕಾಲ ಹೀಗೆ ಮಾಡದಂತೆ Google ಸಲಹೆ ನೀಡುತ್ತದೆ, ಏಕೆಂದರೆ ಹಲವು ದಿನ ಈ ಕೋಡ್ಗಳನ್ನು ಹಿಂದಿರುಗಿಸುವ URL ಅನ್ನು ಅದರ ಇಂಡೆಕ್ಸ್ನಿಂದ ಕೈಬಿಡಬಹುದು. ದೀರ್ಘಾವಧಿಯ ಕಡಿತಕ್ಕೆ Google ಬದಲಿಗೆ Search Console ಮೂಲಕ ವಿಶೇಷ ವಿನಂತಿಯನ್ನು ನೀಡುತ್ತದೆ.
OpenAI, Anthropic ಮತ್ತು Perplexity ತಮ್ಮ ಕ್ರಾಲರ್ಗಳು 429, 503 ಅಥವಾ Retry-After ಗೆ ಹೇಗೆ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತವೆ ಎಂದು ದಾಖಲಿಸಿಲ್ಲ. ಕಡಿಮೆ ಕೇಳಲು ಈ ಕೋಡ್ಗಳೇ ಪ್ರಮಾಣಿತ ಮಾರ್ಗ, ಆದರೆ ಪ್ರತಿ AI ಕ್ರಾಲರ್ ಎಷ್ಟು ಬೇಗ ಹಿಂದೆ ಸರಿಯುತ್ತದೆ ಎಂಬುದನ್ನು ಎಲ್ಲೂ ನೋಡಲಾಗದು.
AI ಕ್ರಾಲರ್ಗಳಿಗೆ ರೇಟ್ ಮಿತಿ ಹೇಗೆ ಹೊಂದಿಸುವುದು?
ಎಲ್ಲಾ ಟ್ರಾಫಿಕ್ಗೆ ಒಂದೇ ಮಿತಿ ಬದಲು ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಪ್ರತ್ಯೇಕ ಮಿತಿ ನೀಡಿ, ಮತ್ತು ಅದನ್ನು ಮೀರಿದ ವಿನಂತಿಗಳಿಗೆ 429 ನೀಡಿ. nginx ನಲ್ಲಿ limit_req ಮಾಡ್ಯೂಲ್ ಇದನ್ನು ಮಾಡುತ್ತದೆ. ಖಾಲಿ ಕೀ ಇರುವ ವಿನಂತಿಗಳು ಎಣಿಕೆಯಾಗುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಕ್ರಾಲರ್ user agent ಗಳಿಗೆ ಮಾತ್ರ ಕೀ ಹಿಂದಿರುಗಿಸುವ map ಮಾನವ ಸಂದರ್ಶಕರನ್ನು ಮುಟ್ಟುವುದಿಲ್ಲ. ಇಲ್ಲಿ ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ನಿಮಿಷಕ್ಕೆ 60 ವಿನಂತಿಗಳು ಮತ್ತು 20 ರ burst ಸಿಗುತ್ತದೆ:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} ಇಲ್ಲಿ ಕೀ user agent, ಆದ್ದರಿಂದ ಕ್ರಾಲರ್ನ ಹೆಸರನ್ನು ನಕಲಿಸುವ ಯಾರಾದರೂ ಆ ಕ್ರಾಲರ್ನ ಮಿತಿಯನ್ನು ಹಂಚಿಕೊಳ್ಳುತ್ತಾರೆ. ರೇಟ್ ಮಿತಿಗೆ ಅದು ಸ್ವೀಕಾರಾರ್ಹ. allow ನಿಯಮಕ್ಕಾಗಿ, ಮಾರಾಟಗಾರರು ಪ್ರಕಟಿಸಿದ IP ಶ್ರೇಣಿಗಳನ್ನೂ ಹೊಂದಿಸಿ.
Cloudflare ನಲ್ಲಿ rate limiting ನಿಯಮಗಳು ಇದೇ ಕೆಲಸವನ್ನು edge ನಲ್ಲಿ ಮಾಡುತ್ತವೆ. Free ಪ್ಲಾನ್ನಲ್ಲಿ ನಿಮಗೆ ಒಂದು ನಿಯಮ ಸಿಗುತ್ತದೆ, 10 ಸೆಕೆಂಡುಗಳಲ್ಲಿ IP ವಾರು ಎಣಿಕೆಯೊಂದಿಗೆ, ಮತ್ತು ನಿಯಮದ expression ಪಾತ್ ಮತ್ತು Verified Bot ಕ್ಷೇತ್ರವನ್ನು ಬಳಸಬಹುದು. ಅನೇಕ ವಿಳಾಸಗಳಲ್ಲಿ ವಿನಂತಿಗಳನ್ನು ಹಂಚುವ ಕ್ರಾಲರ್ಗಳಿಗೆ IP ವಾರು ಎಣಿಕೆ ಒರಟು, ಮತ್ತು ಉನ್ನತ ಪ್ಲಾನ್ಗಳು ಹೆಚ್ಚು ಎಣಿಕೆ ಆಯ್ಕೆಗಳನ್ನು ಸೇರಿಸುತ್ತವೆ. ಡೀಫಾಲ್ಟ್ ಪ್ರತಿಕ್ರಿಯೆ 429, ಮತ್ತು ನೀವು ಬೇರೆ 4xx ಕೋಡ್ ಹಾಗೂ ಕಸ್ಟಮ್ body ಹೊಂದಿಸಬಹುದು. AI Crawl Control ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ Allow, Block ಮತ್ತು, ಖಾಸಗಿ ಬೀಟಾದಲ್ಲಿ, Charge ನೀಡುತ್ತದೆ, ಆದರೆ ದರ ಸೆಟ್ಟಿಂಗ್ ಇಲ್ಲ.
ನೀವು ಏನನ್ನೇ ಬಳಸಿದರೂ, /robots.txt ಅನ್ನು ಮಿತಿಯಿಂದ ಹೊರಗಿಡಿ. robots.txt ಗೆ ಸರ್ವರ್ ದೋಷ ಬಂದರೆ ಕ್ರಾಲರ್ ಇಡೀ ಸೈಟ್ ನಿಷೇಧಿತ ಎಂದು ಭಾವಿಸಬೇಕು ಎಂದು RFC 9309 ಹೇಳುತ್ತದೆ, ಮತ್ತು ಫೈಲ್ ಇಲ್ಲ ಎಂದು ಪರಿಗಣಿಸುವ 4xx ಕೋಡ್ಗಳಿಂದ Google 429 ಅನ್ನು ಹೊರಗಿಡುತ್ತದೆ.
ಕ್ಯಾಶಿಂಗ್ ಕ್ರಾಲರ್ ಹೊರೆಯನ್ನು ಕಡಿಮೆ ಮಾಡಬಹುದೇ?
ಹೆಚ್ಚಾಗಿ ರೇಟ್ ಮಿತಿಗಿಂತ ಹೆಚ್ಚು. ಕ್ರಾಲರ್ಗಳು ಬಹುತೇಕ ಎಲ್ಲಾ ಸಂದರ್ಶಕರಿಗೂ ಒಂದೇ ರೀತಿಯ ಸಾರ್ವಜನಿಕ ಪುಟಗಳನ್ನು ಕೇಳುತ್ತವೆ, ಆದ್ದರಿಂದ ಅವನ್ನು CDN ಅಥವಾ ಪೇಜ್ ಕ್ಯಾಶ್ನಿಂದ ನೀಡುವುದರಿಂದ ದುಬಾರಿ ರೆಂಡರ್ಗಳು ಅಗ್ಗದ hit ಗಳಾಗುತ್ತವೆ. ನಿಮ್ಮ ಕ್ಯಾಶ್ ಕ್ರಾಲರ್ user agent ಗಳಿಗೆ ಕ್ಯಾಶ್ ಆಗದ ಪ್ರತ್ಯೇಕ ಆವೃತ್ತಿಯನ್ನು ಇಡುವುದಿಲ್ಲ ಎಂದು ಪರಿಶೀಲಿಸಿ.
ಷರತ್ತುಬದ್ಧ ವಿನಂತಿಗಳೂ ಸಹಾಯ ಮಾಡುತ್ತವೆ. ತನ್ನ ಕ್ರಾಲರ್ಗಳು ETag ಮತ್ತು If-None-Match, ಹಾಗೂ Last-Modified ಮತ್ತು If-Modified-Since ಸಹಿತ HTTP ಕ್ಯಾಶಿಂಗ್ ಬೆಂಬಲಿಸುತ್ತವೆ, ಎರಡೂ ಇದ್ದಾಗ ETag ಬಳಸುತ್ತವೆ ಎಂದು Google ಹೇಳುತ್ತದೆ. OpenAI, Anthropic ಮತ್ತು Perplexity ಕ್ರಾಲರ್ ಪುಟಗಳು ತಮ್ಮ ಕ್ರಾಲರ್ಗಳು ಷರತ್ತುಬದ್ಧ ವಿನಂತಿಗಳನ್ನು ಕಳುಹಿಸುತ್ತವೆಯೇ ಎಂದು ಹೇಳುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಆ ಉಳಿತಾಯವನ್ನು Google ಗೆ ಮಾತ್ರ ಲೆಕ್ಕಿಸಿ.
ಕ್ರಾಲರ್ಗಳನ್ನು ನಿಧಾನಗೊಳಿಸುವಾಗ ಏನನ್ನು ತಪ್ಪಿಸಬೇಕು?
- ಫೈರ್ವಾಲ್ನಲ್ಲಿ ಮಾರಾಟಗಾರರ IP ಶ್ರೇಣಿಗಳನ್ನು ತಡೆಯುವುದು. ಇದು ತನ್ನ ಬಾಟ್ಗಳು ನಿಮ್ಮ robots.txt ಓದುವುದನ್ನು ನಿಲ್ಲಿಸುವುದರಿಂದ ಸರಿಯಾಗಿ ಕೆಲಸ ಮಾಡದಿರಬಹುದು ಅಥವಾ ಆಪ್ಟ್-ಔಟ್ ಅನ್ನು ಉಳಿಸದಿರಬಹುದು ಎಂದು Anthropic ಎಚ್ಚರಿಸುತ್ತದೆ.
- ದಿನಗಟ್ಟಲೆ
5xxಅಥವಾ429ನೀಡುವುದು. ಅವನ್ನು ಹಿಂದಿರುಗಿಸುತ್ತಲೇ ಇರುವ URL ಗಳನ್ನು ತನ್ನ ಇಂಡೆಕ್ಸ್ನಿಂದ ಕೈಬಿಡಬಹುದು ಎಂದು Google ಹೇಳುತ್ತದೆ. - ಬಾಟ್ ರಕ್ಷಣೆಯನ್ನು ಥ್ರಾಟಲ್ ಆಗಿ ಬಳಸುವುದು. Cloudflare ನ Bot Fight Mode ಬಾಟ್ಗಳಿಗೆ ಗಣನಾತ್ಮಕವಾಗಿ ದುಬಾರಿ ಚಾಲೆಂಜ್ಗಳನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು WAF ಕಸ್ಟಮ್ ನಿಯಮಗಳಿಂದ ಬಿಟ್ಟುಬಿಡಲಾಗದು, ಆದ್ದರಿಂದ ನೀವು ಉಳಿಸಿಕೊಳ್ಳಲು ಬಯಸುವ ಕ್ರಾಲರ್ಗಳಿಗೆ ವಿನಾಯಿತಿ ನೀಡಲಾಗದು.
- ಬ್ಯಾಂಡ್ವಿಡ್ತ್ ಉಳಿಸಲು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ ಅನ್ನು ನಿಷೇಧಿಸುವುದು.
OAI-SearchBot,Claude-SearchBotಅಥವಾPerplexityBotಗೆDisallowಆ ಕ್ರಾಲರ್ಗಳು ಪೂರೈಸುವ ಉತ್ತರಗಳಿಂದ ನಿಮ್ಮನ್ನು ಹೊರಗಿಡುತ್ತದೆ.
ಕ್ರಾಲರ್ಗಳು ಇನ್ನೂ ಒಳಬರುತ್ತಿವೆಯೇ ಎಂದು ಹೇಗೆ ಪರಿಶೀಲಿಸುವುದು?
ರೇಟ್ ಮಿತಿಗಳನ್ನು ಅತಿ ಬಿಗಿಯಾಗಿ ಹೊಂದಿಸುವುದು ಸುಲಭ. ಉಚಿತ AISeeWhy ಪರಿಶೀಲನೆ ಪುಟವನ್ನು ನಿಜವಾದ ಬ್ರೌಸರ್ ಜೊತೆಗೆ 16 AI ಮತ್ತು ಹುಡುಕಾಟ ಕ್ರಾಲರ್ಗಳಾಗಿ ಪಡೆಯುತ್ತದೆ, ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ನಿಮ್ಮ robots.txt ಅನ್ವಯಿಸುತ್ತದೆ ಮತ್ತು ಫೈರ್ವಾಲ್ ಚಾಲೆಂಜ್ ಪುಟಗಳನ್ನು ಗುರುತಿಸುತ್ತದೆ, ಆದ್ದರಿಂದ ಕ್ರಾಲರ್ಗಳಿಗೆ ಬ್ರೌಸರ್ಗಳಿಗಿಂತ ಬೇರೆ ಉತ್ತರ ನೀಡುವ ನಿಯಮ ಕಾಣಿಸಿಕೊಳ್ಳುತ್ತದೆ. ಪ್ರತಿ ಕ್ರಾಲರ್ಗೆ ಒಂದು ವಿನಂತಿ ಸಮಂಜಸ ಮಿತಿಯನ್ನು ಮುಟ್ಟುವುದಿಲ್ಲ, ಅದೇ ಉದ್ದೇಶ: ಸಾಮಾನ್ಯ ವಿನಂತಿಗಳು ಇನ್ನೂ ಒಳಬರುತ್ತವೆ ಎಂದು ದೃಢಪಡಿಸಲು ನಿಯಮಗಳನ್ನು ಬದಲಿಸಿದ ನಂತರ ಇದನ್ನು ಚಲಾಯಿಸಿ. ಉಚಿತ AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ ನಿಮ್ಮ ಲಾಗ್ಗಳಲ್ಲಿನ IP ನಿಜವಾಗಿ GPTBot ಅಥವಾ ಇನ್ನೊಂದು ಕ್ರಾಲರ್ಗೆ ಸೇರಿದೆಯೇ ಎಂದು ತಿಳಿಸುತ್ತದೆ.
ಮುಂದಿನ ಹಂತಗಳು
- AI ಕ್ರಾಲರ್ಗಳಿಗೆ robots.txt ಪರೀಕ್ಷಕ ಮತ್ತು ಪರಿಶೀಲಕ
- AI ಕ್ರಾಲರ್ IP ಪರಿಶೀಲನೆ
- ಪೂರ್ಣ ವರದಿಯ ಒಂದು ಉದಾಹರಣೆ ನೋಡಿ
- AI ಕ್ರಾಲರ್ ಮೇಲ್ವಿಚಾರಣೆ
- ಪ್ಲಾನ್ಗಳು ಮತ್ತು ಬೆಲೆಗಳು
ಈ ಲೇಖನದಲ್ಲಿರುವ ಕ್ರಾಲರ್ಗಳು
ಪದೇ ಪದೇ ಕೇಳುವ ಪ್ರಶ್ನೆಗಳು
Google Crawl-delay ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆಯೇ?
ಇಲ್ಲ. Google ನ robots.txt ದಾಖಲೆಗಳು crawl-delay ಅನ್ನು ತಾನು ಬೆಂಬಲಿಸದ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ ಪಟ್ಟಿ ಮಾಡುತ್ತವೆ. Googlebot ಅನ್ನು ಅಲ್ಪಕಾಲ ನಿಧಾನಗೊಳಿಸಲು, ಕೆಲವು ವಿನಂತಿಗಳಿಗೆ 503, 500 ಅಥವಾ 429 ಹಿಂದಿರುಗಿಸಿ; ದೀರ್ಘ ಕಡಿತಕ್ಕೆ Google Search Console ಮೂಲಕ ವಿಶೇಷ ವಿನಂತಿಯನ್ನು ನೀಡುತ್ತದೆ.
ClaudeBot Crawl-delay ಅನ್ನು ಗೌರವಿಸುತ್ತದೆಯೇ?
ಪ್ರಮಾಣಿತವಲ್ಲದ Crawl-delay ವಿಸ್ತರಣೆಯನ್ನು ಬೆಂಬಲಿಸುತ್ತೇವೆ ಎಂದು Anthropic ಹೇಳುತ್ತದೆ. ಅದನ್ನು ClaudeBot ಗುಂಪಿನಲ್ಲಿ ಇಡಿ ಮತ್ತು ನಿಮ್ಮ User-agent: * ಗುಂಪಿನ ಎಲ್ಲಾ Disallow ನಿಯಮಗಳನ್ನು ಅಲ್ಲಿ ಪುನರಾವರ್ತಿಸಿ.
GPTBot ಮತ್ತು PerplexityBot Crawl-delay ಅನ್ನು ಬೆಂಬಲಿಸುತ್ತವೆಯೇ?
OpenAI ಮತ್ತು Perplexity ಯ ಕ್ರಾಲರ್ ಪುಟಗಳು Crawl-delay ಅನ್ನು ಉಲ್ಲೇಖಿಸುವುದಿಲ್ಲ, ಆದ್ದರಿಂದ ಅದರ ಪರಿಣಾಮ ದಾಖಲಾಗಿಲ್ಲ. ಹೆಚ್ಚುವರಿ ವಿನಂತಿಗಳಿಗೆ 429 ನೀಡುವ ಸರ್ವರ್-ಸೈಡ್ ಮಿತಿ ಬಳಸಿ.
429 ಪ್ರತಿಕ್ರಿಯೆ ನನ್ನ ರ್ಯಾಂಕಿಂಗ್ಗೆ ಹಾನಿ ಮಾಡುತ್ತದೆಯೇ?
ಅಲ್ಪಾವಧಿಗೆ ಇಲ್ಲ. ಕ್ರಾಲಿಂಗ್ ಅನ್ನು ತಾತ್ಕಾಲಿಕವಾಗಿ ಕಡಿಮೆ ಮಾಡುವ ಮಾರ್ಗವಾಗಿ Google 429 ಮತ್ತು 503 ಅನ್ನು ದಾಖಲಿಸಿದೆ, ಆದರೆ ಹಲವು ದಿನ ಅವನ್ನು ಹಿಂದಿರುಗಿಸುವ URL ಗಳನ್ನು ತನ್ನ ಇಂಡೆಕ್ಸ್ನಿಂದ ಕೈಬಿಡಬಹುದು ಎಂದು ಎಚ್ಚರಿಸುತ್ತದೆ.
ಹೊರೆ ಕಡಿಮೆ ಮಾಡಲು GPTBot ಅನ್ನು ತಡೆಯಬೇಕೇ?
ತಡೆಯಬಹುದು. GPTBot ತರಬೇತಿಗೆ ಬಳಸಬಹುದಾದ ವಿಷಯವನ್ನು ಕ್ರಾಲ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಪ್ರತಿ robots.txt ಸೆಟ್ಟಿಂಗ್ ಸ್ವತಂತ್ರ ಎಂದು OpenAI ಹೇಳುತ್ತದೆ, ಆದ್ದರಿಂದ ಅದನ್ನು ನಿಷೇಧಿಸುವುದು ನಿಮ್ಮನ್ನು OAI-SearchBot ಬಳಸುವ ChatGPT ಹುಡುಕಾಟದಿಂದ ತೆಗೆದುಹಾಕುವುದಿಲ್ಲ. ಹೊರೆ OpenAI ನ ವಿಳಾಸಗಳಿಂದಲೇ ಬರುತ್ತಿದೆ ಎಂದು ಖಚಿತಪಡಿಸಲು ಮೊದಲು ನಿಮ್ಮ ಲಾಗ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.
ಮೂಲಗಳು
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP caching)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers