AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕੀਤੇ ਬਿਨਾਂ ਹੌਲੀ ਕਿਵੇਂ ਕਰੀਏ
ਬਲੌਕ ਕਰਨ ਦੀ ਥਾਂ ਰੇਟ ਲਿਮਿਟ ਲਾਓ। ਕ੍ਰੌਲਰ ਦੀਆਂ ਵਾਧੂ ਬੇਨਤੀਆਂ ਨੂੰ Retry-After ਹੈਡਰ ਸਮੇਤ 429 ਜਾਂ 503 ਨਾਲ ਜਵਾਬ ਦਿਓ, ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਆਪਣਾ ਬਜਟ ਦਿਓ, /robots.txt ਨੂੰ ਹਰ ਸੀਮਾ ਤੋਂ ਬਾਹਰ ਰੱਖੋ, ਅਤੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੈਸ਼ ਤੋਂ ਸਮੱਗਰੀ ਦਿਓ। robots.txt ਵਿੱਚ Crawl-delay ਸਿਰਫ਼ ਉੱਥੇ ਮਦਦ ਕਰਦਾ ਹੈ ਜਿੱਥੇ ਆਪਰੇਟਰ ਇਸਦਾ ਵੇਰਵਾ ਦਿੰਦਾ ਹੈ: Anthropic ਅਤੇ Bing ਦਿੰਦੇ ਹਨ, Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ ਇਸਨੂੰ ਸਪੋਰਟ ਨਹੀਂ ਕਰਦਾ, ਅਤੇ OpenAI ਅਤੇ Perplexity ਇਸਦਾ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦੇ। AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਰਹੋ, ਨਹੀਂ ਤਾਂ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਦੇ ਆਧਾਰ 'ਤੇ ਬਣਦੇ ਜਵਾਬਾਂ ਵਿੱਚੋਂ ਵੀ ਬਾਹਰ ਹੋ ਜਾਂਦੇ ਹੋ।
ਜਦੋਂ ਕੋਈ ਕ੍ਰੌਲਰ ਇੱਕ ਘੰਟੇ ਵਿੱਚ ਹਜ਼ਾਰਾਂ ਬੇਨਤੀਆਂ ਭੇਜਦਾ ਹੈ, ਤਾਂ ਝਟਪਟ ਹੱਲ Disallow: / ਜਾਂ ਫਾਇਰਵਾਲ ਬਲੌਕ ਹੁੰਦਾ ਹੈ। ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਲਈ ਇਹ ਠੀਕ ਚੋਣ ਹੋ ਸਕਦੀ ਹੈ। OAI-SearchBot, Claude-SearchBot ਜਾਂ PerplexityBot ਲਈ ਇਹ ਤੁਹਾਡੇ ਪੰਨਿਆਂ ਨੂੰ ਉਨ੍ਹਾਂ AI ਜਵਾਬਾਂ ਵਿੱਚੋਂ ਹਟਾ ਦਿੰਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਵਿੱਚ ਤੁਸੀਂ ਆਉਣਾ ਚਾਹੁੰਦੇ ਹੋ। ਜ਼ਿਆਦਾਤਰ ਵਾਰ ਬੋਝ ਇਹ ਛੱਡੇ ਬਿਨਾਂ ਘਟਾਇਆ ਜਾ ਸਕਦਾ ਹੈ, ਉਨ੍ਹਾਂ ਸੰਕੇਤਾਂ ਨਾਲ ਜੋ ਕ੍ਰੌਲਰ ਪਹਿਲਾਂ ਹੀ ਸਮਝਦੇ ਹਨ: ਸਥਿਤੀ ਕੋਡ, ਕੈਸ਼ਿੰਗ ਅਤੇ, ਕੁਝ ਆਪਰੇਟਰਾਂ ਲਈ, Crawl-delay।
ਇਸ ਪੰਨੇ 'ਤੇ
ਅਸਲ ਵਿੱਚ ਕਿਹੜਾ ਕ੍ਰੌਲਰ ਬੋਝ ਪਾ ਰਿਹਾ ਹੈ?
ਕੁਝ ਵੀ ਬਦਲਣ ਤੋਂ ਪਹਿਲਾਂ ਦੇਖੋ। ਆਪਣੇ access ਲੌਗਾਂ ਵਿੱਚ ਹਰ ਯੂਜ਼ਰ ਏਜੰਟ ਅਤੇ ਹਰ ਘੰਟੇ ਦੀਆਂ ਬੇਨਤੀਆਂ ਗਿਣੋ, ਅਤੇ ਸਰੋਤ IP ਨੂੰ ਹਰ ਕੰਪਨੀ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜਾਂ ਨਾਲ ਜਾਂਚੋ; ਸਰਵਰ ਲੌਗਾਂ ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਲੱਭਣ ਬਾਰੇ ਸਾਡੀ ਗਾਈਡ ਵਿੱਚ ਕਮਾਂਡਾਂ ਹਨ। ਦੋ ਨਤੀਜੇ ਅਕਸਰ ਸਾਹਮਣੇ ਆਉਂਦੇ ਹਨ:
- ਭਾਰੀ ਟ੍ਰੈਫਿਕ ਸਿਰਫ਼ AI ਕ੍ਰੌਲਰ ਹੋਣ ਦਾ ਦਾਅਵਾ ਕਰਦਾ ਹੈ। ਜੇ IP ਕੰਪਨੀ ਦੀ ਸੂਚੀ ਵਿੱਚ ਨਹੀਂ, ਤਾਂ ਅਸਲ ਕ੍ਰੌਲਰ ਲਈ ਬਣੇ ਨਿਯਮ ਮਦਦ ਨਹੀਂ ਕਰਨਗੇ। ਇਸ ਦੀ ਥਾਂ ਉਸ ਟ੍ਰੈਫਿਕ ਨੂੰ ਉਸਦੇ ਸਰੋਤ ਦੇ ਆਧਾਰ 'ਤੇ ਸੀਮਤ ਜਾਂ ਬਲੌਕ ਕਰੋ।
- ਅਸਲ ਕ੍ਰੌਲਰ ਕਿਸੇ crawl trap ਵਿੱਚ ਫਸਿਆ ਹੈ, ਜਿਵੇਂ ਬੇਅੰਤ ਕੈਲੰਡਰ ਪੰਨੇ, ਫਿਲਟਰਾਂ ਦੇ ਮੇਲ ਜਾਂ URL ਵਿੱਚ ਸੈਸ਼ਨ ID। ਉਨ੍ਹਾਂ paths ਲਈ
Disallowਨਿਯਮਾਂ ਨਾਲ ਜਾਲ ਬੰਦ ਕਰਨਾ ਕਿਸੇ ਵੀ ਰੇਟ ਲਿਮਿਟ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਬਚਾਉਂਦਾ ਹੈ।
ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਕੰਮ ਮੁਤਾਬਕ ਵੀ ਵੰਡੋ। GPTBot ਅਤੇ ClaudeBot ਵਰਗੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਉਹ ਨਹੀਂ ਜੋ ਤੁਹਾਨੂੰ AI ਸਰਚ ਵਿੱਚ ਹਵਾਲੇ ਯੋਗ ਬਣਾਉਂਦੇ ਹਨ, ਇਸ ਲਈ ਜੇ ਸਮੱਸਿਆ ਉਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕੋਈ ਹੈ, ਤਾਂ ਉਸਨੂੰ ਮਨ੍ਹਾ ਕਰਨਾ ਵਾਜਬ ਵਿਕਲਪ ਹੈ। ਇਸ ਗਾਈਡ ਦਾ ਬਾਕੀ ਹਿੱਸਾ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਲਈ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹੋ।
ਕੀ Crawl-delay AI ਕ੍ਰੌਲਰਾਂ ਲਈ ਕੰਮ ਕਰਦਾ ਹੈ?
Crawl-delay RFC 9309 ਦਾ ਹਿੱਸਾ ਨਹੀਂ, ਇਸ ਲਈ ਹਰ ਆਪਰੇਟਰ ਖੁਦ ਤੈਅ ਕਰਦਾ ਹੈ ਕਿ ਇਸਨੂੰ ਪੜ੍ਹਨਾ ਹੈ ਜਾਂ ਨਹੀਂ। ਨਵੰਬਰ 2026 ਤੱਕ ਦਸਤਾਵੇਜ਼ ਇਹ ਕਹਿੰਦੇ ਹਨ:
- Anthropic: ਸਪੋਰਟ ਕਰਦਾ ਹੈ। ਇਸਦਾ ਹੈਲਪ ਪੰਨਾ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਕ੍ਰੌਲਿੰਗ ਸੀਮਤ ਕਰਨ ਲਈ ਗ਼ੈਰ-ਸਟੈਂਡਰਡ
Crawl-delayਐਕਸਟੈਂਸ਼ਨ ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ, ਅਤੇ ਮਿਸਾਲ ਵਜੋਂClaudeBotਗਰੁੱਪ ਵਿੱਚCrawl-delay: 1ਦਿੰਦਾ ਹੈ। - Microsoft Bing: ਸਪੋਰਟ ਕਰਦਾ ਹੈ। Bing ਦਾ webmaster ਬਲੌਗ ਇਸ ਮੁੱਲ ਨੂੰ 1 ਤੋਂ 30 ਸਕਿੰਟਾਂ ਦੀ ਸਮਾਂ-ਖਿੜਕੀ ਦੱਸਦਾ ਹੈ ਜਿਸ ਵਿੱਚ
bingbotਵੱਧ ਤੋਂ ਵੱਧ ਇੱਕ ਪੰਨਾ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਕਹਿੰਦਾ ਹੈ ਕਿ robots.txt ਦਾ crawl delay Bing Webmaster Tools ਦੀਆਂ ਕ੍ਰੌਲ ਸੈਟਿੰਗਾਂ ਤੋਂ ਉੱਪਰ ਹੈ। - Google: ਸਪੋਰਟ ਨਹੀਂ ਕਰਦਾ। Google ਦੇ robots.txt ਦਸਤਾਵੇਜ਼
crawl-delayਨੂੰ ਅਜਿਹਾ ਫੀਲਡ ਦੱਸਦੇ ਹਨ ਜਿਸਨੂੰ ਉਹ ਸਪੋਰਟ ਨਹੀਂ ਕਰਦਾ। - OpenAI ਅਤੇ Perplexity: ਉਨ੍ਹਾਂ ਦੇ ਕ੍ਰੌਲਰ ਪੰਨੇ ਇਸਦਾ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦੇ, ਇਸ ਲਈ
GPTBot,OAI-SearchBotਜਾਂPerplexityBot'ਤੇ ਇਸਦਾ ਅਸਰ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਨਹੀਂ।
User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/
User-agent: *
Disallow: /search/
Disallow: /cart/ ਗਰੁੱਪਾਂ ਦੇ ਤਰਕ ਦਾ ਧਿਆਨ ਰੱਖੋ। ਜੋ ਕ੍ਰੌਲਰ ਆਪਣੇ ਨਾਮ ਵਾਲਾ ਗਰੁੱਪ ਲੱਭ ਲੈਂਦਾ ਹੈ, ਉਹ User-agent: * ਗਰੁੱਪ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਸਿਰਫ਼ Crawl-delay ਵਾਲਾ ClaudeBot ਗਰੁੱਪ ਉਹ ਹਰ Disallow ਛੱਡ ਦੇਵੇਗਾ ਜੋ ਤੁਸੀਂ ਬਾਕੀ ਸਾਰਿਆਂ ਲਈ ਲਾਇਆ ਹੈ। ਉੱਪਰ ਵਾਂਗ ਉਨ੍ਹਾਂ ਨੂੰ ਦੁਹਰਾਓ। Bing Crawl-delay ਨੂੰ ਇੱਕ ਅਪਵਾਦ ਦੱਸਦਾ ਹੈ ਜਿਸਨੂੰ ਉਹ ਕਿਸੇ ਵੀ ਗਰੁੱਪ ਤੋਂ ਪੜ੍ਹਦਾ ਹੈ, ਪਰ ਹੋਰ ਕ੍ਰੌਲਰਾਂ ਲਈ ਇਹ ਨਾ ਮੰਨੋ।
429 ਅਤੇ 503 ਜਵਾਬ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕਿਵੇਂ ਹੌਲੀ ਕਰਦੇ ਹਨ?
ਬੋਝ ਦੇ ਸਿਖਰਾਂ ਲਈ ਸਥਿਤੀ ਕੋਡ ਹੀ ਉਹ ਸੰਕੇਤ ਹੈ ਜਿਸਦਾ ਸਤਿਕਾਰ ਕਰਨ ਲਈ ਕ੍ਰੌਲਰ ਬਣੇ ਹਨ। RFC 6585 ਵਿੱਚ ਪਰਿਭਾਸ਼ਿਤ 429 Too Many Requests ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕਲਾਇੰਟ ਨੇ ਦਿੱਤੇ ਸਮੇਂ ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ ਬੇਨਤੀਆਂ ਭੇਜੀਆਂ, ਅਤੇ ਇਸਦੇ ਨਾਲ ਉਡੀਕ ਦਾ ਸਮਾਂ ਦੱਸਣ ਵਾਲਾ Retry-After ਹੈਡਰ ਹੋ ਸਕਦਾ ਹੈ। 503 Service Unavailable ਦੱਸਦਾ ਹੈ ਕਿ ਸਰਵਰ ਇਸ ਵੇਲੇ ਸੰਭਾਲ ਨਹੀਂ ਸਕਦਾ।
Google ਇਸਨੂੰ Googlebot ਦੀ ਕ੍ਰੌਲ ਰਫ਼ਤਾਰ ਜਲਦੀ ਘਟਾਉਣ ਦਾ ਤਰੀਕਾ ਦੱਸਦਾ ਹੈ: ਕੁਝ ਕ੍ਰੌਲ ਬੇਨਤੀਆਂ ਨੂੰ 200 ਦੀ ਥਾਂ 500, 503 ਜਾਂ 429 ਵਾਪਸ ਕਰੋ। ਉਹ ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਪੂਰੇ hostname ਲਈ ਕ੍ਰੌਲ ਰਫ਼ਤਾਰ ਘਟਾਉਂਦਾ ਹੈ, ਅਤੇ Retry-After ਵਿੱਚ ਸਕਿੰਟਾਂ ਦੀ ਗਿਣਤੀ ਜਾਂ ਤਾਰੀਖ ਹੋ ਸਕਦੀ ਹੈ।
HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain
Too many requests, please retry later. ਇਸਨੂੰ ਥੋੜ੍ਹੇ ਸਮੇਂ ਲਈ ਰੱਖੋ। Google ਇੱਕ ਜਾਂ ਦੋ ਦਿਨਾਂ ਤੋਂ ਵੱਧ ਅਜਿਹਾ ਕਰਨ ਤੋਂ ਮਨ੍ਹਾ ਕਰਦਾ ਹੈ, ਕਿਉਂਕਿ ਕਈ ਦਿਨਾਂ ਤੱਕ ਇਹ ਕੋਡ ਦੇਣ ਵਾਲਾ URL ਉਸਦੇ ਇੰਡੈਕਸ ਵਿੱਚੋਂ ਹਟ ਸਕਦਾ ਹੈ। ਲੰਬੇ ਸਮੇਂ ਲਈ ਘਟਾਉਣ ਲਈ Google ਇਸਦੀ ਥਾਂ Search Console ਰਾਹੀਂ ਖ਼ਾਸ ਬੇਨਤੀ ਦਾ ਵਿਕਲਪ ਦਿੰਦਾ ਹੈ।
OpenAI, Anthropic ਅਤੇ Perplexity ਇਹ ਨਹੀਂ ਦੱਸਦੇ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਕ੍ਰੌਲਰ 429, 503 ਜਾਂ Retry-After 'ਤੇ ਕਿਵੇਂ ਪ੍ਰਤੀਕਿਰਿਆ ਕਰਦੇ ਹਨ। ਘੱਟ ਮੰਗਣ ਲਈ ਇਹ ਕੋਡ ਸਟੈਂਡਰਡ ਤਰੀਕਾ ਹਨ, ਪਰ ਹਰ AI ਕ੍ਰੌਲਰ ਕਿੰਨੀ ਜਲਦੀ ਪਿੱਛੇ ਹਟਦਾ ਹੈ, ਇਹ ਕਿਤੇ ਦੇਖਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ।
AI ਕ੍ਰੌਲਰਾਂ ਲਈ ਰੇਟ ਲਿਮਿਟ ਕਿਵੇਂ ਲਾਈਏ?
ਸਾਰੇ ਟ੍ਰੈਫਿਕ ਲਈ ਇੱਕ ਸੀਮਾ ਦੀ ਥਾਂ ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਆਪਣਾ ਬਜਟ ਦਿਓ, ਅਤੇ ਉਸ ਤੋਂ ਵੱਧ ਬੇਨਤੀਆਂ ਨੂੰ 429 ਨਾਲ ਜਵਾਬ ਦਿਓ। nginx ਵਿੱਚ limit_req ਮੋਡਿਊਲ ਇਹ ਕਰਦਾ ਹੈ। ਖਾਲੀ ਕੁੰਜੀ ਵਾਲੀਆਂ ਬੇਨਤੀਆਂ ਗਿਣੀਆਂ ਨਹੀਂ ਜਾਂਦੀਆਂ, ਇਸ ਲਈ ਸਿਰਫ਼ ਕ੍ਰੌਲਰ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਲਈ ਕੁੰਜੀ ਦੇਣ ਵਾਲਾ map ਮਨੁੱਖੀ ਵਿਜ਼ਿਟਰਾਂ ਨੂੰ ਨਹੀਂ ਛੇੜਦਾ। ਇੱਥੇ ਹਰ ਕ੍ਰੌਲਰ ਨੂੰ ਪ੍ਰਤੀ ਮਿੰਟ 60 ਬੇਨਤੀਆਂ ਅਤੇ 20 ਦਾ burst ਮਿਲਦਾ ਹੈ:
# In the http block
map $http_user_agent $ai_crawler {
default "";
~*GPTBot gptbot;
~*OAI-SearchBot oai-searchbot;
~*ClaudeBot claudebot;
~*Claude-SearchBot claude-searchbot;
~*PerplexityBot perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;
# In the server block
location = /robots.txt {
# serve robots.txt as before, without limit_req
}
location / {
limit_req zone=ai_crawlers burst=20 nodelay;
limit_req_status 429;
# ... your existing configuration
} ਇੱਥੇ ਕੁੰਜੀ ਯੂਜ਼ਰ ਏਜੰਟ ਹੈ, ਇਸ ਲਈ ਜੋ ਵੀ ਕਿਸੇ ਕ੍ਰੌਲਰ ਦਾ ਨਾਮ ਨਕਲ ਕਰਦਾ ਹੈ, ਉਹ ਉਸ ਕ੍ਰੌਲਰ ਦਾ ਬਜਟ ਸਾਂਝਾ ਕਰਦਾ ਹੈ। ਰੇਟ ਲਿਮਿਟ ਲਈ ਇਹ ਮਨਜ਼ੂਰ ਹੈ। allow ਨਿਯਮ ਲਈ ਕੰਪਨੀ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨਾਲ ਵੀ ਮੇਲ ਕਰੋ।
Cloudflare 'ਤੇ rate limiting rules ਇਹੀ ਕੰਮ edge 'ਤੇ ਕਰਦੇ ਹਨ। Free ਪਲਾਨ 'ਤੇ ਤੁਹਾਨੂੰ ਇੱਕ ਨਿਯਮ ਮਿਲਦਾ ਹੈ, ਜੋ 10 ਸਕਿੰਟਾਂ ਵਿੱਚ ਪ੍ਰਤੀ IP ਗਿਣਦਾ ਹੈ, ਅਤੇ ਨਿਯਮ ਦਾ expression path ਅਤੇ Verified Bot ਫੀਲਡ ਵਰਤ ਸਕਦਾ ਹੈ। ਜੋ ਕ੍ਰੌਲਰ ਬੇਨਤੀਆਂ ਨੂੰ ਬਹੁਤ ਸਾਰੇ ਪਤਿਆਂ 'ਤੇ ਵੰਡਦੇ ਹਨ, ਉਨ੍ਹਾਂ ਲਈ ਪ੍ਰਤੀ IP ਗਿਣਤੀ ਮੋਟਾ ਤਰੀਕਾ ਹੈ, ਅਤੇ ਉੱਚੇ ਪਲਾਨ ਗਿਣਤੀ ਦੇ ਹੋਰ ਵਿਕਲਪ ਜੋੜਦੇ ਹਨ। ਡਿਫਾਲਟ ਜਵਾਬ 429 ਹੈ, ਅਤੇ ਤੁਸੀਂ ਕੋਈ ਹੋਰ 4xx ਕੋਡ ਅਤੇ ਕਸਟਮ body ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ। AI Crawl Control ਹਰ ਕ੍ਰੌਲਰ ਲਈ Allow, Block ਅਤੇ, private beta ਵਿੱਚ, Charge ਦਿੰਦਾ ਹੈ, ਪਰ ਰਫ਼ਤਾਰ ਦੀ ਕੋਈ ਸੈਟਿੰਗ ਨਹੀਂ।
ਤੁਸੀਂ ਜੋ ਵੀ ਵਰਤੋ, /robots.txt ਨੂੰ ਸੀਮਾ ਤੋਂ ਬਾਹਰ ਰੱਖੋ। RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ robots.txt ਲਈ ਸਰਵਰ ਗਲਤੀ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਨੂੰ ਪੂਰੀ ਸਾਈਟ ਮਨ੍ਹਾ ਮੰਨਣੀ ਪੈਂਦੀ ਹੈ, ਅਤੇ Google 429 ਨੂੰ ਉਨ੍ਹਾਂ 4xx ਕੋਡਾਂ ਵਿੱਚ ਨਹੀਂ ਗਿਣਦਾ ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਹ ਗ਼ੈਰ-ਮੌਜੂਦ ਫਾਈਲ ਮੰਨਦਾ ਹੈ।
ਕੀ ਕੈਸ਼ਿੰਗ ਕ੍ਰੌਲਰਾਂ ਦਾ ਬੋਝ ਘਟਾ ਸਕਦੀ ਹੈ?
ਅਕਸਰ ਰੇਟ ਲਿਮਿਟ ਨਾਲੋਂ ਵੀ ਜ਼ਿਆਦਾ। ਕ੍ਰੌਲਰ ਜ਼ਿਆਦਾਤਰ ਜਨਤਕ ਪੰਨੇ ਮੰਗਦੇ ਹਨ ਜੋ ਹਰ ਵਿਜ਼ਿਟਰ ਲਈ ਇੱਕੋ ਜਿਹੇ ਹੁੰਦੇ ਹਨ, ਇਸ ਲਈ ਉਨ੍ਹਾਂ ਨੂੰ CDN ਜਾਂ ਪੇਜ ਕੈਸ਼ ਤੋਂ ਦੇਣ ਨਾਲ ਮਹਿੰਗੇ renders ਸਸਤੇ hits ਬਣ ਜਾਂਦੇ ਹਨ। ਜਾਂਚੋ ਕਿ ਤੁਹਾਡਾ ਕੈਸ਼ ਕ੍ਰੌਲਰ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਲਈ ਵੱਖਰਾ, ਬਿਨਾਂ ਕੈਸ਼ ਵਾਲਾ ਰੂਪ ਨਹੀਂ ਰੱਖਦਾ।
Conditional ਬੇਨਤੀਆਂ ਵੀ ਮਦਦ ਕਰਦੀਆਂ ਹਨ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਸਦੇ ਕ੍ਰੌਲਰ ETag ਅਤੇ If-None-Match, ਅਤੇ Last-Modified ਅਤੇ If-Modified-Since ਨਾਲ HTTP ਕੈਸ਼ਿੰਗ ਨੂੰ ਸਪੋਰਟ ਕਰਦੇ ਹਨ, ਅਤੇ ਦੋਵੇਂ ਹੋਣ 'ਤੇ ETag ਵਰਤਦੇ ਹਨ। OpenAI, Anthropic ਅਤੇ Perplexity ਦੇ ਕ੍ਰੌਲਰ ਪੰਨੇ ਨਹੀਂ ਦੱਸਦੇ ਕਿ ਉਨ੍ਹਾਂ ਦੇ ਕ੍ਰੌਲਰ conditional ਬੇਨਤੀਆਂ ਭੇਜਦੇ ਹਨ ਜਾਂ ਨਹੀਂ, ਇਸ ਲਈ ਇਸ ਬੱਚਤ ਦੀ ਉਮੀਦ ਸਿਰਫ਼ Google ਲਈ ਰੱਖੋ।
ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਹੌਲੀ ਕਰਦੇ ਸਮੇਂ ਕਿਨ੍ਹਾਂ ਗੱਲਾਂ ਤੋਂ ਬਚੀਏ?
- ਫਾਇਰਵਾਲ 'ਤੇ ਕਿਸੇ ਕੰਪਨੀ ਦੀਆਂ IP ਰੇਂਜਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ। Anthropic ਚੇਤਾਵਨੀ ਦਿੰਦਾ ਹੈ ਕਿ ਇਹ ਸਹੀ ਕੰਮ ਨਹੀਂ ਕਰ ਸਕਦਾ ਜਾਂ opt-out ਕਾਇਮ ਨਹੀਂ ਰੱਖ ਸਕਦਾ, ਕਿਉਂਕਿ ਇਸ ਨਾਲ ਉਸਦੇ ਬੋਟ ਤੁਹਾਡੀ robots.txt ਨਹੀਂ ਪੜ੍ਹ ਸਕਦੇ।
- ਕਈ ਦਿਨਾਂ ਤੱਕ
5xxਜਾਂ429ਦੇਣਾ। Google ਕਹਿੰਦਾ ਹੈ ਕਿ ਲਗਾਤਾਰ ਇਹ ਦੇਣ ਵਾਲੇ URL ਉਸਦੇ ਇੰਡੈਕਸ ਵਿੱਚੋਂ ਹਟ ਸਕਦੇ ਹਨ। - ਬੋਟ ਸੁਰੱਖਿਆ ਨੂੰ ਰਫ਼ਤਾਰ ਘਟਾਉਣ ਲਈ ਵਰਤਣਾ। Cloudflare ਦਾ Bot Fight Mode ਬੋਟਾਂ ਨੂੰ ਗਣਨਾ ਪੱਖੋਂ ਮਹਿੰਗੇ ਚੈਲੰਜ ਦਿੰਦਾ ਹੈ ਅਤੇ WAF ਕਸਟਮ ਨਿਯਮਾਂ ਨਾਲ ਛੱਡਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ, ਇਸ ਲਈ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਛੋਟ ਨਹੀਂ ਦੇ ਸਕਦੇ ਜਿਨ੍ਹਾਂ ਨੂੰ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹੋ।
- bandwidth ਬਚਾਉਣ ਲਈ ਸਰਚ ਕ੍ਰੌਲਰ ਨੂੰ ਮਨ੍ਹਾ ਕਰਨਾ।
OAI-SearchBot,Claude-SearchBotਜਾਂPerplexityBotਲਈDisallowਤੁਹਾਨੂੰ ਉਨ੍ਹਾਂ ਜਵਾਬਾਂ ਵਿੱਚੋਂ ਕੱਢ ਦਿੰਦਾ ਹੈ ਜੋ ਇਹ ਕ੍ਰੌਲਰ ਭਰਦੇ ਹਨ।
ਕਿਵੇਂ ਜਾਂਚਾਂ ਕਿ ਕ੍ਰੌਲਰ ਅਜੇ ਵੀ ਲੰਘ ਰਹੇ ਹਨ?
ਰੇਟ ਲਿਮਿਟ ਨੂੰ ਲੋੜ ਤੋਂ ਵੱਧ ਸਖ਼ਤ ਕਰਨਾ ਆਸਾਨ ਹੈ। ਮੁਫ਼ਤ AISeeWhy ਜਾਂਚ ਪੰਨੇ ਨੂੰ ਅਸਲ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ 16 AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਲਿਆਉਂਦੀ ਹੈ, ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਤੁਹਾਡੀ robots.txt ਲਾਗੂ ਕਰਦੀ ਹੈ ਅਤੇ ਫਾਇਰਵਾਲ ਦੇ ਚੈਲੰਜ ਪੰਨੇ ਪਛਾਣਦੀ ਹੈ, ਇਸ ਲਈ ਜੋ ਨਿਯਮ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬ੍ਰਾਊਜ਼ਰਾਂ ਨਾਲੋਂ ਵੱਖਰਾ ਜਵਾਬ ਦਿੰਦਾ ਹੈ, ਉਹ ਸਾਹਮਣੇ ਆ ਜਾਂਦਾ ਹੈ। ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਇੱਕ ਬੇਨਤੀ ਕਿਸੇ ਵਾਜਬ ਸੀਮਾ ਨੂੰ ਨਹੀਂ ਛੇੜੇਗੀ, ਅਤੇ ਮਕਸਦ ਇਹੀ ਹੈ: ਨਿਯਮ ਬਦਲਣ ਤੋਂ ਬਾਅਦ ਇਸਨੂੰ ਚਲਾਓ ਤਾਂ ਜੋ ਪੁਸ਼ਟੀ ਹੋਵੇ ਕਿ ਆਮ ਬੇਨਤੀਆਂ ਅਜੇ ਵੀ ਲੰਘਦੀਆਂ ਹਨ। ਮੁਫ਼ਤ AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ ਦੱਸਦੀ ਹੈ ਕਿ ਤੁਹਾਡੇ ਲੌਗਾਂ ਦਾ IP ਅਸਲ ਵਿੱਚ GPTBot ਜਾਂ ਕਿਸੇ ਹੋਰ ਕ੍ਰੌਲਰ ਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ Google Crawl-delay ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ?
ਨਹੀਂ। Google ਦੇ robots.txt ਦਸਤਾਵੇਜ਼ crawl-delay ਨੂੰ ਉਨ੍ਹਾਂ ਫੀਲਡਾਂ ਵਿੱਚ ਗਿਣਦੇ ਹਨ ਜਿਨ੍ਹਾਂ ਨੂੰ ਉਹ ਸਪੋਰਟ ਨਹੀਂ ਕਰਦਾ। Googlebot ਨੂੰ ਥੋੜ੍ਹੇ ਸਮੇਂ ਲਈ ਹੌਲੀ ਕਰਨ ਲਈ ਕੁਝ ਬੇਨਤੀਆਂ ਨੂੰ 503, 500 ਜਾਂ 429 ਵਾਪਸ ਕਰੋ; ਲੰਬੇ ਸਮੇਂ ਲਈ ਘਟਾਉਣ ਵਾਸਤੇ Google, Search Console ਰਾਹੀਂ ਖ਼ਾਸ ਬੇਨਤੀ ਦਾ ਵਿਕਲਪ ਦਿੰਦਾ ਹੈ।
ਕੀ ClaudeBot, Crawl-delay ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ?
Anthropic ਕਹਿੰਦਾ ਹੈ ਕਿ ਉਹ ਗ਼ੈਰ-ਸਟੈਂਡਰਡ Crawl-delay ਐਕਸਟੈਂਸ਼ਨ ਨੂੰ ਸਪੋਰਟ ਕਰਦਾ ਹੈ। ਇਸਨੂੰ ClaudeBot ਗਰੁੱਪ ਵਿੱਚ ਰੱਖੋ ਅਤੇ ਆਪਣੇ User-agent: * ਗਰੁੱਪ ਦੇ ਸਾਰੇ Disallow ਨਿਯਮ ਉੱਥੇ ਦੁਹਰਾਓ।
ਕੀ GPTBot ਅਤੇ PerplexityBot, Crawl-delay ਨੂੰ ਸਪੋਰਟ ਕਰਦੇ ਹਨ?
OpenAI ਅਤੇ Perplexity ਦੇ ਕ੍ਰੌਲਰ ਪੰਨੇ Crawl-delay ਦਾ ਜ਼ਿਕਰ ਨਹੀਂ ਕਰਦੇ, ਇਸ ਲਈ ਇਸਦਾ ਅਸਰ ਦਸਤਾਵੇਜ਼ਾਂ ਵਿੱਚ ਨਹੀਂ। ਸਰਵਰ-ਸਾਈਡ ਸੀਮਾ ਵਰਤੋ ਜੋ ਵਾਧੂ ਬੇਨਤੀਆਂ ਨੂੰ 429 ਨਾਲ ਜਵਾਬ ਦੇਵੇ।
ਕੀ 429 ਜਵਾਬ ਮੇਰੀ ਰੈਂਕਿੰਗ ਨੂੰ ਨੁਕਸਾਨ ਪਹੁੰਚਾਏਗਾ?
ਥੋੜ੍ਹੇ ਸਮੇਂ ਲਈ ਨਹੀਂ। Google 429 ਅਤੇ 503 ਨੂੰ ਕ੍ਰੌਲਿੰਗ ਆਰਜ਼ੀ ਤੌਰ 'ਤੇ ਘਟਾਉਣ ਦਾ ਤਰੀਕਾ ਦੱਸਦਾ ਹੈ, ਪਰ ਚੇਤਾਵਨੀ ਦਿੰਦਾ ਹੈ ਕਿ ਕਈ ਦਿਨਾਂ ਤੱਕ ਇਹ ਦੇਣ ਵਾਲੇ URL ਉਸਦੇ ਇੰਡੈਕਸ ਵਿੱਚੋਂ ਹਟ ਸਕਦੇ ਹਨ।
ਕੀ ਬੋਝ ਘਟਾਉਣ ਲਈ ਮੈਨੂੰ GPTBot ਬਲੌਕ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ?
ਕਰ ਸਕਦੇ ਹੋ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ GPTBot ਉਹ ਸਮੱਗਰੀ ਕ੍ਰੌਲ ਕਰਦਾ ਹੈ ਜੋ ਸਿਖਲਾਈ ਲਈ ਵਰਤੀ ਜਾ ਸਕਦੀ ਹੈ ਅਤੇ ਹਰ robots.txt ਸੈਟਿੰਗ ਸੁਤੰਤਰ ਹੈ, ਇਸ ਲਈ ਇਸਨੂੰ ਮਨ੍ਹਾ ਕਰਨ ਨਾਲ ਤੁਸੀਂ ChatGPT ਸਰਚ ਤੋਂ ਨਹੀਂ ਹਟਦੇ, ਜੋ OAI-SearchBot ਵਰਤਦੀ ਹੈ। ਪਹਿਲਾਂ ਆਪਣੇ ਲੌਗ ਜਾਂਚੋ ਤਾਂ ਜੋ ਪੱਕਾ ਹੋਵੇ ਕਿ ਬੋਝ OpenAI ਦੇ ਪਤਿਆਂ ਤੋਂ ਆ ਰਿਹਾ ਹੈ।
ਸਰੋਤ
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Bing Webmaster Blog: To crawl or not to crawl, that is BingBot's question
- Google: How Google interprets the robots.txt specification
- Google: Reduce the Google crawl rate
- Google: Overview of Google crawlers and fetchers (HTTP ਕੈਸ਼ਿੰਗ)
- RFC 9309: Robots Exclusion Protocol
- RFC 6585: Additional HTTP Status Codes (429)
- nginx: Module ngx_http_limit_req_module
- Cloudflare: Rate limiting rules
- Cloudflare: Rate limiting parameters
- Cloudflare: Manage AI crawlers (AI Crawl Control)
- Cloudflare: Bot Fight Mode
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers