ਕੀ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰ ਰਿਹਾ ਹੈ? ਪਤਾ ਕਰੋ ਅਤੇ ਠੀਕ ਕਰੋ

ਲਗਭਗ 30 ਸਕਿੰਟਾਂ ਵਿੱਚ ਦੇਖੋ ਕਿ Cloudflare ਜਾਂ ਕੋਈ ਹੋਰ ਫਾਇਰਵਾਲ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਨਾਲ ਜਵਾਬ ਦਿੰਦੀ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਸਹੀ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਲੰਘਣ ਦੇਣ ਵਾਲਾ ਨਿਯਮ ਲਓ।

ਮੁਫ਼ਤ · ਸਾਈਨ-ਅੱਪ ਨਹੀਂ · 30 ਸਕਿੰਟਾਂ ਵਿੱਚ ਨਤੀਜੇ

403, 429 ਅਤੇ ਚੈਲੰਜ ਪੰਨੇ

ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਜਾਂ Just a moment... ਪੰਨਾ ਮਿਲ ਸਕਦਾ ਹੈ ਜਦਕਿ ਤੁਹਾਡੇ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਅਸਲ ਪੰਨਾ ਮਿਲਦਾ ਹੈ। ਤੁਹਾਡਾ ਪੰਨਾ ਦੋਵਾਂ ਤਰ੍ਹਾਂ ਮੰਗਿਆ ਜਾਂਦਾ ਹੈ ਅਤੇ ਫ਼ਰਕ ਨਿਸ਼ਾਨਦੇਹ ਕੀਤਾ ਜਾਂਦਾ ਹੈ।

robots.txt ਬਨਾਮ ਫਾਇਰਵਾਲ

ਜਦੋਂ robots.txt ਕ੍ਰੌਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਪਰ ਸਰਵਰ ਉਸਨੂੰ ਮਨ੍ਹਾ ਕਰਦਾ ਹੈ, ਤਾਂ ਰਿਪੋਰਟ ਇਹ ਟਕਰਾਅ ਦਿਖਾਉਂਦੀ ਹੈ, ਤਾਂ ਜੋ ਤੁਹਾਨੂੰ ਪਤਾ ਲੱਗੇ ਕਿ ਕਿਹੜੀ ਸੈਟਿੰਗ ਬਦਲਣੀ ਹੈ।

ਫਾਇਰਵਾਲ ਦਾ ਨਾਮ

ਜਵਾਬ ਦੇਣ ਵਾਲੇ CDN ਜਾਂ ਫਾਇਰਵਾਲ ਦਾ ਨਾਮ ਦੱਸਿਆ ਜਾਂਦਾ ਹੈ, Cloudflare ਸਮੇਤ, ਇਸ ਲਈ ਤੁਹਾਨੂੰ ਅੰਦਾਜ਼ਾ ਨਹੀਂ ਲਾਉਣਾ ਪੈਂਦਾ ਕਿ ਕਿੱਥੇ ਦੇਖਣਾ ਹੈ।

ਲਾਗੂ ਕਰਨ ਵਾਲਾ ਨਿਯਮ

ਹਰ ਨਤੀਜੇ ਦੇ ਨਾਲ ਹੱਲ ਮਿਲਦਾ ਹੈ, ਜਿਵੇਂ Cloudflare ਦਾ ਨਿਯਮ ਜਾਂ ਇਜਾਜ਼ਤ-ਸੂਚੀ ਦਾ ਕਦਮ। ਮੁਫ਼ਤ ਜਾਂਚ ਤੁਹਾਡਾ ਸਕੋਰ ਅਤੇ ਪਹਿਲਾ ਨਤੀਜਾ ਦਿਖਾਉਂਦੀ ਹੈ; ਪੂਰੀ ਰਿਪੋਰਟ $29 ਦੀ ਹੈ, ਇੱਕ ਵਾਰ ਦੀ ਅਦਾਇਗੀ।

ਛੋਟਾ ਜਵਾਬ

Cloudflare ਅਤੇ ਹੋਰ ਫਾਇਰਵਾਲਾਂ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ 403, 429 ਜਾਂ "Just a moment..." ਚੈਲੰਜ ਪੰਨਾ ਦੇ ਸਕਦੀਆਂ ਹਨ ਜਦਕਿ ਬ੍ਰਾਊਜ਼ਰਾਂ ਨੂੰ ਅਸਲ ਪੰਨਾ ਮਿਲਦਾ ਹੈ, ਭਾਵੇਂ robots.txt ਕ੍ਰੌਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੋਵੇ। ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਪੰਨਾ ਮੰਗ ਕੇ ਜਾਂਚੋ, ਫਿਰ AI Crawl Control ਵਿੱਚ ਜਾਂ WAF skip ਨਿਯਮ ਨਾਲ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ।

3 ਕਦਮਾਂ ਵਿੱਚ ਲੱਭੋ ਅਤੇ ਠੀਕ ਕਰੋ

  1. ਪੰਨਾ ਦੋ ਵਾਰ ਮੰਗੋ

    ਇੱਕ ਵਾਰ ਬ੍ਰਾਊਜ਼ਰ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ, ਇੱਕ ਵਾਰ ਕ੍ਰੌਲਰ ਦੇ ਨਾਲ। ਸਿਰਫ਼ ਕ੍ਰੌਲਰ ਲਈ 403, 429 ਜਾਂ 503, Just a moment... ਪੰਨਾ ਜਾਂ ਬਹੁਤ ਛੋਟਾ 200 ਦਾ ਮਤਲਬ ਹੈ ਫਾਇਰਵਾਲ ਦੀ ਰੋਕ।

  2. ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ

    Cloudflare ਵਿੱਚ AI Crawl Control ਖੋਲ੍ਹੋ, Crawlers ਸੂਚੀ ਵਿੱਚ ਜਾਓ ਅਤੇ ਜਿਹੜੇ ਕ੍ਰੌਲਰ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ, ਜਿਵੇਂ OAI-SearchBot, ਉਨ੍ਹਾਂ ਲਈ Action ਕਾਲਮ ਵਿੱਚ Allow ਚੁਣੋ।

  3. ਲੋੜ ਹੋਵੇ ਤਾਂ ਹੋਰ ਸੁਰੱਖਿਆਵਾਂ ਛੱਡੋ

    ਜੇ WAF ਕਸਟਮ ਨਿਯਮ, Super Bot Fight Mode ਜਾਂ ਰੇਟ ਲਿਮਿਟਿੰਗ ਅਜੇ ਵੀ ਉਨ੍ਹਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦੇ ਹਨ, ਤਾਂ ਇੱਕ ਨਿਯਮ ਜੋੜੋ, ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਰੱਖ ਕੇ, ਜੋ ਪ੍ਰਮਾਣਿਤ ਬੋਟਾਂ ਲਈ ਉਹ ਫੀਚਰ ਛੱਡ ਦੇਵੇ। ਯੂਜ਼ਰ ਏਜੰਟ ਮਿਲਾਨ ਦੀ ਥਾਂ ਪ੍ਰਮਾਣਿਤ ਬੋਟ ਵਾਲੇ ਖੇਤਰ ਜਾਂ ਵੈਂਡਰ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿਓ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

Cloudflare ਵਿੱਚ ਕਿੱਥੇ ਦੇਖਾਂ ਕਿ ਕਿਹੜੇ AI ਕ੍ਰੌਲਰ ਬਲੌਕ ਹਨ?

Cloudflare ਡੈਸ਼ਬੋਰਡ ਵਿੱਚ AI Crawl Control ਖੋਲ੍ਹੋ। ਇਸਦੀ ਕ੍ਰੌਲਰ ਸੂਚੀ ਤੁਹਾਡੇ ਡੋਮੇਨ 'ਤੇ Cloudflare ਨੂੰ ਦਿਸੇ ਹਰ AI ਕ੍ਰੌਲਰ, ਉਸਦੀਆਂ ਬੇਨਤੀਆਂ ਦੀ ਗਿਣਤੀ, ਅਤੇ ਇਹ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਉਸਦਾ action Allow ਹੈ ਜਾਂ Block, ਅਤੇ ਤੁਸੀਂ ਉੱਥੇ ਹੀ action ਬਦਲ ਸਕਦੇ ਹੋ। Bot Fight Mode ਵਰਗੇ ਹੋਰ ਫੀਚਰ ਤੁਹਾਡੇ ਇਜਾਜ਼ਤ ਦਿੱਤੇ ਕ੍ਰੌਲਰ ਨੂੰ ਫਿਰ ਵੀ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹਨ, ਇਸ ਲਈ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਵਾਲੀ ਬੇਨਤੀ ਨਾਲ ਨਤੀਜਾ ਪੱਕਾ ਕਰੋ।

ਕੀ Cloudflare ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ?

ਇਹ ਤੁਹਾਡੇ ਖਾਤੇ, ਪਲਾਨ ਅਤੇ ਤੁਹਾਡੇ zone ਦੀਆਂ ਸੈਟਿੰਗਾਂ 'ਤੇ ਨਿਰਭਰ ਕਰਦਾ ਹੈ, ਅਤੇ Cloudflare ਸਮੇਂ ਨਾਲ ਇਹ ਵਿਕਲਪ ਬਦਲਦਾ ਰਿਹਾ ਹੈ। ਅੰਦਾਜ਼ਾ ਲਾਉਣ ਦੀ ਥਾਂ AI Crawl Control ਅਤੇ ਆਪਣੀਆਂ ਬੋਟ ਸੈਟਿੰਗਾਂ ਜਾਂਚੋ, ਅਤੇ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਟੈਸਟ ਕਰੋ।

ਮੇਰੀ ਸਾਈਟ ਬ੍ਰਾਊਜ਼ਰ ਵਿੱਚ ਚੱਲਦੀ ਹੈ ਪਰ ਕ੍ਰੌਲਰਾਂ ਲਈ ਕਿਉਂ ਨਹੀਂ?

ਫਾਇਰਵਾਲਾਂ ਹਰ ਬੇਨਤੀ ਨੂੰ ਪਰਖਦੀਆਂ ਹਨ। ਬ੍ਰਾਊਜ਼ਰ JavaScript ਚੈਲੰਜ ਪਾਸ ਕਰਦਾ ਹੈ ਅਤੇ cookies ਰੱਖਦਾ ਹੈ; ਕ੍ਰੌਲਰ ਨਹੀਂ, ਇਸ ਲਈ ਉਸਨੂੰ ਚੈਲੰਜ ਪੰਨਾ ਜਾਂ 403 ਮਿਲ ਸਕਦਾ ਹੈ ਜੋ ਤੁਸੀਂ ਕਦੇ ਨਹੀਂ ਦੇਖਦੇ।

ਕੀ WAF ਰਾਹੀਂ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਲੰਘਣ ਦੇਣਾ ਸੁਰੱਖਿਅਤ ਹੈ?

ਜੇ ਤੁਸੀਂ ਕਿਸੇ ਨਾਮ ਵਾਲੇ ਕ੍ਰੌਲਰ ਦੀ ਕੰਪਨੀ ਦੀਆਂ IP ਰੇਂਜਾਂ ਜਾਂ Cloudflare ਦੇ verified bot ਸਿਗਨਲ ਨਾਲ ਪੁਸ਼ਟੀ ਕਰਦੇ ਹੋ, ਤਾਂ ਉਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ ਵਿੱਚ ਜੋਖਮ ਘੱਟ ਹੈ। ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ 'ਤੇ ਭਰੋਸਾ ਕਰਨ ਵਾਲੇ ਨਿਯਮ ਉਸਦੀ ਨਕਲ ਕਰਨ ਵਾਲੇ ਹਰ ਕਿਸੇ ਨੂੰ ਵੀ ਲੰਘਣ ਦਿੰਦੇ ਹਨ।

ਕੀ Cloudflare ਦਾ ਈਮੇਲ obfuscation ਫੀਚਰ AI ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਅਸਰ ਪਾਉਂਦਾ ਹੈ?

ਇਹ ਈਮੇਲ ਪਤਿਆਂ ਦੀ ਥਾਂ ਅਜਿਹਾ ਲਿੰਕ ਪਾ ਦਿੰਦਾ ਹੈ ਜਿਸਨੂੰ ਸਿਰਫ਼ ਸਕ੍ਰਿਪਟ ਡੀਕੋਡ ਕਰਦੀ ਹੈ, ਇਸ ਲਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਪਤੇ ਦੀ ਥਾਂ placeholder ਦਿਸਦਾ ਹੈ। ਜੇ ਤੁਸੀਂ ਚਾਹੁੰਦੇ ਹੋ ਕਿ ਤੁਹਾਡੀ ਸੰਪਰਕ ਈਮੇਲ ਪੜ੍ਹੀ ਜਾ ਸਕੇ, ਤਾਂ Scrape Shield ਹੇਠ Email Address Obfuscation ਬੰਦ ਕਰੋ ਅਤੇ ਪਤਾ ਸਾਦੇ ਟੈਕਸਟ ਵਜੋਂ ਦਿਖਾਓ।

ਪੂਰੀ ਗਾਈਡ ਪੜ੍ਹੋ

ਬੋਟ ਸੁਰੱਖਿਆ ਸਕ੍ਰੇਪਰਾਂ ਅਤੇ ਦੁਰਵਰਤੋਂ ਨੂੰ ਰੋਕਣ ਲਈ ਹੈ, ਅਤੇ ਇਹ ਇਸ ਵਿੱਚ ਚੰਗੀ ਹੈ। ਮੁਸ਼ਕਲ ਇਹ ਹੈ ਕਿ AI ਸਰਚ ਕ੍ਰੌਲਰ ਵੀ ਬੋਟ ਹਨ। ਸਾਲਾਂ ਪਹਿਲਾਂ ਚਾਲੂ ਕੀਤੀ ਕੋਈ ਸੁਰੱਖਿਆ ਸੈਟਿੰਗ, ਕੋਈ rate limit, ਜਾਂ ਅਣਜਾਣ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਵਿਰੁੱਧ ਕੋਈ ਵਿਆਪਕ ਨਿਯਮ ਚੁੱਪਚਾਪ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਾਹਰ ਰੱਖ ਸਕਦਾ ਹੈ ਜੋ ਤੁਹਾਡਾ ਹਵਾਲਾ ਦਿੰਦੇ ਹਨ, ਜਦਕਿ ਤੁਹਾਡੀਆਂ ਆਪਣੀਆਂ ਵਿਜ਼ਿਟਾਂ ਬਿਲਕੁਲ ਆਮ ਲੱਗਦੀਆਂ ਹਨ।

ਫਾਇਰਵਾਲ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਿਉਂ ਕਰੇਗੀ?

ਫਾਇਰਵਾਲਾਂ ਹਰ ਬੇਨਤੀ ਨੂੰ ਪਰਖਦੀਆਂ ਹਨ। ਕ੍ਰੌਲਰ JavaScript ਚੈਲੰਜ ਨਹੀਂ ਚਲਾਉਂਦਾ, ਬ੍ਰਾਊਜ਼ਰ ਵਾਂਗ cookies ਨਹੀਂ ਰੱਖਦਾ ਅਤੇ ਅਕਸਰ ਲਗਾਤਾਰ ਕਈ ਪੰਨੇ ਮੰਗਦਾ ਹੈ, ਇਸ ਲਈ ਉਹ ਬਿਲਕੁਲ ਉਸ ਟ੍ਰੈਫਿਕ ਵਰਗਾ ਲੱਗ ਸਕਦਾ ਹੈ ਜਿਸਨੂੰ ਰੋਕਣ ਲਈ ਬੋਟ ਸੁਰੱਖਿਆ ਬਣੀ ਹੈ। ਆਮ ਕਾਰਨ ਹਨ:

  • ਬੋਟ ਸੁਰੱਖਿਆ ਫੀਚਰ ਜੋ ਜਾਣੇ-ਪਛਾਣੇ ਬੋਟ ਪੈਟਰਨਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦੇ ਟ੍ਰੈਫਿਕ ਨੂੰ ਚੈਲੰਜ ਕਰਦੇ ਹਨ। ਮਿਸਾਲ ਵਜੋਂ, Cloudflare ਦਾ Bot Fight Mode ਬੋਟਾਂ ਨੂੰ ਗਣਨਾ ਪੱਖੋਂ ਭਾਰੀ ਚੈਲੰਜ ਦਿੰਦਾ ਹੈ।
  • WAF custom rules ਜੋ "bot" ਜਾਂ "crawler" ਵਰਗੇ ਸ਼ਬਦਾਂ ਵਾਲੇ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਨੂੰ ਬਲੌਕ ਜਾਂ ਚੈਲੰਜ ਕਰਦੇ ਹਨ, ਜਾਂ ਸਿਰਫ਼ ਸਰਚ ਇੰਜਣਾਂ ਦੀ ਛੋਟੀ ਸੂਚੀ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ।
  • ਸੈਟਿੰਗਾਂ ਜੋ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇੱਕ ਸ਼੍ਰੇਣੀ ਵਜੋਂ ਬਲੌਕ ਕਰਦੀਆਂ ਹਨ। Cloudflare ਤੁਹਾਨੂੰ Search, Agent ਅਤੇ Training ਕ੍ਰੌਲਰਾਂ ਲਈ ਨੀਤੀਆਂ ਸੈੱਟ ਕਰਨ ਦਿੰਦਾ ਹੈ, ਅਤੇ ਉੱਥੇ Block ਸੈਟਿੰਗ ਉਨ੍ਹਾਂ ਸਾਰਿਆਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ।
  • Rate limiting ਜੋ ਕ੍ਰੌਲਰ ਦੀਆਂ ਤੇਜ਼ ਲਗਾਤਾਰ ਬੇਨਤੀਆਂ ਨੂੰ 429 ਨਾਲ ਜਵਾਬ ਦਿੰਦੀ ਹੈ।
  • ਦੇਸ਼ ਜਾਂ ASN ਬਲੌਕ ਜੋ ਇਤਫ਼ਾਕ ਨਾਲ ਉਨ੍ਹਾਂ ਨੈੱਟਵਰਕਾਂ ਨੂੰ ਕਵਰ ਕਰਦੇ ਹਨ ਜਿੱਥੋਂ ਕ੍ਰੌਲਰ ਚੱਲਦੇ ਹਨ।

ਫਾਇਰਵਾਲ ਬਲੌਕ ਅਤੇ robots.txt ਬਲੌਕ ਵਿੱਚ ਫ਼ਰਕ ਕਿਵੇਂ ਪਛਾਣਾਂ?

robots.txt ਬਲੌਕ ਇੱਕ ਨਿਮਰ ਬੇਨਤੀ ਹੈ: ਕ੍ਰੌਲਰ ਤੁਹਾਡੇ ਨਿਯਮ ਪੜ੍ਹਦਾ ਹੈ ਅਤੇ ਪੰਨਾ ਨਹੀਂ ਲਿਆਉਂਦਾ। ਫਾਇਰਵਾਲ ਬਲੌਕ ਇੱਕ ਜਵਾਬ ਹੈ: ਕ੍ਰੌਲਰ ਪੰਨਾ ਮੰਗਦਾ ਹੈ ਅਤੇ ਉਸਨੂੰ ਕੁਝ ਹੋਰ ਮਿਲਦਾ ਹੈ। ਦੂਜੀ ਕਿਸਮ ਤੁਸੀਂ ਸਿੱਧੀ ਦੇਖ ਸਕਦੇ ਹੋ। ਪੰਨਾ ਦੋ ਵਾਰ ਮੰਗੋ, ਇੱਕ ਵਾਰ ਬ੍ਰਾਊਜ਼ਰ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਅਤੇ ਇੱਕ ਵਾਰ ਕ੍ਰੌਲਰ ਦੇ ਨਾਲ, ਅਤੇ ਤੁਲਨਾ ਕਰੋ।

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

ਫਾਇਰਵਾਲ ਬਲੌਕ ਦੀਆਂ ਨਿਸ਼ਾਨੀਆਂ: ਸਿਰਫ਼ ਕ੍ਰੌਲਰ ਲਈ ਸਥਿਤੀ 403, 429 ਜਾਂ 503; Just a moment... ਜਾਂ Attention Required! | Cloudflare ਸਿਰਲੇਖ ਵਾਲਾ ਪੰਨਾ; /cdn-cgi/challenge-platform ਵਾਲੀ ਸਮੱਗਰੀ; ਜਾਂ ਬ੍ਰਾਊਜ਼ਰ ਵਾਲੇ ਨਾਲੋਂ ਕਾਫ਼ੀ ਛੋਟਾ 200 ਜਵਾਬ। ਯਾਦ ਰੱਖੋ ਕਿ ਤੁਹਾਡਾ ਟੈਸਟ ਤੁਹਾਡੇ ਆਪਣੇ IP ਤੋਂ ਆਉਂਦਾ ਹੈ, ਕ੍ਰੌਲਰ ਦੀ ਪ੍ਰਮਾਣਿਤ IP ਰੇਂਜ ਤੋਂ ਨਹੀਂ, ਇਸ ਲਈ ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਫਾਇਰਵਾਲ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਕਿਵੇਂ ਪੇਸ਼ ਆਉਂਦੀ ਹੈ, ਇਹ ਨਹੀਂ ਕਿ ਅਸਲ ਕ੍ਰੌਲਰ ਨਾਲ ਹਰ ਪੱਖੋਂ ਕਿਵੇਂ।

Cloudflare ਵਿੱਚ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਵਾਂ?

Cloudflare ਦਾ AI Crawl Control, ਜੋ ਸਾਰੇ ਪਲਾਨਾਂ 'ਤੇ ਉਪਲਬਧ ਹੈ, ਤੁਹਾਡੇ ਡੋਮੇਨ 'ਤੇ ਆਉਣ ਵਾਲੇ AI ਕ੍ਰੌਲਰਾਂ ਦੀ ਸੂਚੀ ਦਿੰਦਾ ਹੈ ਅਤੇ ਹਰ ਇੱਕ ਲਈ ਕਾਰਵਾਈ ਸੈੱਟ ਕਰਨ ਦਿੰਦਾ ਹੈ। ਡੈਸ਼ਬੋਰਡ ਵਿੱਚ AI Crawl Control ਖੋਲ੍ਹੋ, Crawlers ਸੂਚੀ 'ਤੇ ਜਾਓ ਅਤੇ ਹਰ ਕ੍ਰੌਲਰ ਲਈ Action ਕਾਲਮ ਵਿੱਚ Allow ਜਾਂ Block ਚੁਣੋ। Cloudflare ਕਹਿੰਦਾ ਹੈ ਕਿ ਉੱਥੇ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੇ zone 'ਤੇ ਇੱਕ WAF custom rule ਬਣਦਾ ਜਾਂ ਅੱਪਡੇਟ ਹੁੰਦਾ ਹੈ।

ਜੇ ਕ੍ਰੌਲਰ ਨੂੰ ਕੋਈ WAF custom rule, Super Bot Fight Mode ਜਾਂ rate limiting ਬਲੌਕ ਕਰ ਰਹੀ ਹੈ, ਤਾਂ ਇੱਕ custom rule ਜੋੜੋ ਜੋ verified bots ਅਤੇ ਕ੍ਰੌਲਰ ਦੇ ਟੋਕਨ ਲਈ ਉਹ ਫੀਚਰ ਛੱਡ ਦੇਵੇ:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

ਨਿਯਮ ਨੂੰ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਰੱਖੋ। ਧਿਆਨ ਦਿਓ ਕਿ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਮੇਲ ਕਰਨਾ ਉਸ ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਨਕਲ ਕਰਨ ਵਾਲੇ ਹਰ ਕਿਸੇ ਨੂੰ ਵੀ ਲੰਘਣ ਦਿੰਦਾ ਹੈ। ਜਿੱਥੇ ਹੋ ਸਕੇ, verified bot ਖੇਤਰ (cf.client.bot) ਜਾਂ ਕੰਪਨੀ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਨੂੰ ਤਰਜੀਹ ਦਿਓ।

Bot Fight Mode ਬਾਰੇ ਕੀ?

Cloudflare ਦੇ ਦਸਤਾਵੇਜ਼ ਸਾਫ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ Bot Fight Mode ਨੂੰ WAF custom rules ਜਾਂ Page Rules ਨਾਲ ਬਾਈਪਾਸ ਜਾਂ skip ਨਹੀਂ ਕੀਤਾ ਜਾ ਸਕਦਾ। ਜੇ ਇਹੀ ਫੀਚਰ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਚੈਲੰਜ ਕਰ ਰਿਹਾ ਹੈ, ਤਾਂ skip ਨਿਯਮ ਮਦਦ ਨਹੀਂ ਕਰੇਗਾ। ਵਿਕਲਪ ਹਨ Bot Fight Mode ਬੰਦ ਕਰਨਾ, ਜਾਂ ਜਿਸ ਪਲਾਨ ਵਿੱਚ ਹੋਵੇ ਉੱਥੇ Super Bot Fight Mode ਵਰਤਣਾ, ਜੋ Ruleset Engine 'ਤੇ ਚੱਲਦਾ ਹੈ ਅਤੇ skip ਨਿਯਮਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ।

ਮੈਨੂੰ ਕਿਹੜੇ ਕ੍ਰੌਲਰ ਲੰਘਣ ਦੇਣੇ ਚਾਹੀਦੇ ਹਨ?

ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਉਨ੍ਹਾਂ ਦੇ ਕੰਮ ਮੁਤਾਬਕ ਵੱਖ ਕਰੋ। ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ-fetch ਕ੍ਰੌਲਰ ਤੈਅ ਕਰਦੇ ਹਨ ਕਿ AI ਜਵਾਬ ਤੁਹਾਨੂੰ ਲੱਭ ਕੇ ਤੁਹਾਡਾ ਹਵਾਲਾ ਦੇ ਸਕਦੇ ਹਨ ਜਾਂ ਨਹੀਂ। ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਮਾਡਲਾਂ ਲਈ ਡਾਟਾ ਇਕੱਠਾ ਕਰਦੇ ਹਨ, ਅਤੇ ਉਨ੍ਹਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਜਾਇਜ਼ ਚੋਣ ਹੈ ਜੋ ਤੁਹਾਨੂੰ AI ਸਰਚ ਤੋਂ ਨਹੀਂ ਹਟਾਉਂਦੀ।

  • ਸਰਚ: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot।
  • ਯੂਜ਼ਰ fetches: ChatGPT-User, Claude-User, Perplexity-User।
  • ਸਿਖਲਾਈ: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider।

Cloudflare ਦੀਆਂ ਆਪਣੀਆਂ ਨੀਤੀ ਸੈਟਿੰਗਾਂ ਵੀ ਇਹੀ Search, Agent ਅਤੇ Training ਵੰਡ ਵਰਤਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਤੁਸੀਂ ਪਹਿਲੀਆਂ ਦੋ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇ ਕੇ ਤੀਜੀ ਬਾਰੇ ਵੱਖਰਾ ਫ਼ੈਸਲਾ ਕਰ ਸਕਦੇ ਹੋ। ਜੇ ਤੁਸੀਂ ਕੋਈ ਹੋਰ ਫਾਇਰਵਾਲ ਜਾਂ CDN ਵਰਤਦੇ ਹੋ, ਤਾਂ ਸਿਧਾਂਤ ਉਹੀ ਹੈ: ਕ੍ਰੌਲਰ ਦੇ ਟੋਕਨ ਨੂੰ allowlist ਕਰੋ, ਜਿੱਥੇ ਉਪਲਬਧ ਹੋਵੇ ਕੰਪਨੀ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਜਾਂ reverse DNS ਨਾਲ ਪੁਸ਼ਟੀ ਕਰਕੇ, ਤਾਂ ਜੋ ਉਸਨੂੰ ਬ੍ਰਾਊਜ਼ਰ ਵਾਲਾ ਹੀ ਜਵਾਬ ਮਿਲੇ।

AISeeWhy ਫਾਇਰਵਾਲ ਬਲੌਕ ਕਿਵੇਂ ਪਛਾਣਦਾ ਹੈ?

AISeeWhy ਤੁਹਾਡਾ ਪੰਨਾ 14 ਕ੍ਰੌਲਰਾਂ ਅਤੇ ਇੱਕ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਮੰਗਦਾ ਹੈ, ਸਥਿਤੀ, ਆਕਾਰ ਅਤੇ redirects ਦੀ ਤੁਲਨਾ ਕਰਦਾ ਹੈ, ਚੈਲੰਜ ਪੰਨੇ ਪਛਾਣਦਾ ਹੈ ਅਤੇ ਜਵਾਬ ਦੇਣ ਵਾਲੀ ਫਾਇਰਵਾਲ ਜਾਂ CDN ਦਾ ਨਾਮ ਦੱਸਦਾ ਹੈ। ਜਦੋਂ robots.txt ਕਿਸੇ ਕ੍ਰੌਲਰ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਪਰ ਸਰਵਰ ਉਸਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ, ਤਾਂ ਰਿਪੋਰਟ ਇਹ ਟਕਰਾਅ ਦਿਖਾਉਂਦੀ ਹੈ ਅਤੇ ਇਸਨੂੰ ਠੀਕ ਕਰਨ ਲਈ Cloudflare ਨਿਯਮ ਜਾਂ allowlist ਦਾ ਕਦਮ ਦਿੰਦੀ ਹੈ।

ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਸਰੋਤ

ਹੋਰ ਲੇਖ

ਪ੍ਰਕਾਸ਼ਿਤ · ਅੱਪਡੇਟ ਕੀਤਾ