Cloudflare ਦੀ AI Crawl Control ਰਿਪੋਰਟ ਕਿਵੇਂ ਪੜ੍ਹੀਏ ਅਤੇ ਦੇਖੀਏ ਕਿ ਕਿਹੜੇ AI ਕ੍ਰੌਲਰ ਅੰਦਰ ਆਉਂਦੇ ਹਨ

ਪ੍ਰਕਾਸ਼ਿਤ

ਛੋਟਾ ਜਵਾਬ

ਆਪਣੇ Cloudflare ਡੈਸ਼ਬੋਰਡ ਵਿੱਚ AI Crawl Control ਖੋਲ੍ਹੋ: ਕ੍ਰੌਲਰ ਸੂਚੀ ਤੁਹਾਡੇ ਡੋਮੇਨ 'ਤੇ Cloudflare ਨੂੰ ਦਿਸੇ ਹਰ AI ਕ੍ਰੌਲਰ ਨੂੰ, ਉਸਦੀਆਂ ਬੇਨਤੀਆਂ, robots.txt ਉਲੰਘਣਾਵਾਂ, ਅਤੇ ਇਹ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਉਸਦਾ action Allow ਹੈ ਜਾਂ Block। ਸਿਖਲਾਈ ਤੋਂ ਇਨਕਾਰ ਕਰਕੇ AI ਸਰਚ ਰੱਖਣ ਲਈ, ਉੱਥੇ ਜਾਂ AI Crawler and Agent access policies ਹੇਠ ਸਰਚ ਅਤੇ ਏਜੰਟ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ ਅਤੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਜਾਂ disallow ਕਰੋ। ਫਿਰ ਬਾਹਰੋਂ curl ਨਾਲ ਪੱਕਾ ਕਰੋ, ਕਿਉਂਕਿ Cloudflare ਦੇ ਹੋਰ ਫੀਚਰ ਤੁਹਾਡੇ ਇਜਾਜ਼ਤ ਦਿੱਤੇ ਕ੍ਰੌਲਰ ਨੂੰ ਫਿਰ ਵੀ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹਨ।

Cloudflare ਵਿੱਚ ਹੁਣ ਦੋ ਥਾਵਾਂ ਹਨ ਜੋ ਤੈਅ ਕਰਦੀਆਂ ਹਨ ਕਿ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ: AI Crawl Control, ਯਾਨੀ ਹਰ ਕ੍ਰੌਲਰ ਦੀ ਰਿਪੋਰਟ ਅਤੇ ਕੰਟਰੋਲ ਪੈਨਲ ਜਿਸਨੂੰ ਪਹਿਲਾਂ AI Audit ਕਹਿੰਦੇ ਸਨ, ਅਤੇ Security settings ਹੇਠ ਪੂਰੇ zone ਲਈ AI Crawler and Agent access policies। ਦੋਵੇਂ Free ਪਲਾਨ 'ਤੇ ਹਨ, ਦੋਵੇਂ 2026 ਵਿੱਚ ਬਦਲੇ, ਅਤੇ ਦੋਵਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਉਨ੍ਹਾਂ ਹੋਰ ਸਾਰੇ ਫੀਚਰਾਂ ਬਾਰੇ ਨਹੀਂ ਦੱਸਦਾ ਜੋ ਕ੍ਰੌਲਰ ਨੂੰ ਫਿਰ ਵੀ 403 ਦੇ ਸਕਦੇ ਹਨ। ਇਹ ਗਾਈਡ ਰਿਪੋਰਟ ਨੂੰ ਕਾਲਮ-ਦਰ-ਕਾਲਮ ਸਮਝਾਉਂਦੀ ਹੈ, ਦੱਸਦੀ ਹੈ ਕਿ allow ਅਤੇ block ਕਿੱਥੇ ਸੈੱਟ ਕਰਨੇ ਹਨ, ਅਤੇ ਇੱਕ ਟੈਸਟ ਨਾਲ ਖ਼ਤਮ ਹੁੰਦੀ ਹੈ ਜੋ ਤੁਸੀਂ ਆਪਣੀ ਮਸ਼ੀਨ ਤੋਂ ਚਲਾ ਸਕਦੇ ਹੋ।

ਇਸ ਪੰਨੇ 'ਤੇ
  1. Cloudflare ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਰਿਪੋਰਟ ਕਿੱਥੇ ਹੈ?
  2. AI Crawl Control ਰਿਪੋਰਟ ਵਿੱਚ ਹਰ ਕਾਲਮ ਅਤੇ metric ਦਾ ਕੀ ਮਤਲਬ ਹੈ?
  3. Cloudflare ਵਿੱਚ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇ ਕੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਬਲੌਕ ਕਰੀਏ?
  4. Cloudflare ਦੇ AI ਕ੍ਰੌਲਰ ਡਿਫਾਲਟਾਂ ਵਿੱਚ ਕੀ ਬਦਲਿਆ?
  5. ਇਜਾਜ਼ਤ ਦੇਣ ਤੋਂ ਬਾਅਦ ਵੀ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕਿਉਂ ਬਲੌਕ ਕਰ ਰਿਹਾ ਹੈ?
  6. ਬਾਹਰੋਂ ਕਿਵੇਂ ਪੱਕਾ ਕਰਾਂ ਕਿ Cloudflare ਕਿਹੜੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦਾ ਹੈ?
  7. AISeeWhy ਕਿਵੇਂ ਜਾਂਚਦਾ ਹੈ ਕਿ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੀ ਭੇਜਦਾ ਹੈ?

Cloudflare ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਰਿਪੋਰਟ ਕਿੱਥੇ ਹੈ?

ਡੈਸ਼ਬੋਰਡ ਵਿੱਚ ਆਪਣਾ ਖਾਤਾ ਅਤੇ ਡੋਮੇਨ ਚੁਣੋ, ਫਿਰ AI Crawl Control ਖੋਲ੍ਹੋ। Cloudflare ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਬਿਨਾਂ ਸੈਟਅੱਪ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ ਸਾਰੇ ਪਲਾਨਾਂ 'ਤੇ ਉਪਲਬਧ ਹੈ, ਬਸ਼ਰਤੇ ਤੁਹਾਡੇ ਡੋਮੇਨ ਦਾ ਟ੍ਰੈਫਿਕ Cloudflare ਰਾਹੀਂ proxy ਹੋਵੇ। ਇਸਦੇ ਚਾਰ ਹਿੱਸੇ ਹਨ:

ਅੰਕੜੇ ਪੜ੍ਹਦੇ ਵੇਲੇ ਪਲਾਨ ਦੀਆਂ ਦੋ ਹੱਦਾਂ ਅਹਿਮ ਹਨ। Free ਪਲਾਨ 'ਤੇ AI Crawl Control ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਸਿਰਫ਼ ਉਨ੍ਹਾਂ ਦੀ ਯੂਜ਼ਰ ਏਜੰਟ string ਨਾਲ ਪਛਾਣਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਸਿਰਫ਼ ਉਹ ਕ੍ਰੌਲਰ ਦੇਖਦਾ ਹੈ ਜੋ ਆਪਣੀ ਪਛਾਣ ਦੱਸਦੇ ਹਨ, ਅਤੇ Metrics ਟੈਬ ਪਿਛਲੇ 24 ਘੰਟੇ ਕਵਰ ਕਰਦੀ ਹੈ। ਪੇਡ ਪਲਾਨ Bot Management detection ID ਰਾਹੀਂ ਪਛਾਣ ਜੋੜਦੇ ਹਨ, ਅਤੇ Bot Management ਵਾਲੇ Enterprise ਨੂੰ ਸੈੱਟ ਕਰਨ ਯੋਗ ਸਮਾਂ-ਸੀਮਾਵਾਂ ਮਿਲਦੀਆਂ ਹਨ।

AI Crawl Control ਰਿਪੋਰਟ ਵਿੱਚ ਹਰ ਕਾਲਮ ਅਤੇ metric ਦਾ ਕੀ ਮਤਲਬ ਹੈ?

Cloudflare ਫ਼ੀਲਡਾਂ ਦਾ ਵੇਰਵਾ ਇਸ ਤਰ੍ਹਾਂ ਦਿੰਦਾ ਹੈ। ਪਰਿਭਾਸ਼ਾਵਾਂ ਅਹਿਮ ਹਨ, ਕਿਉਂਕਿ ਕਈ ਅੰਕੜੇ ਤੁਹਾਡੀ ਉਮੀਦ ਨਾਲੋਂ ਵੱਧ ਗਿਣਦੇ ਹਨ।

ਰਿਪੋਰਟ ਆਪਣੇ ਚੁਣੇ action ਤੋਂ ਪੜ੍ਹੋ। Allow ਵਾਲੇ ਕ੍ਰੌਲਰ ਨੂੰ ਜ਼ਿਆਦਾਤਰ ਇਜਾਜ਼ਤ ਮਿਲੀਆਂ ਬੇਨਤੀਆਂ ਅਤੇ 2xx ਕੋਡ ਦਿਖਾਉਣੇ ਚਾਹੀਦੇ ਹਨ। ਜੇ ਇਹ ਕਈ ਨਾਕਾਮ ਬੇਨਤੀਆਂ ਦਿਖਾਉਂਦਾ ਹੈ, ਤਾਂ ਉਸ ਕ੍ਰੌਲਰ ਲਈ ਫ਼ਿਲਟਰ ਕੀਤੀ ਸਟੇਟਸ ਕੋਡ ਵੰਡ ਖੋਲ੍ਹੋ, ਅਤੇ ਜਵਾਬ ਦੇਣ ਵਾਲਾ ਨਿਯਮ ਲੱਭਣ ਲਈ Security Analytics ਜਾਂਚੋ।

Cloudflare ਵਿੱਚ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇ ਕੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਬਲੌਕ ਕਰੀਏ?

ਤੁਸੀਂ ਇਹ ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਜਾਂ ਵਿਹਾਰ ਮੁਤਾਬਕ ਕਰ ਸਕਦੇ ਹੋ। ਹਰ ਕ੍ਰੌਲਰ ਲਈ: AI Crawl Control ਖੋਲ੍ਹੋ ਅਤੇ ਹਰ ਕਤਾਰ ਲਈ Action ਸੈੱਟ ਕਰੋ। Cloudflare ਕਹਿੰਦਾ ਹੈ ਕਿ ਉੱਥੇ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੇ zone 'ਤੇ WAF custom rule ਬਣਦਾ ਜਾਂ ਅੱਪਡੇਟ ਹੁੰਦਾ ਹੈ, ਜਿਸਨੂੰ ਤੁਸੀਂ path ਛੋਟਾਂ ਲਈ WAF ਵਿੱਚ ਵਧਾ ਸਕਦੇ ਹੋ। ਪੇਡ ਪਲਾਨਾਂ 'ਤੇ ਤੁਸੀਂ ਚੁਣ ਸਕਦੇ ਹੋ ਕਿ ਬਲੌਕ ਹੋਏ ਕ੍ਰੌਲਰਾਂ ਨੂੰ 403 ਮਿਲੇ ਜਾਂ 402, ਅਤੇ ਸਾਦੇ ਟੈਕਸਟ ਵਾਲੀ body ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ।

ਵਿਹਾਰ ਮੁਤਾਬਕ: Security, ਫਿਰ Settings ਵਿੱਚ ਜਾਓ, Bot traffic ਨਾਲ ਫ਼ਿਲਟਰ ਕਰੋ ਅਤੇ AI Crawler and Agent access policies ਖੋਲ੍ਹੋ। Cloudflare AI ਟ੍ਰੈਫਿਕ ਨੂੰ ਤਿੰਨ ਵਿਹਾਰਾਂ ਵਿੱਚ ਵੰਡਦਾ ਹੈ, ਅਤੇ ਹਰ ਨੀਤੀ ਉਸ ਵਿਹਾਰ ਵਾਲੇ verified bots ਅਤੇ ਮੇਲ ਖਾਂਦੇ unverified bots 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ:

ਹਰ ਵਿਹਾਰ ਨੂੰ Block, Block on pages with ads, ਜਾਂ Allow (do not block) 'ਤੇ ਸੈੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। Training ਲਈ Disallow ਵੀ ਹੈ, ਜੋ ਸਿਰਫ਼ robots.txt ਰਾਹੀਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬੇਨਤੀ ਕਰਦਾ ਹੈ। Bot Preference Sync ਚਾਲੂ ਹੋਵੇ ਤਾਂ Cloudflare ਤੁਹਾਡੀ robots.txt ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ managed ਨਿਯਮ ਜੋੜਦਾ ਹੈ ਜੋ Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ਅਤੇ meta-externalagent ਨੂੰ ਮਨ੍ਹਾ ਕਰਦੇ ਹਨ, ਇੱਕ Content Signals ਲਾਈਨ ਜੋੜਦਾ ਹੈ, ਅਤੇ edge 'ਤੇ ਵੀ AI ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ, ਸਿਵਾਏ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਦੇ ਜੋ ਸਰਚ ਅਤੇ ਸਿਖਲਾਈ ਦੋਵਾਂ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ।

AI ਹਵਾਲੇ ਚਾਹੁਣ ਵਾਲੀਆਂ ਜ਼ਿਆਦਾਤਰ ਸਾਈਟਾਂ ਲਈ ਸੁਰੱਖਿਅਤ ਜੋੜ ਇਹ ਹੈ: Search ਅਤੇ Agent ਨੂੰ Allow, Training ਨੂੰ Disallow, ਅਤੇ ਫਿਰ ਸਿਰਫ਼-ਸਿਖਲਾਈ ਵਾਲੇ ਜਿਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਤੁਸੀਂ edge 'ਤੇ ਰੋਕਣਾ ਚਾਹੁੰਦੇ ਹੋ ਉਨ੍ਹਾਂ ਲਈ AI Crawl Control ਵਿੱਚ ਵੱਖਰੇ Block actions।

Cloudflare ਦੇ AI ਕ੍ਰੌਲਰ ਡਿਫਾਲਟਾਂ ਵਿੱਚ ਕੀ ਬਦਲਿਆ?

1 ਜੁਲਾਈ 2025 ਨੂੰ Cloudflare ਨੇ ਐਲਾਨ ਕੀਤਾ ਕਿ ਉਹ ਡਿਫਾਲਟ ਬਦਲ ਕੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਉਦੋਂ ਤੱਕ ਬਲੌਕ ਕਰੇਗਾ ਜਦੋਂ ਤੱਕ ਉਹ ਸਿਰਜਣਹਾਰਾਂ ਨੂੰ ਭੁਗਤਾਨ ਨਾ ਕਰਨ। 1 ਜੁਲਾਈ 2026 ਨੂੰ ਇਸਨੇ ਇੱਕੋ Block AI bots ਸਵਿੱਚ ਦੀ ਥਾਂ ਉੱਪਰ ਦੱਸੀਆਂ ਵੱਖਰੀਆਂ Search, Agent ਅਤੇ Training ਨੀਤੀਆਂ ਲਿਆਂਦੀਆਂ, Free ਸਮੇਤ ਸਾਰੇ ਪਲਾਨਾਂ ਲਈ। ਉਸੇ ਐਲਾਨ ਵਿੱਚ ਕਿਹਾ ਗਿਆ ਕਿ 15 ਸਤੰਬਰ 2026 ਤੋਂ ਜੁੜਨ ਵਾਲੇ ਨਵੇਂ ਡੋਮੇਨਾਂ 'ਤੇ ਇਸ਼ਤਿਹਾਰ ਦਿਖਾਉਣ ਵਾਲੇ ਪੰਨਿਆਂ 'ਤੇ Training ਅਤੇ Agent ਬਲੌਕ ਹੋਣਗੇ, ਅਤੇ Search ਦੀ ਇਜਾਜ਼ਤ ਹੋਵੇਗੀ।

Cloudflare ਦੇ ਮੌਜੂਦਾ ਨੀਤੀ ਦਸਤਾਵੇਜ਼, ਜੋ ਆਖ਼ਰੀ ਵਾਰ 2 ਨਵੰਬਰ 2026 ਨੂੰ ਅੱਪਡੇਟ ਹੋਏ, ਕਹਿੰਦੇ ਹਨ ਕਿ ਨਵੇਂ ਡੋਮੇਨ ਤਿੰਨੋਂ ਵਿਹਾਰਾਂ ਲਈ ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ Allow (do not block) 'ਤੇ ਹੁੰਦੇ ਹਨ। ਕਿਉਂਕਿ Cloudflare ਦੇ ਆਪਣੇ ਪੰਨਿਆਂ ਨੇ ਵੱਖ-ਵੱਖ ਸਮੇਂ ਵੱਖ-ਵੱਖ ਡਿਫਾਲਟ ਦੱਸੇ ਹਨ, ਆਪਣੇ zone ਲਈ ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਿਸੇ 'ਤੇ ਭਰੋਸਾ ਨਾ ਕਰੋ: ਨੀਤੀ ਪੰਨਾ ਖੋਲ੍ਹੋ ਅਤੇ ਪੜ੍ਹੋ ਕਿ ਕੀ ਸੈੱਟ ਹੈ।

ਇਜਾਜ਼ਤ ਦੇਣ ਤੋਂ ਬਾਅਦ ਵੀ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕਿਉਂ ਬਲੌਕ ਕਰ ਰਿਹਾ ਹੈ?

AI Crawl Control ਵਿਚਲਾ Allow action ਸਿਰਫ਼ AI Crawl Control ਨੂੰ ਬਲੌਕ ਕਰਨ ਤੋਂ ਰੋਕਦਾ ਹੈ। ਹੋਰ ਫੀਚਰ ਫਿਰ ਵੀ ਬੇਨਤੀ 'ਤੇ ਕਾਰਵਾਈ ਕਰਦੇ ਹਨ। ਆਮ ਕਾਰਨ:

ਬਾਹਰੋਂ ਕਿਵੇਂ ਪੱਕਾ ਕਰਾਂ ਕਿ Cloudflare ਕਿਹੜੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦਾ ਹੈ?

ਉਹੀ ਪੰਨਾ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਅਤੇ ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਮੰਗੋ, ਫਿਰ status ਅਤੇ ਆਕਾਰ ਦੀ ਤੁਲਨਾ ਕਰੋ। ਹੇਠਾਂ OpenAI, Perplexity ਅਤੇ Google ਦੀਆਂ strings ਉਹੀ ਹਨ ਜੋ ਇਹ ਕੰਪਨੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ।

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

403, 429 ਜਾਂ 503 ਵਾਲੀ ਕ੍ਰੌਲਰ ਲਾਈਨ, ਜਾਂ ਬ੍ਰਾਊਜ਼ਰ ਲਾਈਨ ਨਾਲੋਂ ਬਹੁਤ ਛੋਟਾ ਆਕਾਰ, ਦਾ ਮਤਲਬ ਹੈ ਤੁਹਾਡੇ origin ਦੇ ਅੱਗੇ ਕਿਸੇ ਚੀਜ਼ ਨੇ ਵੱਖਰਾ ਜਵਾਬ ਦਿੱਤਾ। Free ਪਲਾਨ 'ਤੇ AI Crawl Control ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਪਛਾਣਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਟੈਸਟ ਉਸਦੀਆਂ ਰੋਕਾਂ ਦੀ ਠੀਕ-ਠਾਕ ਜਾਂਚ ਹੈ। verified bot ਸਥਿਤੀ ਜਾਂ bot scores 'ਤੇ ਆਧਾਰਿਤ ਨਿਯਮ ਤੁਹਾਡੀ ਬੇਨਤੀ ਨਾਲ ਅਸਲ ਕ੍ਰੌਲਰ ਤੋਂ ਵੱਖਰਾ ਵਿਹਾਰ ਕਰ ਸਕਦੇ ਹਨ, ਕਿਉਂਕਿ ਉਹ ਚਲਾਉਣ ਵਾਲੇ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜਾਂ ਤੋਂ ਨਹੀਂ, ਤੁਹਾਡੇ IP ਪਤੇ ਤੋਂ ਆਉਂਦੀ ਹੈ। ਟੈਸਟ ਤੋਂ ਬਾਅਦ, ਕਿਹੜਾ ਨਿਯਮ ਮੇਲ ਖਾਇਆ ਇਹ ਦੇਖਣ ਲਈ Security Analytics ਵਿੱਚ ਆਪਣੀਆਂ ਬੇਨਤੀਆਂ ਲੱਭੋ।

AISeeWhy ਕਿਵੇਂ ਜਾਂਚਦਾ ਹੈ ਕਿ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੀ ਭੇਜਦਾ ਹੈ?

ਮੁਫ਼ਤ AISeeWhy ਜਾਂਚ ਤੁਹਾਡਾ ਪੰਨਾ ਅਸਲ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ 16 AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਮੰਗਦੀ ਹੈ, ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਤੁਹਾਡੀ robots.txt ਲਾਗੂ ਕਰਦੀ ਹੈ ਅਤੇ ਫਾਇਰਵਾਲ ਦੇ ਚੈਲੰਜ ਪੰਨੇ ਪਛਾਣਦੀ ਹੈ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਦੇਖ ਸਕੋ ਕਿ Cloudflare ਡੈਸ਼ਬੋਰਡ ਦਾ ਨਤੀਜਾ ਉਸ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ ਜੋ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਅਸਲ ਵਿੱਚ ਮਿਲਦਾ ਹੈ।

ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ਕੀ Cloudflare AI Crawl Control ਮੁਫ਼ਤ ਹੈ?

ਹਾਂ। Cloudflare AI Crawl Control ਨੂੰ ਸਾਰੇ ਪਲਾਨਾਂ 'ਤੇ ਉਪਲਬਧ ਦੱਸਦਾ ਹੈ। Free ਪਲਾਨ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਪਛਾਣਦਾ ਹੈ ਅਤੇ Metrics ਵਿੱਚ ਪਿਛਲੇ 24 ਘੰਟੇ ਦਿਖਾਉਂਦਾ ਹੈ; referral ਡਾਟੇ ਅਤੇ ਆਪਣੀ ਮਰਜ਼ੀ ਦੇ ਬਲੌਕ ਜਵਾਬਾਂ ਲਈ ਪੇਡ ਪਲਾਨ ਚਾਹੀਦਾ ਹੈ।

Cloudflare AI Audit ਨੂੰ ਕੀ ਹੋਇਆ?

ਇਸਦਾ ਨਾਮ ਬਦਲ ਦਿੱਤਾ ਗਿਆ। Cloudflare ਦੇ ਦਸਤਾਵੇਜ਼ AI Crawl Control ਨੂੰ ਪਹਿਲਾਂ ਦਾ AI Audit ਦੱਸਦੇ ਹਨ, ਉਸੇ ਮਕਸਦ ਨਾਲ: ਦੇਖਣਾ ਕਿ ਕਿਹੜੇ AI ਕ੍ਰੌਲਰ ਆਉਂਦੇ ਹਨ ਅਤੇ ਹਰ ਇੱਕ ਲਈ action ਸੈੱਟ ਕਰਨਾ।

ਕੀ AI Crawl Control ਵਿੱਚ ਕ੍ਰੌਲਰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੇਰੀ robots.txt ਬਦਲਦੀ ਹੈ?

ਨਹੀਂ। Block action ਇੱਕ WAF custom rule ਬਣਾਉਂਦਾ ਜਾਂ ਅੱਪਡੇਟ ਕਰਦਾ ਹੈ। robots.txt ਸਿਰਫ਼ ਉਦੋਂ ਬਦਲਦੀ ਹੈ ਜਦੋਂ ਤੁਸੀਂ Bot Preference Sync ਨਾਲ Training ਲਈ Disallow ਵਿਕਲਪ ਵਰਤੋ, ਜੋ Cloudflare ਦੇ managed ਨਿਯਮ ਤੁਹਾਡੀ ਫਾਈਲ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਜੋੜਦਾ ਹੈ।

Cloudflare ਵਿੱਚ robots.txt ਉਲੰਘਣਾ ਕਿਸਨੂੰ ਗਿਣਿਆ ਜਾਂਦਾ ਹੈ?

ਕਿਸੇ AI ਕ੍ਰੌਲਰ ਦੀ ਉਸ path ਲਈ ਬੇਨਤੀ ਜਿਸਨੂੰ ਤੁਹਾਡੀ robots.txt ਮਨ੍ਹਾ ਕਰਦੀ ਹੈ। Cloudflare ਪੁਰਾਣੀਆਂ ਬੇਨਤੀਆਂ ਦੀ ਤੁਹਾਡੇ ਮੌਜੂਦਾ ਨਿਯਮਾਂ ਨਾਲ ਤੁਲਨਾ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਨਵਾਂ ਨਿਯਮ ਉਨ੍ਹਾਂ ਪੁਰਾਣੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਵੀ ਚਿੰਨ੍ਹਿਤ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਉਸ ਵੇਲੇ ਇਜਾਜ਼ਤ ਵਾਲੀਆਂ ਸਨ।

pay per crawl ਕੀ ਹੈ?

ਇੱਕ Charge action ਜੋ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਹਰ ਬੇਨਤੀ ਲਈ ਭੁਗਤਾਨ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ, ਨਹੀਂ ਤਾਂ HTTP 402 ਅਤੇ ਕੀਮਤ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। Cloudflare ਇਸਨੂੰ closed beta ਦੱਸਦਾ ਹੈ, ਅਤੇ WAF ਜਾਂ Bot Management ਦੀਆਂ ਰੋਕਾਂ ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਲਾਗੂ ਹੁੰਦੀਆਂ ਹਨ।

ਸਰੋਤ

ਹੋਰ ਲੇਖ