Cloudflare ਦੀ AI Crawl Control ਰਿਪੋਰਟ ਕਿਵੇਂ ਪੜ੍ਹੀਏ ਅਤੇ ਦੇਖੀਏ ਕਿ ਕਿਹੜੇ AI ਕ੍ਰੌਲਰ ਅੰਦਰ ਆਉਂਦੇ ਹਨ
ਆਪਣੇ Cloudflare ਡੈਸ਼ਬੋਰਡ ਵਿੱਚ AI Crawl Control ਖੋਲ੍ਹੋ: ਕ੍ਰੌਲਰ ਸੂਚੀ ਤੁਹਾਡੇ ਡੋਮੇਨ 'ਤੇ Cloudflare ਨੂੰ ਦਿਸੇ ਹਰ AI ਕ੍ਰੌਲਰ ਨੂੰ, ਉਸਦੀਆਂ ਬੇਨਤੀਆਂ, robots.txt ਉਲੰਘਣਾਵਾਂ, ਅਤੇ ਇਹ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਉਸਦਾ action Allow ਹੈ ਜਾਂ Block। ਸਿਖਲਾਈ ਤੋਂ ਇਨਕਾਰ ਕਰਕੇ AI ਸਰਚ ਰੱਖਣ ਲਈ, ਉੱਥੇ ਜਾਂ AI Crawler and Agent access policies ਹੇਠ ਸਰਚ ਅਤੇ ਏਜੰਟ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿਓ ਅਤੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਜਾਂ disallow ਕਰੋ। ਫਿਰ ਬਾਹਰੋਂ curl ਨਾਲ ਪੱਕਾ ਕਰੋ, ਕਿਉਂਕਿ Cloudflare ਦੇ ਹੋਰ ਫੀਚਰ ਤੁਹਾਡੇ ਇਜਾਜ਼ਤ ਦਿੱਤੇ ਕ੍ਰੌਲਰ ਨੂੰ ਫਿਰ ਵੀ ਬਲੌਕ ਕਰ ਸਕਦੇ ਹਨ।
Cloudflare ਵਿੱਚ ਹੁਣ ਦੋ ਥਾਵਾਂ ਹਨ ਜੋ ਤੈਅ ਕਰਦੀਆਂ ਹਨ ਕਿ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੀ ਮਿਲਦਾ ਹੈ: AI Crawl Control, ਯਾਨੀ ਹਰ ਕ੍ਰੌਲਰ ਦੀ ਰਿਪੋਰਟ ਅਤੇ ਕੰਟਰੋਲ ਪੈਨਲ ਜਿਸਨੂੰ ਪਹਿਲਾਂ AI Audit ਕਹਿੰਦੇ ਸਨ, ਅਤੇ Security settings ਹੇਠ ਪੂਰੇ zone ਲਈ AI Crawler and Agent access policies। ਦੋਵੇਂ Free ਪਲਾਨ 'ਤੇ ਹਨ, ਦੋਵੇਂ 2026 ਵਿੱਚ ਬਦਲੇ, ਅਤੇ ਦੋਵਾਂ ਵਿੱਚੋਂ ਕੋਈ ਵੀ ਉਨ੍ਹਾਂ ਹੋਰ ਸਾਰੇ ਫੀਚਰਾਂ ਬਾਰੇ ਨਹੀਂ ਦੱਸਦਾ ਜੋ ਕ੍ਰੌਲਰ ਨੂੰ ਫਿਰ ਵੀ 403 ਦੇ ਸਕਦੇ ਹਨ। ਇਹ ਗਾਈਡ ਰਿਪੋਰਟ ਨੂੰ ਕਾਲਮ-ਦਰ-ਕਾਲਮ ਸਮਝਾਉਂਦੀ ਹੈ, ਦੱਸਦੀ ਹੈ ਕਿ allow ਅਤੇ block ਕਿੱਥੇ ਸੈੱਟ ਕਰਨੇ ਹਨ, ਅਤੇ ਇੱਕ ਟੈਸਟ ਨਾਲ ਖ਼ਤਮ ਹੁੰਦੀ ਹੈ ਜੋ ਤੁਸੀਂ ਆਪਣੀ ਮਸ਼ੀਨ ਤੋਂ ਚਲਾ ਸਕਦੇ ਹੋ।
ਇਸ ਪੰਨੇ 'ਤੇ
- Cloudflare ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਰਿਪੋਰਟ ਕਿੱਥੇ ਹੈ?
- AI Crawl Control ਰਿਪੋਰਟ ਵਿੱਚ ਹਰ ਕਾਲਮ ਅਤੇ metric ਦਾ ਕੀ ਮਤਲਬ ਹੈ?
- Cloudflare ਵਿੱਚ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇ ਕੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਬਲੌਕ ਕਰੀਏ?
- Cloudflare ਦੇ AI ਕ੍ਰੌਲਰ ਡਿਫਾਲਟਾਂ ਵਿੱਚ ਕੀ ਬਦਲਿਆ?
- ਇਜਾਜ਼ਤ ਦੇਣ ਤੋਂ ਬਾਅਦ ਵੀ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕਿਉਂ ਬਲੌਕ ਕਰ ਰਿਹਾ ਹੈ?
- ਬਾਹਰੋਂ ਕਿਵੇਂ ਪੱਕਾ ਕਰਾਂ ਕਿ Cloudflare ਕਿਹੜੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦਾ ਹੈ?
- AISeeWhy ਕਿਵੇਂ ਜਾਂਚਦਾ ਹੈ ਕਿ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੀ ਭੇਜਦਾ ਹੈ?
Cloudflare ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਰਿਪੋਰਟ ਕਿੱਥੇ ਹੈ?
ਡੈਸ਼ਬੋਰਡ ਵਿੱਚ ਆਪਣਾ ਖਾਤਾ ਅਤੇ ਡੋਮੇਨ ਚੁਣੋ, ਫਿਰ AI Crawl Control ਖੋਲ੍ਹੋ। Cloudflare ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਬਿਨਾਂ ਸੈਟਅੱਪ ਕੰਮ ਕਰਦਾ ਹੈ ਅਤੇ ਸਾਰੇ ਪਲਾਨਾਂ 'ਤੇ ਉਪਲਬਧ ਹੈ, ਬਸ਼ਰਤੇ ਤੁਹਾਡੇ ਡੋਮੇਨ ਦਾ ਟ੍ਰੈਫਿਕ Cloudflare ਰਾਹੀਂ proxy ਹੋਵੇ। ਇਸਦੇ ਚਾਰ ਹਿੱਸੇ ਹਨ:
- Overview: ਕੁੱਲ ਬੇਨਤੀਆਂ, ਮਾਤਰਾ ਵਿੱਚ ਬਦਲਾਅ, ਸਭ ਤੋਂ ਆਮ ਸਟੇਟਸ ਕੋਡ, ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ path ਅਤੇ ਵੱਧ ਮਾਤਰਾ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ ਵਾਲਾ ਸਾਰਾਂਸ਼, ਨਾਲ ਹੀ ਇਹ ਕਿ Cloudflare ਦੀ managed robots.txt ਚਾਲੂ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ OpenAI, Microsoft, Google, ByteDance, Anthropic ਅਤੇ Meta ਵਰਗੇ ਚਲਾਉਣ ਵਾਲਿਆਂ ਮੁਤਾਬਕ ਗਰੁੱਪ ਕੀਤੇ ਕ੍ਰੌਲਰ।
- ਕ੍ਰੌਲਰ ਸੂਚੀ: ਹਰ AI ਕ੍ਰੌਲਰ ਲਈ ਇੱਕ ਕਤਾਰ, Action ਕਾਲਮ ਦੇ ਨਾਲ ਜਿੱਥੇ ਤੁਸੀਂ Allow ਜਾਂ Block ਚੁਣਦੇ ਹੋ। Cloudflare ਦੇ ਦਸਤਾਵੇਜ਼ ਇਸ ਟੈਬ ਨੂੰ ਇੱਕ ਪੰਨੇ 'ਤੇ Crawlers ਅਤੇ ਦੂਜੇ 'ਤੇ Security ਕਹਿੰਦੇ ਹਨ, ਇਸ ਲਈ Action ਕਾਲਮ ਵਾਲੀ ਟੇਬਲ ਲੱਭੋ।
- Metrics: ਸਮੇਂ ਦੇ ਨਾਲ ਬੇਨਤੀਆਂ, ਸਟੇਟਸ ਕੋਡਾਂ ਦੀ ਵੰਡ, ਸਮੱਗਰੀ ਫਾਰਮੈਟ, ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ paths ਅਤੇ, ਪੇਡ ਪਲਾਨਾਂ 'ਤੇ, referrals। ਫ਼ਿਲਟਰ ਤਾਰੀਖ਼ ਦੀ ਰੇਂਜ, ਕ੍ਰੌਲਰ, ਚਲਾਉਣ ਵਾਲਾ, hostname ਅਤੇ path ਕਵਰ ਕਰਦੇ ਹਨ, ਅਤੇ ਤੁਸੀਂ CSV ਐਕਸਪੋਰਟ ਕਰ ਸਕਦੇ ਹੋ।
- Directives: ਤੁਹਾਡੀ robots.txt ਫਾਈਲ ਦੀ ਸਿਹਤ ਅਤੇ robots.txt ਉਲੰਘਣਾਵਾਂ ਦੀ ਸੂਚੀ।
ਅੰਕੜੇ ਪੜ੍ਹਦੇ ਵੇਲੇ ਪਲਾਨ ਦੀਆਂ ਦੋ ਹੱਦਾਂ ਅਹਿਮ ਹਨ। Free ਪਲਾਨ 'ਤੇ AI Crawl Control ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਸਿਰਫ਼ ਉਨ੍ਹਾਂ ਦੀ ਯੂਜ਼ਰ ਏਜੰਟ string ਨਾਲ ਪਛਾਣਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਸਿਰਫ਼ ਉਹ ਕ੍ਰੌਲਰ ਦੇਖਦਾ ਹੈ ਜੋ ਆਪਣੀ ਪਛਾਣ ਦੱਸਦੇ ਹਨ, ਅਤੇ Metrics ਟੈਬ ਪਿਛਲੇ 24 ਘੰਟੇ ਕਵਰ ਕਰਦੀ ਹੈ। ਪੇਡ ਪਲਾਨ Bot Management detection ID ਰਾਹੀਂ ਪਛਾਣ ਜੋੜਦੇ ਹਨ, ਅਤੇ Bot Management ਵਾਲੇ Enterprise ਨੂੰ ਸੈੱਟ ਕਰਨ ਯੋਗ ਸਮਾਂ-ਸੀਮਾਵਾਂ ਮਿਲਦੀਆਂ ਹਨ।
AI Crawl Control ਰਿਪੋਰਟ ਵਿੱਚ ਹਰ ਕਾਲਮ ਅਤੇ metric ਦਾ ਕੀ ਮਤਲਬ ਹੈ?
Cloudflare ਫ਼ੀਲਡਾਂ ਦਾ ਵੇਰਵਾ ਇਸ ਤਰ੍ਹਾਂ ਦਿੰਦਾ ਹੈ। ਪਰਿਭਾਸ਼ਾਵਾਂ ਅਹਿਮ ਹਨ, ਕਿਉਂਕਿ ਕਈ ਅੰਕੜੇ ਤੁਹਾਡੀ ਉਮੀਦ ਨਾਲੋਂ ਵੱਧ ਗਿਣਦੇ ਹਨ।
- Crawler ਅਤੇ Category: ਕ੍ਰੌਲਰ ਦਾ ਨਾਮ, ਉਸਨੂੰ ਚਲਾਉਣ ਵਾਲਾ, ਅਤੇ ਉਸਦੀ ਸ਼੍ਰੇਣੀ, ਜਿਵੇਂ AI crawler, AI assistant ਜਾਂ archiver।
- Requests: ਇਜਾਜ਼ਤ ਮਿਲੀਆਂ ਅਤੇ ਨਾਕਾਮ ਬੇਨਤੀਆਂ, ਰੁਝਾਨ ਚਾਰਟ ਸਮੇਤ। ਨਾਕਾਮ ਬੇਨਤੀਆਂ ਸਿਰਫ਼ AI Crawl Control ਦੀ ਰੋਕ ਤੋਂ ਨਹੀਂ, ਕਿਸੇ ਵੀ ਨਿਯਮ ਜਾਂ response error ਤੋਂ ਆ ਸਕਦੀਆਂ ਹਨ, ਇਸ ਲਈ ਇਜਾਜ਼ਤ ਦਿੱਤੇ ਕ੍ਰੌਲਰ ਲਈ ਵੱਡਾ ਅੰਕੜਾ ਕਿਸੇ ਹੋਰ ਨਿਯਮ ਜਾਂ ਤੁਹਾਡੇ origin ਦੀਆਂ errors ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦਾ ਹੈ।
- Allowed requests: ਉਹ ਬੇਨਤੀਆਂ ਜਿਨ੍ਹਾਂ ਨੂੰ 200 ਤੋਂ 299 ਵਿਚਕਾਰ status ਮਿਲਿਆ। ਡਾਟਾ ਟ੍ਰਾਂਸਫ਼ਰ ਇਜਾਜ਼ਤ ਮਿਲੀਆਂ ਬੇਨਤੀਆਂ ਲਈ Cloudflare ਦੇ ਭੇਜੇ bytes ਤੋਂ ਮਾਪਿਆ ਜਾਂਦਾ ਹੈ।
- Robots.txt violations: ਕ੍ਰੌਲਰ ਨੇ ਕਿੰਨੀ ਵਾਰ ਉਹ path ਮੰਗਿਆ ਜਿਸਨੂੰ ਤੁਹਾਡੀ robots.txt ਮਨ੍ਹਾ ਕਰਦੀ ਹੈ। Cloudflare ਪੁਰਾਣੀਆਂ ਬੇਨਤੀਆਂ ਦੀ ਤੁਹਾਡੇ ਮੌਜੂਦਾ ਨਿਯਮਾਂ ਨਾਲ ਤੁਲਨਾ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਅੱਜ ਜੋੜਿਆ ਨਿਯਮ ਉਨ੍ਹਾਂ ਬੇਨਤੀਆਂ ਨੂੰ ਵੀ ਚਿੰਨ੍ਹਿਤ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਕੀਤੇ ਜਾਣ ਵੇਲੇ ਇਜਾਜ਼ਤ ਵਾਲੀਆਂ ਸਨ।
- Action: Allow, Block, ਜਾਂ pay per crawl beta ਵਿਚਲੇ ਖਾਤਿਆਂ ਲਈ Charge।
- Status code distribution: 2xx, 3xx, 4xx ਅਤੇ 5xx। 4xx ਗਰੁੱਪ ਵਿੱਚ ਰੋਕਾਂ ਤੋਂ 403 ਅਤੇ pay per crawl ਤੋਂ 402 ਸ਼ਾਮਲ ਹਨ।
- Referrals ਅਤੇ top referrers, ਸਿਰਫ਼ ਪੇਡ ਪਲਾਨਾਂ 'ਤੇ: AI ਸੇਵਾਵਾਂ ਤੋਂ ਆਈਆਂ ਵਿਜ਼ਿਟਾਂ, ਮਿਸਾਲ ਵਜੋਂ chatgpt.com ਤੋਂ, ਅਤੇ ਉਹ ਪੰਨੇ ਜਿਨ੍ਹਾਂ 'ਤੇ ਉਹ ਪਹੁੰਚੀਆਂ।
ਰਿਪੋਰਟ ਆਪਣੇ ਚੁਣੇ action ਤੋਂ ਪੜ੍ਹੋ। Allow ਵਾਲੇ ਕ੍ਰੌਲਰ ਨੂੰ ਜ਼ਿਆਦਾਤਰ ਇਜਾਜ਼ਤ ਮਿਲੀਆਂ ਬੇਨਤੀਆਂ ਅਤੇ 2xx ਕੋਡ ਦਿਖਾਉਣੇ ਚਾਹੀਦੇ ਹਨ। ਜੇ ਇਹ ਕਈ ਨਾਕਾਮ ਬੇਨਤੀਆਂ ਦਿਖਾਉਂਦਾ ਹੈ, ਤਾਂ ਉਸ ਕ੍ਰੌਲਰ ਲਈ ਫ਼ਿਲਟਰ ਕੀਤੀ ਸਟੇਟਸ ਕੋਡ ਵੰਡ ਖੋਲ੍ਹੋ, ਅਤੇ ਜਵਾਬ ਦੇਣ ਵਾਲਾ ਨਿਯਮ ਲੱਭਣ ਲਈ Security Analytics ਜਾਂਚੋ।
Cloudflare ਵਿੱਚ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇ ਕੇ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਕਿਵੇਂ ਬਲੌਕ ਕਰੀਏ?
ਤੁਸੀਂ ਇਹ ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਜਾਂ ਵਿਹਾਰ ਮੁਤਾਬਕ ਕਰ ਸਕਦੇ ਹੋ। ਹਰ ਕ੍ਰੌਲਰ ਲਈ: AI Crawl Control ਖੋਲ੍ਹੋ ਅਤੇ ਹਰ ਕਤਾਰ ਲਈ Action ਸੈੱਟ ਕਰੋ। Cloudflare ਕਹਿੰਦਾ ਹੈ ਕਿ ਉੱਥੇ ਬਲੌਕ ਕਰਨ ਨਾਲ ਤੁਹਾਡੇ zone 'ਤੇ WAF custom rule ਬਣਦਾ ਜਾਂ ਅੱਪਡੇਟ ਹੁੰਦਾ ਹੈ, ਜਿਸਨੂੰ ਤੁਸੀਂ path ਛੋਟਾਂ ਲਈ WAF ਵਿੱਚ ਵਧਾ ਸਕਦੇ ਹੋ। ਪੇਡ ਪਲਾਨਾਂ 'ਤੇ ਤੁਸੀਂ ਚੁਣ ਸਕਦੇ ਹੋ ਕਿ ਬਲੌਕ ਹੋਏ ਕ੍ਰੌਲਰਾਂ ਨੂੰ 403 ਮਿਲੇ ਜਾਂ 402, ਅਤੇ ਸਾਦੇ ਟੈਕਸਟ ਵਾਲੀ body ਸੈੱਟ ਕਰ ਸਕਦੇ ਹੋ।
ਵਿਹਾਰ ਮੁਤਾਬਕ: Security, ਫਿਰ Settings ਵਿੱਚ ਜਾਓ, Bot traffic ਨਾਲ ਫ਼ਿਲਟਰ ਕਰੋ ਅਤੇ AI Crawler and Agent access policies ਖੋਲ੍ਹੋ। Cloudflare AI ਟ੍ਰੈਫਿਕ ਨੂੰ ਤਿੰਨ ਵਿਹਾਰਾਂ ਵਿੱਚ ਵੰਡਦਾ ਹੈ, ਅਤੇ ਹਰ ਨੀਤੀ ਉਸ ਵਿਹਾਰ ਵਾਲੇ verified bots ਅਤੇ ਮੇਲ ਖਾਂਦੇ unverified bots 'ਤੇ ਲਾਗੂ ਹੁੰਦੀ ਹੈ:
- Search: ਸਮੱਗਰੀ ਇਕੱਠੀ ਜਾਂ ਇੰਡੈਕਸ ਕਰਨਾ ਤਾਂ ਜੋ ਬਾਅਦ ਵਿੱਚ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦਿੱਤੇ ਜਾ ਸਕਣ।
- Agent: ਕਿਸੇ ਵਿਅਕਤੀ ਵੱਲੋਂ ਰੀਅਲ ਟਾਈਮ ਵਿੱਚ ਕੰਮ ਕਰਨਾ, ਜਿਵੇਂ ਚੈਟ ਵਿੱਚੋਂ ਪੰਨਾ ਲਿਆਉਣਾ ਅਤੇ browser agents।
- Training: ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਜਾਂ fine-tune ਲਈ ਸਮੱਗਰੀ ਇਕੱਠੀ ਕਰਨਾ, ਸਿਖਲਾਈ ਅਤੇ ਸਰਚ ਦੋਵਾਂ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਕ੍ਰੌਲਰਾਂ ਸਮੇਤ।
ਹਰ ਵਿਹਾਰ ਨੂੰ Block, Block on pages with ads, ਜਾਂ Allow (do not block) 'ਤੇ ਸੈੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। Training ਲਈ Disallow ਵੀ ਹੈ, ਜੋ ਸਿਰਫ਼ robots.txt ਰਾਹੀਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬੇਨਤੀ ਕਰਦਾ ਹੈ। Bot Preference Sync ਚਾਲੂ ਹੋਵੇ ਤਾਂ Cloudflare ਤੁਹਾਡੀ robots.txt ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ managed ਨਿਯਮ ਜੋੜਦਾ ਹੈ ਜੋ Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ਅਤੇ meta-externalagent ਨੂੰ ਮਨ੍ਹਾ ਕਰਦੇ ਹਨ, ਇੱਕ Content Signals ਲਾਈਨ ਜੋੜਦਾ ਹੈ, ਅਤੇ edge 'ਤੇ ਵੀ AI ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ, ਸਿਵਾਏ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਦੇ ਜੋ ਸਰਚ ਅਤੇ ਸਿਖਲਾਈ ਦੋਵਾਂ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ।
AI ਹਵਾਲੇ ਚਾਹੁਣ ਵਾਲੀਆਂ ਜ਼ਿਆਦਾਤਰ ਸਾਈਟਾਂ ਲਈ ਸੁਰੱਖਿਅਤ ਜੋੜ ਇਹ ਹੈ: Search ਅਤੇ Agent ਨੂੰ Allow, Training ਨੂੰ Disallow, ਅਤੇ ਫਿਰ ਸਿਰਫ਼-ਸਿਖਲਾਈ ਵਾਲੇ ਜਿਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਤੁਸੀਂ edge 'ਤੇ ਰੋਕਣਾ ਚਾਹੁੰਦੇ ਹੋ ਉਨ੍ਹਾਂ ਲਈ AI Crawl Control ਵਿੱਚ ਵੱਖਰੇ Block actions।
Cloudflare ਦੇ AI ਕ੍ਰੌਲਰ ਡਿਫਾਲਟਾਂ ਵਿੱਚ ਕੀ ਬਦਲਿਆ?
1 ਜੁਲਾਈ 2025 ਨੂੰ Cloudflare ਨੇ ਐਲਾਨ ਕੀਤਾ ਕਿ ਉਹ ਡਿਫਾਲਟ ਬਦਲ ਕੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਉਦੋਂ ਤੱਕ ਬਲੌਕ ਕਰੇਗਾ ਜਦੋਂ ਤੱਕ ਉਹ ਸਿਰਜਣਹਾਰਾਂ ਨੂੰ ਭੁਗਤਾਨ ਨਾ ਕਰਨ। 1 ਜੁਲਾਈ 2026 ਨੂੰ ਇਸਨੇ ਇੱਕੋ Block AI bots ਸਵਿੱਚ ਦੀ ਥਾਂ ਉੱਪਰ ਦੱਸੀਆਂ ਵੱਖਰੀਆਂ Search, Agent ਅਤੇ Training ਨੀਤੀਆਂ ਲਿਆਂਦੀਆਂ, Free ਸਮੇਤ ਸਾਰੇ ਪਲਾਨਾਂ ਲਈ। ਉਸੇ ਐਲਾਨ ਵਿੱਚ ਕਿਹਾ ਗਿਆ ਕਿ 15 ਸਤੰਬਰ 2026 ਤੋਂ ਜੁੜਨ ਵਾਲੇ ਨਵੇਂ ਡੋਮੇਨਾਂ 'ਤੇ ਇਸ਼ਤਿਹਾਰ ਦਿਖਾਉਣ ਵਾਲੇ ਪੰਨਿਆਂ 'ਤੇ Training ਅਤੇ Agent ਬਲੌਕ ਹੋਣਗੇ, ਅਤੇ Search ਦੀ ਇਜਾਜ਼ਤ ਹੋਵੇਗੀ।
Cloudflare ਦੇ ਮੌਜੂਦਾ ਨੀਤੀ ਦਸਤਾਵੇਜ਼, ਜੋ ਆਖ਼ਰੀ ਵਾਰ 2 ਨਵੰਬਰ 2026 ਨੂੰ ਅੱਪਡੇਟ ਹੋਏ, ਕਹਿੰਦੇ ਹਨ ਕਿ ਨਵੇਂ ਡੋਮੇਨ ਤਿੰਨੋਂ ਵਿਹਾਰਾਂ ਲਈ ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ Allow (do not block) 'ਤੇ ਹੁੰਦੇ ਹਨ। ਕਿਉਂਕਿ Cloudflare ਦੇ ਆਪਣੇ ਪੰਨਿਆਂ ਨੇ ਵੱਖ-ਵੱਖ ਸਮੇਂ ਵੱਖ-ਵੱਖ ਡਿਫਾਲਟ ਦੱਸੇ ਹਨ, ਆਪਣੇ zone ਲਈ ਇਨ੍ਹਾਂ ਵਿੱਚੋਂ ਕਿਸੇ 'ਤੇ ਭਰੋਸਾ ਨਾ ਕਰੋ: ਨੀਤੀ ਪੰਨਾ ਖੋਲ੍ਹੋ ਅਤੇ ਪੜ੍ਹੋ ਕਿ ਕੀ ਸੈੱਟ ਹੈ।
ਇਜਾਜ਼ਤ ਦੇਣ ਤੋਂ ਬਾਅਦ ਵੀ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕਿਉਂ ਬਲੌਕ ਕਰ ਰਿਹਾ ਹੈ?
AI Crawl Control ਵਿਚਲਾ Allow action ਸਿਰਫ਼ AI Crawl Control ਨੂੰ ਬਲੌਕ ਕਰਨ ਤੋਂ ਰੋਕਦਾ ਹੈ। ਹੋਰ ਫੀਚਰ ਫਿਰ ਵੀ ਬੇਨਤੀ 'ਤੇ ਕਾਰਵਾਈ ਕਰਦੇ ਹਨ। ਆਮ ਕਾਰਨ:
- Training ਬਲੌਕ ਕਰਨ ਨਾਲ ਦੋਵੇਂ ਕੰਮ ਕਰਨ ਵਾਲੇ ਸਰਚ ਕ੍ਰੌਲਰ ਵੀ ਬਲੌਕ ਹੁੰਦੇ ਹਨ। Cloudflare ਦੇ ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ Training actions ਮਿਲੇ-ਜੁਲੇ ਮਕਸਦ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਇਸਦਾ ਜੁਲਾਈ 2026 ਦਾ ਐਲਾਨ Googlebot, Applebot ਅਤੇ bingbot ਨੂੰ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਗਿਣਾਉਂਦਾ ਹੈ ਜਿਨ੍ਹਾਂ ਨੂੰ Training ਬਲੌਕ ਕਰਨ ਵਾਲੇ ਗਾਹਕ 15 ਸਤੰਬਰ 2026 ਤੋਂ ਬਲੌਕ ਕਰਨਗੇ। Disallow ਤੰਗ ਚੋਣ ਹੈ, ਕਿਉਂਕਿ ਉਸਦੀ edge ਰੋਕ ਮਿਲੇ-ਜੁਲੇ ਮਕਸਦ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਛੱਡ ਦਿੰਦੀ ਹੈ।
- Bot Fight Mode ਚਾਲੂ ਹੈ। Cloudflare ਦੱਸਦਾ ਹੈ ਕਿ WAF custom rules ਜਾਂ Page Rules ਨਾਲ Bot Fight Mode ਨੂੰ ਬਾਈਪਾਸ ਜਾਂ ਛੱਡਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ। ਜੇ ਇਹ ਕਿਸੇ ਕ੍ਰੌਲਰ ਨੂੰ ਚੈਲੰਜ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਇਸਨੂੰ ਬੰਦ ਕਰੋ, ਜਾਂ ਜਿਸ ਪਲਾਨ ਵਿੱਚ ਹੋਵੇ ਉੱਥੇ Super Bot Fight Mode ਵਰਤੋ, ਜੋ skip ਨਿਯਮਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ।
- ਕੋਈ ਪੁਰਾਣਾ WAF custom rule
botਵਾਲੇ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਨੂੰ ਬਲੌਕ ਕਰਦਾ ਹੈ, ਜਾਂ ਕੋਈ rate limiting ਨਿਯਮ ਅਚਾਨਕ ਵਾਧੇ ਨੂੰ 429 ਦਿੰਦਾ ਹੈ। ਇਹ AI Crawl Control ਵਿਚਲੇ Action ਦੀ ਪਰਵਾਹ ਕੀਤੇ ਬਿਨਾਂ ਚੱਲਦੇ ਹਨ। - ਬਲੌਕ ਨਿਯਮ ਹੱਥੀਂ ਬਦਲਿਆ ਗਿਆ। ਜੇ AI Crawl Control ਪਿਛਲਾ WAF ਨਿਯਮ ਕਿਸੇ ਹੋਰ response code 'ਤੇ ਬਦਲ ਦਿੱਤਾ ਗਿਆ, ਤਾਂ ਡੈਸ਼ਬੋਰਡ ਤੁਹਾਡੀ ਚੋਣ ਲਾਗੂ ਨਹੀਂ ਕਰ ਸਕਦਾ।
- robots.txt ਹਾਲੇ ਵੀ ਕ੍ਰੌਲਰ ਨੂੰ ਮਨ੍ਹਾ ਕਰਦੀ ਹੈ। Cloudflare ਦਾ Allow ਤੁਹਾਡੀ robots.txt ਨਹੀਂ ਬਦਲਦਾ, ਇਸ ਲਈ ਨਿਯਮ ਮੰਨਣ ਵਾਲਾ ਕ੍ਰੌਲਰ ਫਿਰ ਵੀ ਦੂਰ ਰਹਿੰਦਾ ਹੈ। 1,000 ਸਭ ਤੋਂ ਮਸ਼ਹੂਰ ਡੋਮੇਨਾਂ ਬਾਰੇ ਸਾਡੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਿੱਚ ਕਿਸੇ AI ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਨੂੰ ਬਲੌਕ ਕਰਨ ਵਾਲੀਆਂ 155 ਸਾਈਟਾਂ ਵਿੱਚੋਂ 98 ਨੇ ਘੱਟੋ-ਘੱਟ ਇੱਕ AI ਸਰਚ ਜਾਂ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਨੂੰ ਵੀ ਬਲੌਕ ਕੀਤਾ।
ਬਾਹਰੋਂ ਕਿਵੇਂ ਪੱਕਾ ਕਰਾਂ ਕਿ Cloudflare ਕਿਹੜੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦਾ ਹੈ?
ਉਹੀ ਪੰਨਾ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਅਤੇ ਹਰ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਮੰਗੋ, ਫਿਰ status ਅਤੇ ਆਕਾਰ ਦੀ ਤੁਲਨਾ ਕਰੋ। ਹੇਠਾਂ OpenAI, Perplexity ਅਤੇ Google ਦੀਆਂ strings ਉਹੀ ਹਨ ਜੋ ਇਹ ਕੰਪਨੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੀਆਂ ਹਨ।
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" 403, 429 ਜਾਂ 503 ਵਾਲੀ ਕ੍ਰੌਲਰ ਲਾਈਨ, ਜਾਂ ਬ੍ਰਾਊਜ਼ਰ ਲਾਈਨ ਨਾਲੋਂ ਬਹੁਤ ਛੋਟਾ ਆਕਾਰ, ਦਾ ਮਤਲਬ ਹੈ ਤੁਹਾਡੇ origin ਦੇ ਅੱਗੇ ਕਿਸੇ ਚੀਜ਼ ਨੇ ਵੱਖਰਾ ਜਵਾਬ ਦਿੱਤਾ। Free ਪਲਾਨ 'ਤੇ AI Crawl Control ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਪਛਾਣਦਾ ਹੈ, ਇਸ ਲਈ ਇਹ ਟੈਸਟ ਉਸਦੀਆਂ ਰੋਕਾਂ ਦੀ ਠੀਕ-ਠਾਕ ਜਾਂਚ ਹੈ। verified bot ਸਥਿਤੀ ਜਾਂ bot scores 'ਤੇ ਆਧਾਰਿਤ ਨਿਯਮ ਤੁਹਾਡੀ ਬੇਨਤੀ ਨਾਲ ਅਸਲ ਕ੍ਰੌਲਰ ਤੋਂ ਵੱਖਰਾ ਵਿਹਾਰ ਕਰ ਸਕਦੇ ਹਨ, ਕਿਉਂਕਿ ਉਹ ਚਲਾਉਣ ਵਾਲੇ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ ਰੇਂਜਾਂ ਤੋਂ ਨਹੀਂ, ਤੁਹਾਡੇ IP ਪਤੇ ਤੋਂ ਆਉਂਦੀ ਹੈ। ਟੈਸਟ ਤੋਂ ਬਾਅਦ, ਕਿਹੜਾ ਨਿਯਮ ਮੇਲ ਖਾਇਆ ਇਹ ਦੇਖਣ ਲਈ Security Analytics ਵਿੱਚ ਆਪਣੀਆਂ ਬੇਨਤੀਆਂ ਲੱਭੋ।
AISeeWhy ਕਿਵੇਂ ਜਾਂਚਦਾ ਹੈ ਕਿ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੀ ਭੇਜਦਾ ਹੈ?
ਮੁਫ਼ਤ AISeeWhy ਜਾਂਚ ਤੁਹਾਡਾ ਪੰਨਾ ਅਸਲ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ 16 AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਮੰਗਦੀ ਹੈ, ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਤੁਹਾਡੀ robots.txt ਲਾਗੂ ਕਰਦੀ ਹੈ ਅਤੇ ਫਾਇਰਵਾਲ ਦੇ ਚੈਲੰਜ ਪੰਨੇ ਪਛਾਣਦੀ ਹੈ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਦੇਖ ਸਕੋ ਕਿ Cloudflare ਡੈਸ਼ਬੋਰਡ ਦਾ ਨਤੀਜਾ ਉਸ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ ਜੋ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਅਸਲ ਵਿੱਚ ਮਿਲਦਾ ਹੈ।
ਇਸ ਸਮੱਸਿਆ ਦੇ ਹੱਲ
ਅਗਲੇ ਕਦਮ
- AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt tester ਅਤੇ ਜਾਂਚ
- AI ਕ੍ਰੌਲਰ IP ਜਾਂਚ
- ਪੂਰੀ ਰਿਪੋਰਟ ਦੀ ਇੱਕ ਮਿਸਾਲ ਵੇਖੋ
- AI ਕ੍ਰੌਲਰ ਨਿਗਰਾਨੀ
- ਪਲਾਨ ਅਤੇ ਕੀਮਤਾਂ
ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ
ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ
ਕੀ Cloudflare AI Crawl Control ਮੁਫ਼ਤ ਹੈ?
ਹਾਂ। Cloudflare AI Crawl Control ਨੂੰ ਸਾਰੇ ਪਲਾਨਾਂ 'ਤੇ ਉਪਲਬਧ ਦੱਸਦਾ ਹੈ। Free ਪਲਾਨ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਪਛਾਣਦਾ ਹੈ ਅਤੇ Metrics ਵਿੱਚ ਪਿਛਲੇ 24 ਘੰਟੇ ਦਿਖਾਉਂਦਾ ਹੈ; referral ਡਾਟੇ ਅਤੇ ਆਪਣੀ ਮਰਜ਼ੀ ਦੇ ਬਲੌਕ ਜਵਾਬਾਂ ਲਈ ਪੇਡ ਪਲਾਨ ਚਾਹੀਦਾ ਹੈ।
Cloudflare AI Audit ਨੂੰ ਕੀ ਹੋਇਆ?
ਇਸਦਾ ਨਾਮ ਬਦਲ ਦਿੱਤਾ ਗਿਆ। Cloudflare ਦੇ ਦਸਤਾਵੇਜ਼ AI Crawl Control ਨੂੰ ਪਹਿਲਾਂ ਦਾ AI Audit ਦੱਸਦੇ ਹਨ, ਉਸੇ ਮਕਸਦ ਨਾਲ: ਦੇਖਣਾ ਕਿ ਕਿਹੜੇ AI ਕ੍ਰੌਲਰ ਆਉਂਦੇ ਹਨ ਅਤੇ ਹਰ ਇੱਕ ਲਈ action ਸੈੱਟ ਕਰਨਾ।
ਕੀ AI Crawl Control ਵਿੱਚ ਕ੍ਰੌਲਰ ਬਲੌਕ ਕਰਨ ਨਾਲ ਮੇਰੀ robots.txt ਬਦਲਦੀ ਹੈ?
ਨਹੀਂ। Block action ਇੱਕ WAF custom rule ਬਣਾਉਂਦਾ ਜਾਂ ਅੱਪਡੇਟ ਕਰਦਾ ਹੈ। robots.txt ਸਿਰਫ਼ ਉਦੋਂ ਬਦਲਦੀ ਹੈ ਜਦੋਂ ਤੁਸੀਂ Bot Preference Sync ਨਾਲ Training ਲਈ Disallow ਵਿਕਲਪ ਵਰਤੋ, ਜੋ Cloudflare ਦੇ managed ਨਿਯਮ ਤੁਹਾਡੀ ਫਾਈਲ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਜੋੜਦਾ ਹੈ।
Cloudflare ਵਿੱਚ robots.txt ਉਲੰਘਣਾ ਕਿਸਨੂੰ ਗਿਣਿਆ ਜਾਂਦਾ ਹੈ?
ਕਿਸੇ AI ਕ੍ਰੌਲਰ ਦੀ ਉਸ path ਲਈ ਬੇਨਤੀ ਜਿਸਨੂੰ ਤੁਹਾਡੀ robots.txt ਮਨ੍ਹਾ ਕਰਦੀ ਹੈ। Cloudflare ਪੁਰਾਣੀਆਂ ਬੇਨਤੀਆਂ ਦੀ ਤੁਹਾਡੇ ਮੌਜੂਦਾ ਨਿਯਮਾਂ ਨਾਲ ਤੁਲਨਾ ਕਰਦਾ ਹੈ, ਇਸ ਲਈ ਨਵਾਂ ਨਿਯਮ ਉਨ੍ਹਾਂ ਪੁਰਾਣੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ ਵੀ ਚਿੰਨ੍ਹਿਤ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਉਸ ਵੇਲੇ ਇਜਾਜ਼ਤ ਵਾਲੀਆਂ ਸਨ।
pay per crawl ਕੀ ਹੈ?
ਇੱਕ Charge action ਜੋ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਹਰ ਬੇਨਤੀ ਲਈ ਭੁਗਤਾਨ ਕਰਨ ਲਈ ਕਹਿੰਦਾ ਹੈ, ਨਹੀਂ ਤਾਂ HTTP 402 ਅਤੇ ਕੀਮਤ ਨਾਲ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। Cloudflare ਇਸਨੂੰ closed beta ਦੱਸਦਾ ਹੈ, ਅਤੇ WAF ਜਾਂ Bot Management ਦੀਆਂ ਰੋਕਾਂ ਇਸ ਤੋਂ ਪਹਿਲਾਂ ਲਾਗੂ ਹੁੰਦੀਆਂ ਹਨ।
ਸਰੋਤ
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: AI ਕ੍ਰੌਲਰ ਪਹੁੰਚ ਰਿਪੋਰਟ, 2026-11