ਮੇਰੀ ਸਾਈਟ ਅਚਾਨਕ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਿਉਂ ਕਰ ਰਹੀ ਹੈ?

ਪ੍ਰਕਾਸ਼ਿਤ

ਛੋਟਾ ਜਵਾਬ

ਜੋ ਸਾਈਟ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨ ਲੱਗਦੀ ਹੈ, ਉਸ ਵਿੱਚ ਲਗਭਗ ਹਮੇਸ਼ਾ ਇਨ੍ਹਾਂ ਪੰਜ ਥਾਵਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਇੱਕ ਵਿੱਚ ਤਬਦੀਲੀ ਹੋਈ ਹੁੰਦੀ ਹੈ: ਅਸਲ ਵਿੱਚ ਦਿੱਤੀ ਜਾ ਰਹੀ robots.txt, Cloudflare ਦੀਆਂ AI ਕ੍ਰੌਲਰ ਨੀਤੀਆਂ ਵਰਗੀ CDN ਸੈਟਿੰਗ, ਬੋਟ ਸੁਰੱਖਿਆ ਜਾਂ ਰੇਟ ਲਿਮਿਟ, ਹੋਸਟਿੰਗ ਦਾ ਡਿਫਾਲਟ, ਜਾਂ robots.txt ਜੋ ਹੁਣ ਗਲਤੀ ਨਾਲ ਜਵਾਬ ਦਿੰਦੀ ਹੈ। ਅੱਜ ਦੀ robots.txt ਅਤੇ ਇੱਕ ਪੰਨਾ ਹਰ ਕ੍ਰੌਲਰ ਵਜੋਂ ਲਿਆਓ, ਉਨ੍ਹਾਂ ਦੀ ਤੁਲਨਾ ਬ੍ਰਾਊਜ਼ਰ ਨਾਲ ਅਤੇ ਪਹਿਲਾਂ ਵਾਲੀ ਹਾਲਤ ਨਾਲ ਕਰੋ, ਅਤੇ ਇਨ੍ਹਾਂ ਪਰਤਾਂ ਨੂੰ ਇਸੇ ਕ੍ਰਮ ਵਿੱਚ ਜਾਂਚੋ।

ਕੋਈ ਵੀ AI ਜਵਾਬਾਂ ਵਿੱਚੋਂ ਗਾਇਬ ਹੋਣ ਦਾ ਫ਼ੈਸਲਾ ਨਹੀਂ ਕਰਦਾ। ਇਹ ਥੀਮ ਅੱਪਡੇਟ, ਸੁਰੱਖਿਆ ਸੈਟਿੰਗ, ਮਾਈਗ੍ਰੇਸ਼ਨ ਜਾਂ ਕਿਸੇ ਪ੍ਰੋਵਾਈਡਰ ਦੇ ਬਦਲੇ ਡਿਫਾਲਟ ਦੇ ਅਣਚਾਹੇ ਨਤੀਜੇ ਵਜੋਂ ਹੁੰਦਾ ਹੈ। ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਸਾਈਟ ਅਜੇ ਵੀ ਆਮ ਵਾਂਗ ਦਿਖਦੀ ਹੈ, ਇਸ ਲਈ ਤਬਦੀਲੀ ਉਦੋਂ ਤੱਕ ਨਜ਼ਰ ਨਹੀਂ ਆਉਂਦੀ ਜਦੋਂ ਤੱਕ ਕੋਈ ChatGPT ਜਾਂ Perplexity ਤੋਂ ਉਤਪਾਦ ਬਾਰੇ ਪੁੱਛ ਕੇ ਮੁਕਾਬਲੇਬਾਜ਼ ਦਾ ਨਾਮ ਨਹੀਂ ਸੁਣਦਾ। ਹਰ ਪਰਤ ਨਿਸ਼ਾਨ ਛੱਡਦੀ ਹੈ ਜੋ ਤੁਸੀਂ ਬਾਹਰੋਂ ਜਾਂ ਆਪਣੇ ਲੌਗਾਂ ਵਿੱਚ ਜਾਂਚ ਸਕਦੇ ਹੋ।

ਇਸ ਪੰਨੇ 'ਤੇ
  1. ਕੀ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਮਿਲਣ ਵਾਲੀ robots.txt ਬਦਲ ਗਈ?
  2. ਕੀ Cloudflare ਦੀਆਂ 2026 ਦੀਆਂ AI ਕ੍ਰੌਲਰ ਨੀਤੀਆਂ ਨੇ ਬਦਲ ਦਿੱਤਾ ਕਿ ਮੇਰੀ ਸਾਈਟ ਕਿਸਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ?
  3. ਕੀ ਬੋਟ ਸੁਰੱਖਿਆ ਜਾਂ ਰੇਟ ਲਿਮਿਟ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਰੋਕ ਰਹੀ ਹੈ?
  4. ਕੀ ਮੇਰੇ ਹੋਸਟਿੰਗ ਪ੍ਰੋਵਾਈਡਰ ਨੇ ਆਪਣੇ ਡਿਫਾਲਟ ਬਦਲੇ?
  5. ਕੀ robots.txt ਗਲਤੀ ਨਾਲ ਜਵਾਬ ਦੇ ਰਹੀ ਹੈ?
  6. ਮੈਂ ਕਿਵੇਂ ਪਤਾ ਕਰਾਂ ਕਿ ਇਹ ਕਦੋਂ ਸ਼ੁਰੂ ਹੋਇਆ?
  7. ਅਗਲੀ ਵਾਰ ਮੈਂ ਇਸਨੂੰ ਜਲਦੀ ਕਿਵੇਂ ਫੜਾਂ?

ਕੀ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਮਿਲਣ ਵਾਲੀ robots.txt ਬਦਲ ਗਈ?

https://yourdomain.com/robots.txt ਲਿਆਓ ਅਤੇ ਉਸਦੀ ਤੁਲਨਾ ਆਪਣੀ ਰਿਪੋਜ਼ਟਰੀ ਜਾਂ ਬੈਕਅੱਪ ਵਾਲੀ ਫਾਈਲ ਨਾਲ ਕਰੋ। ਦਿੱਤੀ ਜਾ ਰਹੀ ਫਾਈਲ ਦੇਖੋ, ਡਿਸਕ ਵਾਲੀ ਨਹੀਂ, ਕਿਉਂਕਿ ਰਾਹ ਵਿੱਚ ਕਈ ਪਰਤਾਂ ਇਸਨੂੰ ਬਦਲ ਸਕਦੀਆਂ ਹਨ:

Google Search Console ਦੀ robots.txt ਰਿਪੋਰਟ ਪਿਛਲੇ 30 ਦਿਨਾਂ ਵਿੱਚ Google ਵੱਲੋਂ ਲਿਆਂਦੇ ਸੰਸਕਰਣ ਦਿਖਾਉਂਦੀ ਹੈ, ਅਤੇ ਹਰ ਵਾਰ ਫਾਈਲ ਜਾਂ ਉਸਨੂੰ ਲਿਆਉਣ ਦਾ ਨਤੀਜਾ ਬਦਲਣ 'ਤੇ ਨਵੀਂ ਐਂਟਰੀ ਹੁੰਦੀ ਹੈ। ਇਹ ਸਿਰਫ਼ ਉਹੀ ਕਵਰ ਕਰਦੀ ਹੈ ਜੋ Google ਨੇ ਦੇਖਿਆ, ਪਰ ਜਦੋਂ ਤੱਕ ਤੁਹਾਡਾ ਸਰਵਰ ਯੂਜ਼ਰ ਏਜੰਟ ਮੁਤਾਬਕ robots.txt ਨਹੀਂ ਬਦਲਦਾ, AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਵੀ ਉਹੀ ਫਾਈਲ ਮਿਲੀ।

ਕੀ Cloudflare ਦੀਆਂ 2026 ਦੀਆਂ AI ਕ੍ਰੌਲਰ ਨੀਤੀਆਂ ਨੇ ਬਦਲ ਦਿੱਤਾ ਕਿ ਮੇਰੀ ਸਾਈਟ ਕਿਸਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ?

Cloudflare ਨੇ ਆਪਣੇ AI ਕ੍ਰੌਲਰ ਕੰਟਰੋਲ ਕਈ ਵਾਰ ਬਦਲੇ ਹਨ, ਅਤੇ ਕੁਝ ਤਬਦੀਲੀਆਂ ਕਿਸੇ ਦੇ ਕੁਝ ਸੋਧੇ ਬਿਨਾਂ ਹੀ zone ਦਾ ਵਿਹਾਰ ਬਦਲ ਦਿੰਦੀਆਂ ਹਨ। 1 ਜੁਲਾਈ 2025 ਨੂੰ ਇਸਨੇ ਨਵੇਂ ਡੋਮੇਨਾਂ ਤੋਂ ਸਾਈਨ-ਅੱਪ ਵੇਲੇ ਪੁੱਛਣਾ ਸ਼ੁਰੂ ਕੀਤਾ ਕਿ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ ਜਾਂ ਨਹੀਂ, ਅਤੇ ਸ਼ੁਰੂਆਤੀ ਹਾਲਤ ਬਲੌਕ ਸੀ। 1 ਜੁਲਾਈ 2026 ਨੂੰ ਇਸਨੇ ਇੱਕੋ Block AI bots ਸਵਿੱਚ ਦੀ ਥਾਂ ਵੱਖਰੀਆਂ Search, Agent ਅਤੇ Training ਨੀਤੀਆਂ ਲਿਆਂਦੀਆਂ, Free ਸਮੇਤ ਸਾਰੇ ਪਲਾਨਾਂ ਲਈ।

ਜ਼ਿਆਦਾਤਰ ਸਾਈਟਾਂ ਨੂੰ ਫਸਾਉਣ ਵਾਲੀ ਗੱਲ ਮਿਲੇ-ਜੁਲੇ ਮਕਸਦ ਵਾਲੇ ਕ੍ਰੌਲਰ ਹਨ। Cloudflare ਦੇ ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ Training ਕਾਰਵਾਈਆਂ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਵੀ ਲਾਗੂ ਹੁੰਦੀਆਂ ਹਨ ਜੋ ਸਰਚ ਅਤੇ ਸਿਖਲਾਈ ਦੋਵਾਂ ਲਈ ਵਰਤੇ ਜਾਂਦੇ ਹਨ। ਇਸਦੇ ਜੁਲਾਈ 2026 ਦੇ ਐਲਾਨ ਵਿੱਚ ਕਿਹਾ ਗਿਆ ਕਿ 15 ਸਤੰਬਰ 2026 ਤੋਂ Googlebot, Applebot ਅਤੇ BingBot ਵਰਗੇ ਬਹੁ-ਮਕਸਦੀ ਕ੍ਰੌਲਰ ਉਨ੍ਹਾਂ ਗਾਹਕਾਂ ਲਈ ਬਲੌਕ ਹੋਣਗੇ ਜਿਨ੍ਹਾਂ ਨੇ Training ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਚੁਣਿਆ, ਭਾਵੇਂ ਨਵੇਂ ਵਿਕਲਪਾਂ ਰਾਹੀਂ ਜਾਂ ਪੁਰਾਣੀ Block AI bots ਸੈਟਿੰਗ ਰਾਹੀਂ। ਇਸ ਲਈ ਸਾਲ ਪਹਿਲਾਂ ਲਾਇਆ ਸਿਖਲਾਈ ਵਾਲਾ opt-out ਹੁਣ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਤੱਕ ਪਹੁੰਚ ਸਕਦਾ ਹੈ।

ਨਵੇਂ ਡੋਮੇਨਾਂ ਦੇ ਡਿਫਾਲਟ ਸਮੇਂ-ਸਮੇਂ 'ਤੇ ਵੱਖਰੇ ਢੰਗ ਨਾਲ ਦੱਸੇ ਗਏ ਹਨ। ਉਸੇ ਐਲਾਨ ਵਿੱਚ ਕਿਹਾ ਗਿਆ ਕਿ 15 ਸਤੰਬਰ 2026 ਤੋਂ ਨਵੇਂ ਡੋਮੇਨਾਂ 'ਤੇ ਇਸ਼ਤਿਹਾਰ ਦਿਖਾਉਣ ਵਾਲੇ ਪੰਨਿਆਂ 'ਤੇ Training ਅਤੇ Agent ਬਲੌਕ ਹੋਣਗੇ, ਜਦਕਿ 2 ਨਵੰਬਰ 2026 ਨੂੰ ਅੱਪਡੇਟ ਹੋਏ ਨੀਤੀ ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ ਨਵੇਂ ਡੋਮੇਨ ਤਿੰਨਾਂ ਨੂੰ Allow 'ਤੇ ਰੱਖ ਕੇ ਸ਼ੁਰੂ ਹੁੰਦੇ ਹਨ। Security ਖੋਲ੍ਹੋ, ਫਿਰ Settings, Bot traffic ਨਾਲ ਫਿਲਟਰ ਕਰੋ ਅਤੇ ਆਪਣੇ zone ਲਈ AI Crawler and Agent access policies ਪੜ੍ਹੋ। Cloudflare AI Crawl Control ਬਾਰੇ ਸਾਡੀ ਗਾਈਡ ਹਰ ਸੈਟਿੰਗ ਸਮਝਾਉਂਦੀ ਹੈ।

ਕੀ ਬੋਟ ਸੁਰੱਖਿਆ ਜਾਂ ਰੇਟ ਲਿਮਿਟ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਰੋਕ ਰਹੀ ਹੈ?

ਬੋਟ ਸੁਰੱਖਿਆ ਹਰ ਬੇਨਤੀ ਨੂੰ ਪਰਖਦੀ ਹੈ, ਅਤੇ ਕ੍ਰੌਲਰ ਡਾਟਾ ਸੈਂਟਰਾਂ ਤੋਂ ਤੇਜ਼ੀ ਨਾਲ ਬਹੁਤ ਸਾਰੇ ਪੰਨੇ ਲਿਆਉਂਦੇ ਹਨ, ਜੋ ਬਿਲਕੁਲ ਬੋਟਾਂ ਵਾਲਾ ਕੰਮ ਹੈ। ਪਿਛਲੇ ਮਹੀਨੇ ਲੰਘ ਜਾਣ ਵਾਲੇ ਕ੍ਰੌਲਰ ਨੂੰ ਚੈਲੰਜ ਪੰਨੇ ਮਿਲਣੇ ਸ਼ੁਰੂ ਹੋ ਸਕਦੇ ਹਨ, ਜਦੋਂ ਉਸਦਾ ਆਪਰੇਟਰ IP ਰੇਂਜਾਂ ਜਾਂ ਕ੍ਰੌਲ ਦੀ ਰਫ਼ਤਾਰ ਬਦਲਦਾ ਹੈ, ਜਾਂ ਸੁਰੱਖਿਆ ਨਿਯਮ ਅੱਪਡੇਟ ਹੁੰਦੇ ਹਨ। Cloudflare ਦਾ Bot Fight Mode ਆਮ ਕਾਰਨ ਹੈ, ਅਤੇ Cloudflare ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸਨੂੰ WAF ਕਸਟਮ ਨਿਯਮਾਂ ਜਾਂ Page Rules ਨਾਲ ਬਾਈਪਾਸ ਜਾਂ ਛੱਡਿਆ ਨਹੀਂ ਜਾ ਸਕਦਾ, ਇਸ ਲਈ ਜਦੋਂ ਤੱਕ ਇਹ ਚਾਲੂ ਹੈ, ਬਾਅਦ ਵਿੱਚ ਜੋੜਿਆ allow ਨਿਯਮ ਮਦਦ ਨਹੀਂ ਕਰੇਗਾ। ਨਵੀਂ ਰੇਟ ਲਿਮਿਟ ਜੋ ਬਹੁਤੀਆਂ ਬੇਨਤੀਆਂ ਨੂੰ 429 ਨਾਲ ਜਵਾਬ ਦਿੰਦੀ ਹੈ, ਰੁੱਝੇ ਕ੍ਰੌਲਰ 'ਤੇ ਇਹੀ ਅਸਰ ਪਾਉਂਦੀ ਹੈ।

ਬਾਹਰੋਂ ਟੈਸਟ ਕਰੋ: ਇੱਕ ਪੰਨਾ ਬ੍ਰਾਊਜ਼ਰ ਵਜੋਂ ਅਤੇ ਦੋ AI ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਮੰਗੋ, ਫਿਰ robots.txt ਕ੍ਰੌਲਰ ਵਜੋਂ ਮੰਗੋ।

URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done

# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
  -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
  https://example.com/robots.txt

ਸਿਰਫ਼ ਕ੍ਰੌਲਰ ਲਈ 403, 429 ਜਾਂ 503, Just a moment... ਸਿਰਲੇਖ ਵਾਲਾ ਪੰਨਾ, ਜਾਂ ਬ੍ਰਾਊਜ਼ਰ ਵਾਲੇ ਨਾਲੋਂ ਬਹੁਤ ਛੋਟਾ ਜਵਾਬ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਨਾਲ ਵੱਖਰਾ ਵਿਹਾਰ ਹੁੰਦਾ ਹੈ। ਟੈਸਟ ਤੁਹਾਡੇ IP ਤੋਂ ਆਉਂਦਾ ਹੈ, ਕੰਪਨੀ ਦੇ IP ਤੋਂ ਨਹੀਂ, ਇਸ ਲਈ ਪ੍ਰਮਾਣਿਤ ਬੋਟ ਦਰਜੇ 'ਤੇ ਆਧਾਰਿਤ ਨਿਯਮ ਅਸਲ ਕ੍ਰੌਲਰ ਨਾਲ ਫਿਰ ਵੀ ਵੱਖਰਾ ਵਿਹਾਰ ਕਰ ਸਕਦੇ ਹਨ। ਫਾਇਰਵਾਲ ਦਾ ਇਵੈਂਟ ਲੌਗ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਕਿਸ ਨਿਯਮ ਨੇ ਜਵਾਬ ਦਿੱਤਾ।

ਕੀ ਮੇਰੇ ਹੋਸਟਿੰਗ ਪ੍ਰੋਵਾਈਡਰ ਨੇ ਆਪਣੇ ਡਿਫਾਲਟ ਬਦਲੇ?

ਕੁਝ ਹੋਸਟ ਤੁਹਾਡੇ ਆਪਣੇ ਨਿਯਮਾਂ ਤੋਂ ਪਹਿਲਾਂ ਹੀ ਸਰਵਰ 'ਤੇ AI ਟ੍ਰੈਫਿਕ ਫਿਲਟਰ ਕਰਦੇ ਹਨ। ਮਿਸਾਲ ਵਜੋਂ, SiteGround ਨੇ ਅਗਸਤ 2025 ਵਿੱਚ ਲਿਖਿਆ ਕਿ ਉਹ ਸਿਖਲਾਈ ਡਾਟਾ ਇਕੱਠਾ ਕਰਨ ਲਈ ਬਣੇ AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਡਿਫਾਲਟ ਤੌਰ 'ਤੇ ਬਲੌਕ ਕਰਦਾ ਹੈ ਅਤੇ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ ਜੋ ਉਦੋਂ ਆਉਂਦੇ ਹਨ ਜਦੋਂ ਕੋਈ ਵਿਅਕਤੀ AI ਅਸਿਸਟੈਂਟ ਤੋਂ ਕਿਸੇ ਪੰਨੇ ਬਾਰੇ ਪੁੱਛਦਾ ਹੈ। ਅਜਿਹੇ ਨਿਯਮ ਤੁਹਾਡੀ robots.txt ਵਿੱਚ ਨਹੀਂ ਦਿਖਦੇ, ਅਤੇ ਹੋਸਟ ਦੇ ਆਪਣੀਆਂ ਬੋਟ ਸੂਚੀਆਂ ਅੱਪਡੇਟ ਕਰਨ 'ਤੇ ਬਦਲ ਸਕਦੇ ਹਨ।

ਜੇ ਇੱਕੋ ਹੋਸਟ ਵਾਲੀਆਂ ਕਈ ਸਾਈਟਾਂ 'ਤੇ ਇੱਕੋ ਸਮੇਂ ਬਲੌਕ ਦਿਖਦਾ ਹੈ, ਜਾਂ ਅਜਿਹੇ ਜਵਾਬਾਂ ਵਿੱਚ ਜੋ ਤੁਹਾਡੀ ਐਪਲੀਕੇਸ਼ਨ ਦੇ ਲੌਗਾਂ ਤੱਕ ਕਦੇ ਨਹੀਂ ਪਹੁੰਚਦੇ, ਤਾਂ ਹੋਸਟ ਤੋਂ ਪੁੱਛੋ ਕਿ ਤੁਹਾਡੇ ਖਾਤੇ 'ਤੇ ਕਿਹੜੇ ਬੋਟ ਨਿਯਮ ਲਾਗੂ ਹਨ ਅਤੇ ਕੀ ਤੁਸੀਂ ਉਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਛੋਟ ਦੇ ਸਕਦੇ ਹੋ ਜਿਨ੍ਹਾਂ ਨੂੰ ਤੁਸੀਂ ਰੱਖਣਾ ਚਾਹੁੰਦੇ ਹੋ।

ਕੀ robots.txt ਗਲਤੀ ਨਾਲ ਜਵਾਬ ਦੇ ਰਹੀ ਹੈ?

ਫੇਲ੍ਹ ਹੁੰਦੀ robots.txt ਕਿਸੇ ਵੀ Disallow ਲਾਈਨ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਬਲੌਕ ਕਰ ਸਕਦੀ ਹੈ। RFC 9309 ਮੁਤਾਬਕ 4xx ਜਵਾਬ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਕ੍ਰੌਲਰ ਸਭ ਕੁਝ ਲਿਆ ਸਕਦਾ ਹੈ, ਪਰ ਸਰਵਰ ਗਲਤੀ (5xx) ਜਾਂ ਕੋਈ ਜਵਾਬ ਨਾ ਮਿਲਣ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਉਸਨੂੰ ਪੂਰੀ ਸਾਈਟ ਮਨ੍ਹਾ ਮੰਨਣੀ ਪੈਂਦੀ ਹੈ। ਅਜਿਹੀਆਂ ਗਲਤੀਆਂ ਦੇ ਪਹਿਲੇ 12 ਘੰਟਿਆਂ ਵਿੱਚ Google ਕ੍ਰੌਲ ਕਰਨਾ ਰੋਕ ਦਿੰਦਾ ਹੈ ਅਤੇ ਫਿਰ 30 ਦਿਨਾਂ ਤੱਕ ਆਪਣੀ ਆਖ਼ਰੀ ਸਹੀ ਕਾਪੀ ਵਰਤਦਾ ਹੈ।

ਇਸੇ ਤਰ੍ਹਾਂ ਲੋਡ ਦਾ ਅਚਾਨਕ ਵਾਧਾ, /robots.txt ਨੂੰ ਚੈਲੰਜ ਕਰਨ ਵਾਲਾ ਫਾਇਰਵਾਲ ਨਿਯਮ, ਜਾਂ ਉਸਨੂੰ ਸ਼ਾਮਲ ਕਰਨ ਵਾਲੀ ਰੇਟ ਲਿਮਿਟ, ਇੱਕ ਵੀ ਨਿਯਮ ਬਦਲੇ ਬਿਨਾਂ ਚੰਗਾ ਵਿਹਾਰ ਕਰਨ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਾਹਰ ਕਰ ਸਕਦੀ ਹੈ। ਉੱਪਰਲੇ ਟੈਸਟ ਦੀ ਆਖ਼ਰੀ ਕਮਾਂਡ ਨੂੰ 200 ਅਤੇ text/plain ਵਾਪਸ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ। ਉੱਥੇ 5xx, ਟਾਈਮਆਊਟ ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਹੋਵੇ ਤਾਂ ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਉਹੀ ਠੀਕ ਕਰੋ।

ਮੈਂ ਕਿਵੇਂ ਪਤਾ ਕਰਾਂ ਕਿ ਇਹ ਕਦੋਂ ਸ਼ੁਰੂ ਹੋਇਆ?

ਤਾਰੀਖ ਮਿਲ ਜਾਵੇ ਤਾਂ ਭੇਤ ਇੱਕ ਸਿੱਧੀ ਤੁਲਨਾ ਬਣ ਜਾਂਦਾ ਹੈ। ਆਪਣੇ access ਲੌਗਾਂ ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਯੂਜ਼ਰ ਏਜੰਟਾਂ ਦੀਆਂ ਬੇਨਤੀਆਂ ਫਿਲਟਰ ਕਰੋ ਅਤੇ ਉਹ ਦਿਨ ਲੱਭੋ ਜਦੋਂ ਉਨ੍ਹਾਂ ਦੇ ਸਥਿਤੀ ਕੋਡ 200 ਤੋਂ 403, 429 ਜਾਂ 503 ਹੋ ਗਏ, ਜਾਂ ਜਦੋਂ ਉਨ੍ਹਾਂ ਨੇ robots.txt ਪੜ੍ਹਨ ਤੋਂ ਬਾਅਦ ਪੰਨੇ ਮੰਗਣੇ ਬੰਦ ਕਰ ਦਿੱਤੇ; ਸਰਵਰ ਲੌਗਾਂ ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਲੱਭਣ ਬਾਰੇ ਸਾਡੀ ਗਾਈਡ ਵਿੱਚ ਕਮਾਂਡਾਂ ਹਨ। ਤੁਹਾਡੇ CDN ਵੱਲੋਂ ਬਲੌਕ ਕੀਤੀਆਂ ਬੇਨਤੀਆਂ origin ਤੱਕ ਕਦੇ ਨਹੀਂ ਪਹੁੰਚਦੀਆਂ, ਇਸ ਲਈ CDN ਵੀ ਜਾਂਚੋ। Cloudflare 'ਤੇ AI Crawl Control ਸਮੇਂ ਦੇ ਨਾਲ ਸਥਿਤੀ ਕੋਡਾਂ ਦੀ ਵੰਡ ਦਿਖਾਉਂਦਾ ਹੈ, ਜਿਸਨੂੰ ਤੁਸੀਂ ਕ੍ਰੌਲਰ ਮੁਤਾਬਕ ਫਿਲਟਰ ਕਰ ਸਕਦੇ ਹੋ।

ਫਿਰ ਉਸ ਤਾਰੀਖ ਨੂੰ ਡਿਪਲੌਏ, ਪਲੱਗਇਨ ਅਤੇ ਥੀਮ ਅੱਪਡੇਟਾਂ, CDN ਸੈਟਿੰਗਾਂ ਦੀਆਂ ਤਬਦੀਲੀਆਂ ਅਤੇ ਪ੍ਰੋਵਾਈਡਰਾਂ ਦੇ ਐਲਾਨਾਂ ਨਾਲ ਮਿਲਾਓ। ਕੁਝ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਸਰੋਤ IP ਕੰਪਨੀ ਦੇ ਹਨ, ਤਾਂ ਜੋ ਤੁਸੀਂ ਅਸਲ ਕ੍ਰੌਲਰ ਨੂੰ ਦੇਖ ਰਹੇ ਹੋਵੋ, ਉਸਦਾ ਨਾਮ ਵਰਤਣ ਵਾਲੇ ਨਕਲਚੀ ਨੂੰ ਨਹੀਂ।

ਅਗਲੀ ਵਾਰ ਮੈਂ ਇਸਨੂੰ ਜਲਦੀ ਕਿਵੇਂ ਫੜਾਂ?

ਪਹੁੰਚ ਸਿਰਫ਼ ਟ੍ਰੈਫਿਕ ਘਟਣ 'ਤੇ ਨਹੀਂ, ਹਰ ਡਿਪਲੌਏ, CDN ਤਬਦੀਲੀ ਅਤੇ ਪਲੱਗਇਨ ਅੱਪਡੇਟ ਤੋਂ ਬਾਅਦ ਜਾਂਚੋ। ਮੁਫ਼ਤ AISeeWhy ਜਾਂਚ ਪੰਨੇ ਨੂੰ ਅਸਲ ਬ੍ਰਾਊਜ਼ਰ ਦੇ ਨਾਲ 16 AI ਅਤੇ ਸਰਚ ਕ੍ਰੌਲਰਾਂ ਵਜੋਂ ਲਿਆਉਂਦੀ ਹੈ, ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਤੁਹਾਡੀ robots.txt ਲਾਗੂ ਕਰਦੀ ਹੈ ਅਤੇ ਫਾਇਰਵਾਲ ਦੇ ਚੈਲੰਜ ਪੰਨੇ ਪਛਾਣਦੀ ਹੈ। ਮੁਫ਼ਤ robots.txt ਜਾਂਚ ਟੂਲ ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਅੱਜ ਲਾਈਵ ਫਾਈਲ ਮੁਤਾਬਕ ਪੰਨਾ ਲਿਆਂਦਾ ਜਾ ਸਕਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।

ਮੁਫ਼ਤ ਟੂਲ

ਅਗਲੇ ਕਦਮ

ਇਸ ਲੇਖ ਵਿਚਲੇ ਕ੍ਰੌਲਰ

ਅਕਸਰ ਪੁੱਛੇ ਜਾਂਦੇ ਸਵਾਲ

ChatGPT ਨੇ ਮੇਰੀ ਸਾਈਟ ਦਿਖਾਉਣੀ ਕਿਉਂ ਬੰਦ ਕਰ ਦਿੱਤੀ?

ਅਕਸਰ ਇਸ ਲਈ ਕਿ ChatGPT ਸਰਚ ਪਿੱਛੇ ਵਾਲਾ ਕ੍ਰੌਲਰ OAI-SearchBot robots.txt ਦੀ ਤਬਦੀਲੀ, CDN ਨੀਤੀ ਜਾਂ ਬੋਟ ਸੁਰੱਖਿਆ ਕਾਰਨ ਬਲੌਕ ਹੋ ਗਿਆ। OpenAI ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਵਾਲੀਆਂ ਸਾਈਟਾਂ ChatGPT ਸਰਚ ਜਵਾਬਾਂ ਵਿੱਚ ਨਹੀਂ ਆਉਣਗੀਆਂ। ਇਸ ਕ੍ਰੌਲਰ ਲਈ ਹਰ ਪਰਤ ਜਾਂਚੋ, ਅਤੇ robots.txt ਠੀਕ ਕਰਨ ਤੋਂ ਬਾਅਦ ਲਗਭਗ 24 ਘੰਟੇ ਦਿਓ, ਜਿੰਨਾ ਸਮਾਂ OpenAI ਮੁਤਾਬਕ ਉਸਦੇ ਸਿਸਟਮਾਂ ਨੂੰ ਬਦਲਣ ਵਿੱਚ ਲੱਗਦਾ ਹੈ।

ਕੀ Cloudflare ਨੇ ਮੇਰੀ ਸਾਈਟ 'ਤੇ Googlebot ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ?

ਅਜਿਹਾ ਹੋ ਸਕਦਾ ਹੈ। Cloudflare ਨੇ ਕਿਹਾ ਕਿ 15 ਸਤੰਬਰ 2026 ਤੋਂ Training ਨੂੰ ਬਲੌਕ ਕਰਨ ਵਾਲੇ ਗਾਹਕ Googlebot, Applebot ਅਤੇ BingBot ਵਰਗੇ ਬਹੁ-ਮਕਸਦੀ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਵੀ ਬਲੌਕ ਕਰਦੇ ਹਨ। ਇਸਦੇ ਦਸਤਾਵੇਜ਼ ਕਹਿੰਦੇ ਹਨ ਕਿ Training Disallow ਵਿਕਲਪ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ ਨੂੰ edge 'ਤੇ ਬਲੌਕ ਕਰਦਾ ਹੈ ਪਰ ਮਿਲੇ-ਜੁਲੇ ਵਰਤੋਂ ਵਾਲੇ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਛੱਡ ਦਿੰਦਾ ਹੈ, ਇਸ ਲਈ ਜਾਂਚੋ ਕਿ ਤੁਹਾਡਾ zone ਕਿਹੜਾ ਵਿਕਲਪ ਵਰਤਦਾ ਹੈ।

ਕੀ ਵੈੱਬਸਾਈਟ ਬਿਲਡਰ ਜਾਂ ਪਲੱਗਇਨ ਮੇਰੀ robots.txt ਬਦਲ ਸਕਦਾ ਹੈ?

ਹਾਂ। ਸਾਈਟ ਬਿਲਡਰ ਅਤੇ SEO ਜਾਂ ਸੁਰੱਖਿਆ ਪਲੱਗਇਨ robots.txt ਵਿੱਚ AI ਕ੍ਰੌਲਰ ਨਿਯਮ ਲਿਖ ਸਕਦੇ ਹਨ, ਅਤੇ ਕੁਝ ਸਮੇਂ ਨਾਲ ਆਪਣੀਆਂ ਬੋਟ ਸੂਚੀਆਂ ਵਧਾਉਂਦੇ ਹਨ। ਹਰ ਅੱਪਡੇਟ ਤੋਂ ਬਾਅਦ ਲਾਈਵ ਫਾਈਲ ਲਿਆਓ ਅਤੇ ਉਹ ਗਰੁੱਪ ਪੜ੍ਹੋ ਜੋ ਤੁਹਾਡੇ ਲਈ ਅਹਿਮ ਸਰਚ ਕ੍ਰੌਲਰਾਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ।

ਮੇਰੀ ਲਾਈਵ robots.txt ਸਰਵਰ ਵਾਲੀ ਫਾਈਲ ਤੋਂ ਵੱਖਰੀ ਕਿਉਂ ਹੈ?

ਤੁਹਾਡੇ ਸਰਵਰ ਦੇ ਅੱਗੇ ਕੋਈ ਚੀਜ਼ ਇਸਨੂੰ ਬਦਲ ਰਹੀ ਹੈ। ਮਿਸਾਲ ਵਜੋਂ, Cloudflare ਦੀ ਪ੍ਰਬੰਧਿਤ robots.txt ਉਸੇ ਜਵਾਬ ਵਿੱਚ ਤੁਹਾਡੀ ਫਾਈਲ ਦੇ ਸ਼ੁਰੂ ਵਿੱਚ ਆਪਣੇ ਨਿਯਮ ਅਤੇ content signals ਜੋੜਦੀ ਹੈ। ਬੇਨਤੀ 'ਤੇ robots.txt ਬਣਾਉਣ ਵਾਲਾ CMS, ਜਾਂ ਹੋਸਟ ਪੱਧਰ ਦੀ ਸੈਟਿੰਗ ਵੀ ਇਸਨੂੰ ਬਦਲ ਜਾਂ ਵਧਾ ਸਕਦੀ ਹੈ।

ਠੀਕ ਕਰਨ ਤੋਂ ਬਾਅਦ AI ਕ੍ਰੌਲਰ ਕਿੰਨੇ ਸਮੇਂ ਵਿੱਚ ਵਾਪਸ ਆਉਂਦੇ ਹਨ?

RFC 9309 ਕਹਿੰਦਾ ਹੈ ਕਿ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਕੈਸ਼ ਕੀਤੀ robots.txt 24 ਘੰਟਿਆਂ ਤੋਂ ਵੱਧ ਨਹੀਂ ਵਰਤਣੀ ਚਾਹੀਦੀ, OpenAI ਲਗਭਗ 24 ਘੰਟੇ ਅਤੇ Perplexity 24 ਘੰਟਿਆਂ ਤੱਕ ਦੱਸਦਾ ਹੈ। ਫਾਇਰਵਾਲ ਦੀਆਂ ਤਬਦੀਲੀਆਂ ਪ੍ਰੋਵਾਈਡਰ ਦੇ ਲਾਗੂ ਕਰਦੇ ਹੀ ਕੰਮ ਕਰਦੀਆਂ ਹਨ, ਪਰ ਕ੍ਰੌਲਰ ਆਪਣੇ ਸਮੇਂ 'ਤੇ ਵਾਪਸ ਆਉਂਦੇ ਹਨ।

ਸਰੋਤ

ਹੋਰ ਲੇਖ