OAI-SearchBot ਬਲੌਕ ਹੈ

ਛੋਟਾ ਜਵਾਬ

ਇਸ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਭੇਜੀ ਬੇਨਤੀ ਰੱਦ ਹੋ ਗਈ: ਉਸਨੂੰ 4xx ਜਾਂ 5xx ਸਥਿਤੀ, Cloudflare ਦਾ cf-mitigated ਹੈਡਰ ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਮਿਲਿਆ, ਜਦਕਿ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਦੀ ਬੇਨਤੀ ਨੂੰ ਪੰਨਾ ਮਿਲ ਗਿਆ। ਉਹ ਫਾਇਰਵਾਲ, CDN ਜਾਂ ਬੋਟ ਨਿਯਮ ਲੱਭੋ ਜੋ ਇਸ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ਅਤੇ ਕ੍ਰੌਲਰ ਨੂੰ ਲੰਘਣ ਦਿਓ।

access.blocked · ਤਰਜੀਹ: P1–P3, ਕ੍ਰੌਲਰ ਦੀ ਕਿਸਮ ਮੁਤਾਬਕ

ਇਸਦਾ ਮਤਲਬ ਕੀ ਹੈ

OAI-SearchBot ਯੂਜ਼ਰ ਏਜੰਟ ਵਾਲੀ ਬੇਨਤੀ ਨੂੰ ਸਥਿਤੀ 403 ਜਾਂ ਚੈਲੇਂਜ ਪੰਨਾ ਮਿਲਿਆ, ਜਦਕਿ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਪੰਨਾ ਮਿਲ ਗਿਆ। ਗ਼ੈਰ-ਪ੍ਰਮਾਣਿਤ IP ਤੋਂ ਜਾਂਚਿਆ ਗਿਆ: ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਇਸ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਕਿਵੇਂ ਪੇਸ਼ ਆਉਂਦੀ ਹੈ; ਆਪਣੇ ਪ੍ਰਮਾਣਿਤ IPs ਤੋਂ ਆਉਣ ਵਾਲੇ ਅਸਲ ਕ੍ਰੌਲਰ ਨਾਲ ਵੱਖਰਾ ਵਿਹਾਰ ਹੋ ਸਕਦਾ ਹੈ।

AI ਸਰਚ ਲਈ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ

OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ਅਤੇ Perplexity-User ਵਰਗੇ ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਜਵਾਬ ਅਤੇ ਉਨ੍ਹਾਂ ਹੇਠਲੇ ਲਿੰਕ ਬਣਾਉਣ ਲਈ ਪੰਨੇ ਲਿਆਉਂਦੇ ਹਨ। ਜੇ ਉਨ੍ਹਾਂ ਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਮਿਲਦਾ ਹੈ, ਤਾਂ ਪੰਨੇ ਦਾ ਹਵਾਲਾ ਜਾਂ ਲਿੰਕ ਨਹੀਂ ਦਿੱਤਾ ਜਾ ਸਕਦਾ, ਚਾਹੇ ਉਹ ਕਿੰਨਾ ਵੀ ਵਧੀਆ ਹੋਵੇ। ਇਸੇ ਲਈ AISeeWhy ਇਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਦੇ ਬਲੌਕ ਨੂੰ P1 ਦਰਜਾ ਦਿੰਦਾ ਹੈ।

ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) ਨੂੰ P3 ਦਰਜਾ ਮਿਲਦਾ ਹੈ: ਉਨ੍ਹਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਨੀਤੀ ਦਾ ਫ਼ੈਸਲਾ ਹੈ, ਗਲਤੀ ਨਹੀਂ। ਜਾਂਚ ਇੱਕ ਅਣ-ਪ੍ਰਮਾਣਿਤ IP ਤੋਂ ਚੱਲਦੀ ਹੈ, ਇਸ ਲਈ ਇਹ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਤੁਹਾਡੇ ਨਿਯਮ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਕਿਵੇਂ ਪੇਸ਼ ਆਉਂਦੇ ਹਨ; ਅਸਲ ਕ੍ਰੌਲਰ, ਜੋ ਆਪਣੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਤੋਂ ਆਉਂਦਾ ਹੈ, ਨਾਲ ਵੱਖਰਾ ਵਿਹਾਰ ਹੋ ਸਕਦਾ ਹੈ।

ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰੀਏ

  1. ਖੋਜ ਖੋਲ੍ਹ ਕੇ ਦੇਖੋ ਕਿ ਕਿਹੜਾ ਕ੍ਰੌਲਰ ਬਲੌਕ ਹੋਇਆ, ਉਸਨੂੰ ਕਿਹੜੀ ਸਥਿਤੀ ਮਿਲੀ ਅਤੇ ਆਡਿਟ ਨੇ ਕਿਹੜਾ WAF ਪਛਾਣਿਆ। AISeeWhy ਰਿਪੋਰਟ ਸਬੂਤ ਅਤੇ ਪੇਸਟ ਕਰਨ ਲਈ ਤਿਆਰ ਹੱਲ ਦਿਖਾਉਂਦੀ ਹੈ; ਨਤੀਜੇ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਬਾਅਦ ਵਿੱਚ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਚਲਾਓ।
  2. Cloudflare 'ਤੇ, ਬਲੌਕ ਹੋਈ ਬੇਨਤੀ ਲਈ Security → Events ਦੇਖੋ, ਫਿਰ ਇੱਕ WAF custom rule ਜੋੜੋ ਜੋ ਕ੍ਰੌਲਰ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੋਵੇ (verified bots ਜਾਂ ਉਸਦਾ ਯੂਜ਼ਰ ਏਜੰਟ ਟੋਕਨ), ਅਤੇ ਬਾਕੀ custom rules, Super Bot Fight Mode ਅਤੇ rate limiting ਲਈ ਕਾਰਵਾਈ Skip ਰੱਖੋ। AI Crawl Control ਵਿੱਚ ਕ੍ਰੌਲਰ ਨੂੰ Allow 'ਤੇ ਸੈੱਟ ਕਰੋ।
  3. Vercel, Akamai, Imperva, Sucuri ਜਾਂ AWS WAF 'ਤੇ, ਉਹ ਬੋਟ ਪ੍ਰਬੰਧਨ ਜਾਂ managed rule ਲੱਭੋ ਜੋ ਲਾਗੂ ਹੋਇਆ, ਅਤੇ ਕ੍ਰੌਲਰ ਲਈ ਛੋਟ ਜੋੜੋ, ਬਿਹਤਰ ਹੈ ਕਿ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਥਾਂ ਕੰਪਨੀ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਜਾਂ reverse DNS ਨਾਲ ਪ੍ਰਮਾਣਿਤ ਕਰਕੇ।
  4. nginx ਜਾਂ Apache 'ਤੇ, config ਵਿੱਚ deny, return 403 ਜਾਂ RewriteCond %{HTTP_USER_AGENT} ਵਾਲੀਆਂ ਲਾਈਨਾਂ ਲੱਭੋ ਜੋ ਕ੍ਰੌਲਰ ਦਾ ਨਾਮ ਲੈਂਦੀਆਂ ਹਨ, ਅਤੇ WordPress ਵਿੱਚ ਉਹ ਸੁਰੱਖਿਆ ਪਲੱਗਇਨ ਜਾਂਚੋ ਜੋ "ਮਾੜੇ ਬੋਟ" ਬਲੌਕ ਕਰਦੇ ਹਨ।
  5. ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਵੱਖਰਾ ਫ਼ੈਸਲਾ ਕਰੋ: ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ ਨਾਲ ਹੀ ਪੰਨਿਆਂ ਦਾ ਹਵਾਲਾ ਮਿਲਦਾ ਹੈ, ਜਦਕਿ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਬਲੌਕ ਰਹਿ ਸਕਦੇ ਹਨ ਜੇ ਇਹ ਤੁਹਾਡੀ ਨੀਤੀ ਹੈ।

ਮਿਸਾਲ

(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting

ਹੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਨੀ ਹੈ

ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ, ਰਿਪੋਰਟ 'ਤੇ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਦਬਾਓ: ਇਹ ਦੱਸਦੀ ਹੈ ਕਿ ਕੀ ਠੀਕ ਹੋਇਆ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਬਦਲਿਆ।

ਮੇਰਾ ਪੰਨਾ ਜਾਂਚੋ →

ਸੰਬੰਧਿਤ ਗਾਈਡਾਂ

ਸਾਰੀਆਂ ਖੋਜਾਂ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ