OAI-SearchBot ਬਲੌਕ ਹੈ
ਇਸ ਕ੍ਰੌਲਰ ਦੇ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਭੇਜੀ ਬੇਨਤੀ ਰੱਦ ਹੋ ਗਈ: ਉਸਨੂੰ 4xx ਜਾਂ 5xx ਸਥਿਤੀ, Cloudflare ਦਾ cf-mitigated ਹੈਡਰ ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਮਿਲਿਆ, ਜਦਕਿ ਆਮ ਬ੍ਰਾਊਜ਼ਰ ਦੀ ਬੇਨਤੀ ਨੂੰ ਪੰਨਾ ਮਿਲ ਗਿਆ। ਉਹ ਫਾਇਰਵਾਲ, CDN ਜਾਂ ਬੋਟ ਨਿਯਮ ਲੱਭੋ ਜੋ ਇਸ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ, ਅਤੇ ਕ੍ਰੌਲਰ ਨੂੰ ਲੰਘਣ ਦਿਓ।
ਇਸਦਾ ਮਤਲਬ ਕੀ ਹੈ
OAI-SearchBot ਯੂਜ਼ਰ ਏਜੰਟ ਵਾਲੀ ਬੇਨਤੀ ਨੂੰ ਸਥਿਤੀ 403 ਜਾਂ ਚੈਲੇਂਜ ਪੰਨਾ ਮਿਲਿਆ, ਜਦਕਿ ਬ੍ਰਾਊਜ਼ਰ ਨੂੰ ਪੰਨਾ ਮਿਲ ਗਿਆ। ਗ਼ੈਰ-ਪ੍ਰਮਾਣਿਤ IP ਤੋਂ ਜਾਂਚਿਆ ਗਿਆ: ਇਹ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਤੁਹਾਡੀ ਫਾਇਰਵਾਲ ਇਸ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਕਿਵੇਂ ਪੇਸ਼ ਆਉਂਦੀ ਹੈ; ਆਪਣੇ ਪ੍ਰਮਾਣਿਤ IPs ਤੋਂ ਆਉਣ ਵਾਲੇ ਅਸਲ ਕ੍ਰੌਲਰ ਨਾਲ ਵੱਖਰਾ ਵਿਹਾਰ ਹੋ ਸਕਦਾ ਹੈ।
AI ਸਰਚ ਲਈ ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ
OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot ਅਤੇ Perplexity-User ਵਰਗੇ ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰ ਜਵਾਬ ਅਤੇ ਉਨ੍ਹਾਂ ਹੇਠਲੇ ਲਿੰਕ ਬਣਾਉਣ ਲਈ ਪੰਨੇ ਲਿਆਉਂਦੇ ਹਨ। ਜੇ ਉਨ੍ਹਾਂ ਨੂੰ 403 ਜਾਂ ਚੈਲੰਜ ਪੰਨਾ ਮਿਲਦਾ ਹੈ, ਤਾਂ ਪੰਨੇ ਦਾ ਹਵਾਲਾ ਜਾਂ ਲਿੰਕ ਨਹੀਂ ਦਿੱਤਾ ਜਾ ਸਕਦਾ, ਚਾਹੇ ਉਹ ਕਿੰਨਾ ਵੀ ਵਧੀਆ ਹੋਵੇ। ਇਸੇ ਲਈ AISeeWhy ਇਨ੍ਹਾਂ ਕ੍ਰੌਲਰਾਂ ਦੇ ਬਲੌਕ ਨੂੰ P1 ਦਰਜਾ ਦਿੰਦਾ ਹੈ।
ਸਿਖਲਾਈ ਕ੍ਰੌਲਰਾਂ (GPTBot, ClaudeBot, CCBot, Bytespider, Meta-ExternalAgent) ਨੂੰ P3 ਦਰਜਾ ਮਿਲਦਾ ਹੈ: ਉਨ੍ਹਾਂ ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਨੀਤੀ ਦਾ ਫ਼ੈਸਲਾ ਹੈ, ਗਲਤੀ ਨਹੀਂ। ਜਾਂਚ ਇੱਕ ਅਣ-ਪ੍ਰਮਾਣਿਤ IP ਤੋਂ ਚੱਲਦੀ ਹੈ, ਇਸ ਲਈ ਇਹ ਦਿਖਾਉਂਦੀ ਹੈ ਕਿ ਤੁਹਾਡੇ ਨਿਯਮ ਯੂਜ਼ਰ ਏਜੰਟ ਨਾਲ ਕਿਵੇਂ ਪੇਸ਼ ਆਉਂਦੇ ਹਨ; ਅਸਲ ਕ੍ਰੌਲਰ, ਜੋ ਆਪਣੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਤੋਂ ਆਉਂਦਾ ਹੈ, ਨਾਲ ਵੱਖਰਾ ਵਿਹਾਰ ਹੋ ਸਕਦਾ ਹੈ।
ਇਸਨੂੰ ਕਿਵੇਂ ਠੀਕ ਕਰੀਏ
- ਖੋਜ ਖੋਲ੍ਹ ਕੇ ਦੇਖੋ ਕਿ ਕਿਹੜਾ ਕ੍ਰੌਲਰ ਬਲੌਕ ਹੋਇਆ, ਉਸਨੂੰ ਕਿਹੜੀ ਸਥਿਤੀ ਮਿਲੀ ਅਤੇ ਆਡਿਟ ਨੇ ਕਿਹੜਾ WAF ਪਛਾਣਿਆ। AISeeWhy ਰਿਪੋਰਟ ਸਬੂਤ ਅਤੇ ਪੇਸਟ ਕਰਨ ਲਈ ਤਿਆਰ ਹੱਲ ਦਿਖਾਉਂਦੀ ਹੈ; ਨਤੀਜੇ ਦੀ ਪੁਸ਼ਟੀ ਲਈ ਬਾਅਦ ਵਿੱਚ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਚਲਾਓ।
- Cloudflare 'ਤੇ, ਬਲੌਕ ਹੋਈ ਬੇਨਤੀ ਲਈ Security → Events ਦੇਖੋ, ਫਿਰ ਇੱਕ WAF custom rule ਜੋੜੋ ਜੋ ਕ੍ਰੌਲਰ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੋਵੇ (verified bots ਜਾਂ ਉਸਦਾ ਯੂਜ਼ਰ ਏਜੰਟ ਟੋਕਨ), ਅਤੇ ਬਾਕੀ custom rules, Super Bot Fight Mode ਅਤੇ rate limiting ਲਈ ਕਾਰਵਾਈ Skip ਰੱਖੋ। AI Crawl Control ਵਿੱਚ ਕ੍ਰੌਲਰ ਨੂੰ Allow 'ਤੇ ਸੈੱਟ ਕਰੋ।
- Vercel, Akamai, Imperva, Sucuri ਜਾਂ AWS WAF 'ਤੇ, ਉਹ ਬੋਟ ਪ੍ਰਬੰਧਨ ਜਾਂ managed rule ਲੱਭੋ ਜੋ ਲਾਗੂ ਹੋਇਆ, ਅਤੇ ਕ੍ਰੌਲਰ ਲਈ ਛੋਟ ਜੋੜੋ, ਬਿਹਤਰ ਹੈ ਕਿ ਸਿਰਫ਼ ਯੂਜ਼ਰ ਏਜੰਟ ਦੀ ਥਾਂ ਕੰਪਨੀ ਦੀਆਂ ਪ੍ਰਕਾਸ਼ਿਤ IP ਰੇਂਜਾਂ ਜਾਂ reverse DNS ਨਾਲ ਪ੍ਰਮਾਣਿਤ ਕਰਕੇ।
- nginx ਜਾਂ Apache 'ਤੇ, config ਵਿੱਚ
deny,return 403ਜਾਂRewriteCond %{HTTP_USER_AGENT}ਵਾਲੀਆਂ ਲਾਈਨਾਂ ਲੱਭੋ ਜੋ ਕ੍ਰੌਲਰ ਦਾ ਨਾਮ ਲੈਂਦੀਆਂ ਹਨ, ਅਤੇ WordPress ਵਿੱਚ ਉਹ ਸੁਰੱਖਿਆ ਪਲੱਗਇਨ ਜਾਂਚੋ ਜੋ "ਮਾੜੇ ਬੋਟ" ਬਲੌਕ ਕਰਦੇ ਹਨ। - ਹਰ ਕ੍ਰੌਲਰ ਲਈ ਵੱਖਰਾ ਫ਼ੈਸਲਾ ਕਰੋ: ਸਰਚ ਅਤੇ ਯੂਜ਼ਰ ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣ ਨਾਲ ਹੀ ਪੰਨਿਆਂ ਦਾ ਹਵਾਲਾ ਮਿਲਦਾ ਹੈ, ਜਦਕਿ ਸਿਖਲਾਈ ਕ੍ਰੌਲਰ ਬਲੌਕ ਰਹਿ ਸਕਦੇ ਹਨ ਜੇ ਇਹ ਤੁਹਾਡੀ ਨੀਤੀ ਹੈ।
ਮਿਸਾਲ
(cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
Action: Skip -> All remaining custom rules, Super Bot Fight Mode, Rate limiting ਹੱਲ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰਨੀ ਹੈ
ਬਦਲਾਅ ਤੋਂ ਬਾਅਦ, ਰਿਪੋਰਟ 'ਤੇ "ਦੁਬਾਰਾ ਜਾਂਚੋ" ਦਬਾਓ: ਇਹ ਦੱਸਦੀ ਹੈ ਕਿ ਕੀ ਠੀਕ ਹੋਇਆ ਅਤੇ ਸਕੋਰ ਕਿਵੇਂ ਬਦਲਿਆ।
ਸੰਬੰਧਿਤ ਗਾਈਡਾਂ
- Cloudflare ਦੀ AI Crawl Control ਰਿਪੋਰਟ ਕਿਵੇਂ ਪੜ੍ਹੀਏ ਅਤੇ ਦੇਖੀਏ ਕਿ ਕਿਹੜੇ AI ਕ੍ਰੌਲਰ ਅੰਦਰ ਆਉਂਦੇ ਹਨ
- ਕੀ Cloudflare AI ਕ੍ਰੌਲਰਾਂ ਨੂੰ ਬਲੌਕ ਕਰ ਰਿਹਾ ਹੈ? ਪਤਾ ਕਰੋ ਅਤੇ ਠੀਕ ਕਰੋ
- ਕੀ ChatGPT ਮੇਰੀ ਵੈੱਬਸਾਈਟ ਦੇਖ ਸਕਦਾ ਹੈ? ਕਿਵੇਂ ਜਾਂਚੀਏ
- ਪੰਨਾ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਕਰਨ ਵਾਲੀਆਂ 12 AEO ਜਾਂਚਾਂ (2027)
- SEO 2.0: AI ਸਰਚ ਅਤੇ ਅਸਿਸਟੈਂਟਾਂ ਨੇ SEO ਕਿਵੇਂ ਬਦਲਿਆ, ਪਰਤ ਦਰ ਪਰਤ