CCBot

Common Crawl · AI ਸਿਖਲਾਈ

CCBot Common Crawl ਦਾ ਕ੍ਰੌਲਰ ਹੈ, ਜੋ ਇੱਕ ਗੈਰ-ਮੁਨਾਫ਼ਾ ਸੰਸਥਾ ਹੈ ਅਤੇ ਵੈੱਬ ਕ੍ਰੌਲ ਡਾਟਾ ਦਾ ਮੁਫ਼ਤ, ਖੁੱਲ੍ਹਾ ਭੰਡਾਰ ਸੰਭਾਲਦੀ ਹੈ। ਇਹ ਪੁਰਾਲੇਖ ਖੋਜਕਾਰਾਂ ਅਤੇ AI ਡਿਵੈਲਪਰਾਂ ਵੱਲੋਂ ਵਿਆਪਕ ਤੌਰ 'ਤੇ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਇਸ ਲਈ CCBot ਨੂੰ ਬਲੌਕ ਕਰਨਾ ਮੁੱਖ ਤੌਰ 'ਤੇ ਸਿਖਲਾਈ ਦਾ ਫ਼ੈਸਲਾ ਹੈ। ਇਹ ਕਿਸੇ ਸਰਚ ਇੰਜਣ ਜਾਂ AI ਸਰਚ ਉਤਪਾਦ 'ਤੇ ਸਿੱਧਾ ਅਸਰ ਨਹੀਂ ਪਾਉਂਦਾ।

ਇਸਨੂੰ ਇਜਾਜ਼ਤ ਕਿਵੇਂ ਦੇਈਏ

User-agent: CCBot
Allow: /

ਇਸਨੂੰ ਬਲੌਕ ਕਿਵੇਂ ਕਰੀਏ

User-agent: CCBot
Disallow: /

ਇਹ ਕੀ ਕਰਦਾ ਹੈ

Common Crawl ਇੱਕ ਗੈਰ-ਮੁਨਾਫ਼ਾ ਸੰਸਥਾ ਹੈ ਜੋ ਵੈੱਬ ਕ੍ਰੌਲ ਡਾਟਾ ਦਾ ਖੁੱਲ੍ਹਾ ਭੰਡਾਰ ਬਣਾਉਂਦੀ ਅਤੇ ਸੰਭਾਲਦੀ ਹੈ, ਜੋ ਹਰ ਕਿਸੇ ਲਈ ਮੁਫ਼ਤ ਉਪਲਬਧ ਹੈ। CCBot ਉਹ ਡਾਟਾ ਇਕੱਠਾ ਕਰਦਾ ਹੈ। Common Crawl ਕਹਿੰਦਾ ਹੈ ਕਿ ਇਹ ਪੰਨਾ ਲਿਆਉਣ ਤੋਂ ਪਹਿਲਾਂ robots.txt ਜਾਂਚਦਾ ਹੈ, Crawl-delay ਦੀ ਪਾਲਣਾ ਕਰਦਾ ਹੈ, ਅਤੇ JavaScript ਨਹੀਂ ਚਲਾਉਂਦਾ।

ਇਸਨੂੰ ਬਲੌਕ ਕਰਨ ਲਈ Common Crawl CCBot ਟੋਕਨ ਲਈ Disallow: / ਵਾਲਾ robots.txt ਗਰੁੱਪ ਦੱਸਦਾ ਹੈ। ਇਸਦੀ ਥਾਂ ਇਸਨੂੰ ਹੌਲਾ ਕਰਨ ਲਈ, ਇਹ ਉਸੇ ਗਰੁੱਪ ਵਿੱਚ Crawl-delay ਲਾਈਨ ਦਾ ਸੁਝਾਅ ਦਿੰਦਾ ਹੈ।

ਸਾਡੇ 2026-11 ਦੇ ਅਧਿਐਨ ਵਿੱਚ, robots.txt ਵਾਲੀਆਂ ਪ੍ਰਸਿੱਧ ਸਾਈਟਾਂ ਵਿੱਚੋਂ 24.1% ਨੇ ਇਸਨੂੰ ਬਲੌਕ ਕੀਤਾ। →

robots.txt ਟੋਕਨ

CCBot

ਯੂਜ਼ਰ ਏਜੰਟ string

CCBot/2.0 (https://commoncrawl.org/faq/)

ਅਸਲ ਫੇਰੀਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਿਵੇਂ ਕਰੀਏ

Common Crawl CCBot ਨੂੰ reverse DNS ਵਾਲੀਆਂ ਸਮਰਪਿਤ IP ਰੇਂਜਾਂ 'ਤੇ ਚਲਾਉਂਦਾ ਹੈ, ਇਸ ਲਈ ਤੁਸੀਂ ਜਾਂਚ ਸਕਦੇ ਹੋ ਕਿ ਲੌਗ ਵਿਚਲੀ ਬੇਨਤੀ ਅਸਲ CCBot ਤੋਂ ਆਈ ਹੈ ਜਾਂ ਨਹੀਂ। ਇਹ IPv4 ਅਤੇ IPv6 ਰੇਂਜਾਂ JSON ਵਜੋਂ ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦਾ ਹੈ ਅਤੇ ਚੇਤਾਵਨੀ ਦਿੰਦਾ ਹੈ ਕਿ ਹੋਰ ਕ੍ਰੌਲਰ ਆਪਣੇ-ਆਪ ਨੂੰ ਝੂਠਾ CCBot ਦੱਸਦੇ ਹਨ।

ਜਾਂਚੋ ਕਿ ਕੀ ਤੁਹਾਡੀ ਸਾਈਟ ਇਸਨੂੰ ਅੰਦਰ ਆਉਣ ਦਿੰਦੀ ਹੈ →

AI ਕ੍ਰੌਲਰਾਂ ਲਈ robots.txt: ਕਿਸਨੂੰ ਇਜਾਜ਼ਤ ਦੇਣੀ ਹੈ, ਕਿਸਨੂੰ ਬਲੌਕ ਕਰਨਾ ਹੈ →