CCBot
CCBot એ Common Crawlનો ક્રૉલર છે. Common Crawl એક બિનનફાકારી સંસ્થા છે, જે વેબ ક્રૉલ ડેટાનો મફત, ખુલ્લો ભંડાર જાળવે છે. સંશોધકો અને AI ડેવલપર આ આર્કાઇવનો વ્યાપક ઉપયોગ કરે છે, તેથી CCBotને બ્લૉક કરવો મુખ્યત્વે ટ્રેનિંગનો નિર્ણય છે. તે કોઈ સર્ચ એન્જિન કે AI સર્ચ પ્રોડક્ટને સીધી અસર કરતું નથી.
તેને કેવી રીતે આવવા દેવો
User-agent: CCBot
Allow: / તેને કેવી રીતે બ્લૉક કરવો
User-agent: CCBot
Disallow: / તે શું કરે છે
Common Crawl એક બિનનફાકારી સંસ્થા છે, જે વેબ ક્રૉલ ડેટાનો ખુલ્લો ભંડાર બનાવે અને જાળવે છે, જે કોઈપણ વ્યક્તિ માટે મફત ઉપલબ્ધ છે. CCBot એ ડેટા ભેગો કરે છે. Common Crawl કહે છે કે તે પેજ મેળવતાં પહેલાં robots.txt તપાસે છે, Crawl-delayનું પાલન કરે છે અને JavaScript ચલાવતો નથી.
તેને બ્લૉક કરવા, Common Crawl CCBot ટોકન માટે Disallow: / સાથેનો robots.txt ગ્રૂપ દસ્તાવેજિત કરે છે. તેને બદલે ધીમો કરવા, તે એ જ ગ્રૂપમાં Crawl-delay લાઇન સૂચવે છે.
અમારા 2026-11ના અભ્યાસમાં, robots.txt ધરાવતી લોકપ્રિય સાઇટમાંથી 24.1% સાઇટે તેને બ્લૉક કર્યો હતો. →
robots.txt ટોકન
CCBot
યુઝર-એજન્ટ સ્ટ્રિંગ
CCBot/2.0 (https://commoncrawl.org/faq/) સાચી મુલાકાતો કેવી રીતે ચકાસવી
Common Crawl CCBotને reverse DNS સાથેની સમર્પિત IP રેન્જ પર ચલાવે છે, તેથી તમે તપાસી શકો છો કે લૉગમાંની વિનંતી સાચા CCBot પરથી આવી છે કે નહીં. તે IPv4 અને IPv6 રેન્જ JSON તરીકે પ્રકાશિત કરે છે અને ચેતવે છે કે બીજા ક્રૉલર પોતાને ખોટી રીતે CCBot તરીકે ઓળખાવે છે.
તપાસો કે તમારી સાઇટ તેને આવવા દે છે કે નહીં →
AI ક્રૉલર માટે robots.txt: શું મંજૂર કરવું, શું બ્લૉક કરવું →