CCBot

Common Crawl · AI ուսուցում

CCBot-ը Common Crawl-ի ռոբոտն է. դա ոչ առևտրային կազմակերպություն է, որը պահպանում է վեբ շրջանցման տվյալների անվճար, բաց պահոց։ Արխիվը լայնորեն օգտագործում են հետազոտողներն ու AI մշակողները, ուստի CCBot-ն արգելափակելը հիմնականում ուսուցման որոշում է։ Այն ուղղակիորեն չի ազդում որևէ որոնողական համակարգի կամ AI որոնման արտադրանքի վրա։

Ինչպես թույլատրել

User-agent: CCBot
Allow: /

Ինչպես արգելափակել

User-agent: CCBot
Disallow: /

Ինչ է անում

Common Crawl-ը ոչ առևտրային կազմակերպություն է, որը ստեղծում և պահպանում է վեբ շրջանցման տվյալների բաց պահոց, որը հասանելի է բոլորին անվճար։ CCBot-ը հավաքում է այդ տվյալները։ Common Crawl-ն ասում է, որ էջը բեռնելուց առաջ ստուգում է robots.txt-ը, հետևում է Crawl-delay-ին և JavaScript չի կատարում։

Այն արգելափակելու համար Common Crawl-ը նկարագրում է robots.txt խումբ CCBot նշանի համար՝ Disallow: / տողով։ Իսկ այն դանդաղեցնելու համար առաջարկում է Crawl-delay տող նույն խմբում։

Մեր 2026-11-ի ուսումնասիրության մեջ robots.txt ունեցող հայտնի կայքերի 24.1%-ն արգելափակել է այն։ →

robots.txt նշան

CCBot

User-agent տող

CCBot/2.0 (https://commoncrawl.org/faq/)

Ինչպես ստուգել իրական այցելությունները

Common Crawl-ը CCBot-ը գործարկում է հատուկ IP տիրույթներից՝ հակադարձ DNS-ով, ուստի կարող եք ստուգել, արդյոք լոգում գրանցված հարցումը եկել է իրական CCBot-ից։ Այն հրապարակում է IPv4 և IPv6 տիրույթները JSON ձևաչափով և զգուշացնում, որ այլ ռոբոտներ կեղծ կերպով ներկայանում են որպես CCBot։

Ստուգեք, արդյոք ձեր կայքը թույլ է տալիս նրան →

robots.txt AI ռոբոտների համար. ինչ թույլատրել, ինչ արգելափակել →