CCBot
CCBot-ը Common Crawl-ի ռոբոտն է. դա ոչ առևտրային կազմակերպություն է, որը պահպանում է վեբ շրջանցման տվյալների անվճար, բաց պահոց։ Արխիվը լայնորեն օգտագործում են հետազոտողներն ու AI մշակողները, ուստի CCBot-ն արգելափակելը հիմնականում ուսուցման որոշում է։ Այն ուղղակիորեն չի ազդում որևէ որոնողական համակարգի կամ AI որոնման արտադրանքի վրա։
Ինչպես թույլատրել
User-agent: CCBot
Allow: / Ինչպես արգելափակել
User-agent: CCBot
Disallow: / Ինչ է անում
Common Crawl-ը ոչ առևտրային կազմակերպություն է, որը ստեղծում և պահպանում է վեբ շրջանցման տվյալների բաց պահոց, որը հասանելի է բոլորին անվճար։ CCBot-ը հավաքում է այդ տվյալները։ Common Crawl-ն ասում է, որ էջը բեռնելուց առաջ ստուգում է robots.txt-ը, հետևում է Crawl-delay-ին և JavaScript չի կատարում։
Այն արգելափակելու համար Common Crawl-ը նկարագրում է robots.txt խումբ CCBot նշանի համար՝ Disallow: / տողով։ Իսկ այն դանդաղեցնելու համար առաջարկում է Crawl-delay տող նույն խմբում։
Մեր 2026-11-ի ուսումնասիրության մեջ robots.txt ունեցող հայտնի կայքերի 24.1%-ն արգելափակել է այն։ →
robots.txt նշան
CCBot
User-agent տող
CCBot/2.0 (https://commoncrawl.org/faq/) Ինչպես ստուգել իրական այցելությունները
Common Crawl-ը CCBot-ը գործարկում է հատուկ IP տիրույթներից՝ հակադարձ DNS-ով, ուստի կարող եք ստուգել, արդյոք լոգում գրանցված հարցումը եկել է իրական CCBot-ից։ Այն հրապարակում է IPv4 և IPv6 տիրույթները JSON ձևաչափով և զգուշացնում, որ այլ ռոբոտներ կեղծ կերպով ներկայանում են որպես CCBot։
Ստուգեք, արդյոք ձեր կայքը թույլ է տալիս նրան →
robots.txt AI ռոբոտների համար. ինչ թույլատրել, ինչ արգելափակել →