CCBot
Common Crawl · AI 학습
CCBot은 무료로 공개된 웹 크롤링 데이터 저장소를 운영하는 비영리 단체 Common Crawl의 크롤러입니다. 이 아카이브는 연구자와 AI 개발자가 널리 쓰므로, CCBot을 차단하는 것은 주로 학습에 관한 결정입니다. 어떤 검색 엔진이나 AI 검색 제품에도 직접 영향을 주지 않습니다.
하는 일
Common Crawl은 누구나 무료로 이용할 수 있는 웹 크롤링 데이터의 공개 저장소를 만들고 운영하는 비영리 단체입니다. CCBot이 그 데이터를 수집합니다. Common Crawl은 페이지를 가져오기 전에 robots.txt를 확인하고, Crawl-delay를 준수하며, JavaScript를 실행하지 않는다고 밝힙니다.
차단하려면 Common Crawl은 CCBot 토큰의 robots.txt 그룹에 Disallow: /를 넣는 방법을 문서화합니다. 차단 대신 속도를 늦추려면 같은 그룹에 Crawl-delay 줄을 넣을 것을 제안합니다.
2026-11 조사에서 robots.txt가 있는 인기 사이트의 24.1%가 이 크롤러를 차단했습니다. →
robots.txt 토큰
CCBot
사용자 에이전트 문자열
CCBot/2.0 (https://commoncrawl.org/faq/)허용하는 방법
User-agent: CCBot
Allow: /차단하는 방법
User-agent: CCBot
Disallow: /실제 방문인지 확인하는 방법
Common Crawl은 전용 IP 대역과 역방향 DNS로 CCBot을 운영하므로, 기록된 요청이 진짜 CCBot에서 왔는지 확인할 수 있습니다. IPv4와 IPv6 대역을 JSON으로 공개하며, 다른 크롤러가 CCBot이라고 허위로 밝히는 경우가 있다고 경고합니다.