CCBot
CCBot הוא הסורק של Common Crawl, ארגון ללא מטרות רווח שמתחזק מאגר חופשי ופתוח של נתוני סריקת אינטרנט. חוקרים ומפתחי AI משתמשים בארכיון הזה בהרחבה, ולכן חסימת CCBot היא בעיקר החלטה לגבי אימון. היא אינה משפיעה ישירות על אף מנוע חיפוש או מוצר חיפוש מבוסס AI.
מה הוא עושה
Common Crawl הוא ארגון ללא מטרות רווח שמפיק ומתחזק מאגר פתוח של נתוני סריקת אינטרנט, זמין לכולם ללא עלות. CCBot אוסף את הנתונים האלה. Common Crawl מציין שהוא בודק את robots.txt לפני משיכת דף, מציית ל-Crawl-delay ואינו מריץ JavaScript.
כדי לחסום אותו, Common Crawl מתעד קבוצת robots.txt עבור האסימון CCBot עם Disallow: /. כדי להאט אותו במקום לחסום, הוא מציע שורת Crawl-delay באותה קבוצה.
במחקר שלנו מ2026-11, 24.1% מהאתרים הפופולריים שיש להם robots.txt חסמו אותו. →
אסימון robots.txt
CCBot
מחרוזת user agent
CCBot/2.0 (https://commoncrawl.org/faq/)איך לאפשר אותו
User-agent: CCBot
Allow: /איך לחסום אותו
User-agent: CCBot
Disallow: /איך לאמת ביקורים אמיתיים
Common Crawl מפעיל את CCBot בטווחי IP ייעודיים עם DNS הפוך, כך שאפשר לבדוק אם בקשה שנרשמה ביומן הגיעה מ-CCBot האמיתי. הוא מפרסם את טווחי IPv4 ו-IPv6 כקובץ JSON ומזהיר שסורקים אחרים מציגים את עצמם בשקר כ-CCBot.