איך לקרוא את דוח AI Crawl Control של Cloudflare ולראות אילו סורקי AI נכנסים
פתחו את AI Crawl Control בלוח הבקרה של Cloudflare: רשימת הסורקים מציגה כל סורק AI ש-Cloudflare ראתה בדומיין שלכם, את הבקשות שלו, את ההפרות שלו של robots.txt ואם הפעולה שלו היא Allow או Block. כדי להישאר בחיפוש AI ולסרב לאימון, התירו סורקי חיפוש וסוכנים, וחסמו או אסרו ב-robots.txt סורקי אימון, שם או תחת AI Crawler and Agent access policies. אחר כך ודאו מבחוץ עם curl, כי תכונות אחרות של Cloudflare עדיין יכולות לחסום סורק שהתרתם.
ב-Cloudflare יש היום שני מקומות שקובעים מה סורקי AI מקבלים: AI Crawl Control, הדוח ולוח המתגים לפי סורק שנקרא בעבר AI Audit, ו-AI Crawler and Agent access policies ברמת האזור כולו, תחת הגדרות האבטחה. שניהם זמינים במסלול החינמי, שניהם השתנו במהלך 2026, ואף אחד מהם לא מספר לכם על כל שאר התכונות שעדיין יכולות לענות לסורק ב-403. המדריך הזה עובר על הדוח עמודה אחר עמודה, מראה איפה מגדירים התרה וחסימה, ומסתיים בבדיקה שאפשר להריץ מהמחשב שלכם.
בעמוד זה
- איפה נמצא דוח סורקי ה-AI ב-Cloudflare?
- מה המשמעות של כל עמודה ומדד בדוח AI Crawl Control?
- איך מתירים סורקי חיפוש של AI וחוסמים סורקי אימון ב-Cloudflare?
- מה השתנה בברירות המחדל של Cloudflare לסורקי AI?
- למה Cloudflare עדיין חוסם סורקי AI אחרי שהתרתי אותם?
- איך מוודאים מבחוץ אילו סורקי AI ש-Cloudflare מכניסה?
- איך AISeeWhy בודק מה Cloudflare שולחת לסורקי AI?
איפה נמצא דוח סורקי ה-AI ב-Cloudflare?
בלוח הבקרה בחרו את החשבון והדומיין, ואז פתחו את AI Crawl Control. Cloudflare אומרת שהוא עובד בלי הגדרות וזמין בכל המסלולים, כל עוד התנועה של הדומיין עוברת דרך ה-proxy של Cloudflare. יש בו ארבעה אזורים:
- Overview: תקציר מנהלים עם סך הבקשות, השינוי בנפח, קוד הסטטוס הנפוץ ביותר, הנתיב הפופולרי ביותר וסורקים בנפח גבוה, וכן אם robots.txt המנוהל של Cloudflare פעיל, וסורקים מקובצים לפי מפעיל כמו OpenAI, Microsoft, Google, ByteDance, Anthropic ו-Meta.
- רשימת הסורקים: שורה לכל סורק AI, עם עמודת Action שבה בוחרים Allow או Block. התיעוד של Cloudflare קורא ללשונית הזאת Crawlers בעמוד אחד ו-Security בעמוד אחר, אז חפשו את הטבלה עם עמודת Action.
- Metrics: בקשות לאורך זמן, התפלגות קודי סטטוס, פורמט תוכן, הנתיבים הפופולריים ביותר, ובמסלולים בתשלום גם הפניות. המסננים כוללים טווח תאריכים, סורק, מפעיל, שם מארח ונתיב, ואפשר לייצא CSV.
- Directives: מצב קובץ ה-robots.txt שלכם ורשימת ההפרות של robots.txt.
שתי מגבלות של מסלולים חשובות כשקוראים את המספרים. במסלול החינמי, AI Crawl Control מזהה סורקים רק לפי מחרוזת ה-user agent, כך שהוא רואה סורקים שמזדהים ותו לא, ולשונית Metrics מכסה את 24 השעות האחרונות. מסלולים בתשלום מוסיפים זיהוי דרך מזהה הזיהוי של Bot Management, ו-Enterprise עם Bot Management מקבל טווחי זמן ניתנים להגדרה.
מה המשמעות של כל עמודה ומדד בדוח AI Crawl Control?
Cloudflare מתעדת את השדות כך. ההגדרות חשובות, כי כמה מספרים סופרים יותר ממה שאולי הייתם מצפים.
- Crawler ו-Category: שם הסורק, המפעיל שלו והקטגוריה שלו, כמו סורק AI, עוזר AI או ארכיון.
- Requests: בקשות מותרות ועוד בקשות שלא הצליחו, עם גרף מגמה. בקשות שלא הצליחו יכולות לנבוע מכל כלל או שגיאת תגובה, לא רק מחסימה של AI Crawl Control, כך שמספר גבוה אצל סורק שהתרתם מצביע על כלל אחר או על שגיאות בשרת המקור.
- Allowed requests: בקשות שקיבלו סטטוס בין 200 ל-299. העברת הנתונים נמדדת לפי הבייטים ש-Cloudflare שלחה לבקשות מותרות.
- Robots.txt violations: כמה פעמים הסורק ביקש נתיב שה-robots.txt שלכם אוסר. Cloudflare משווה בקשות עבר לכללים הנוכחיים שלכם, כך שכלל שתוסיפו היום יכול לסמן בקשות שהיו מותרות כשנעשו.
- Action: Allow, Block, או בחשבונות שבגרסת הבטא של pay per crawl, גם Charge.
- התפלגות קודי סטטוס: 2xx, 3xx, 4xx ו-5xx. קבוצת 4xx כוללת 403 מחסימות ו-402 מ-pay per crawl.
- Referrals ומפנים מובילים, במסלולים בתשלום בלבד: ביקורים שהגיעו משירותי AI, למשל מ-chatgpt.com, והעמודים שאליהם הגיעו.
קראו את הדוח מתוך הפעולה שבחרתם. סורק שמוגדר Allow אמור להציג בעיקר בקשות מותרות וקודי 2xx. אם הוא מציג הרבה בקשות שלא הצליחו, פתחו את התפלגות קודי הסטטוס מסוננת לסורק הזה, ובדקו ב-Security Analytics כדי למצוא את הכלל שענה.
איך מתירים סורקי חיפוש של AI וחוסמים סורקי אימון ב-Cloudflare?
אפשר לעשות את זה לפי סורק או לפי התנהגות. לפי סורק, פתחו את AI Crawl Control והגדירו את ה-Action בכל שורה. Cloudflare אומרת שחסימה שם יוצרת או מעדכנת כלל WAF מותאם אישית באזור שלכם, שאפשר להרחיב ב-WAF עם חריגים לנתיבים. במסלולים בתשלום אפשר לבחור אם סורקים חסומים יקבלו 403 או 402 ולהגדיר גוף תגובה בטקסט רגיל.
לפי התנהגות, היכנסו ל-Security, ואז ל-Settings, סננו לפי Bot traffic ופתחו את AI Crawler and Agent access policies. Cloudflare ממיינת תנועת AI לשלוש התנהגויות, וכל מדיניות חלה על בוטים מאומתים עם ההתנהגות הזאת ועל בוטים לא מאומתים תואמים:
- Search: איסוף או אינדוקס של תוכן כדי לענות על שאלות בהמשך.
- Agent: פעולה בזמן אמת בשם אדם, כמו הבאות בצ'אט וסוכני דפדפן.
- Training: איסוף תוכן לאימון או לכוונון של מודלים, כולל סורקים שמשמשים גם לאימון וגם לחיפוש.
כל התנהגות אפשר להגדיר כ-Block, Block on pages with ads או Allow (do not block). ל-Training יש גם Disallow, שרק מבקש מסורקים דרך robots.txt. כש-Bot Preference Sync פעיל, Cloudflare מוסיפה בראש ה-robots.txt שלכם כללים מנוהלים שאוסרים את Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ו-meta-externalagent, מוסיפה שורת Content Signals, וגם חוסמת סורקי אימון של AI ב-edge, מלבד סורקים שמשמשים גם לחיפוש וגם לאימון.
לרוב האתרים שרוצים ציטוטים ב-AI, השילוב הבטוח הוא Search ו-Agent על Allow ו-Training על Disallow, ואז פעולות Block נפרדות ב-AI Crawl Control לסורקי אימון בלבד שאתם רוצים לעצור ב-edge.
מה השתנה בברירות המחדל של Cloudflare לסורקי AI?
ב-1 ביולי 2025 Cloudflare הודיעה שהיא משנה את ברירת המחדל לחסימת סורקי AI, אלא אם הם משלמים ליוצרים. ב-1 ביולי 2026 היא החליפה את המתג היחיד Block AI bots במדיניות הנפרדת של Search, Agent ו-Training שתוארה למעלה, בכל המסלולים כולל החינמי. באותה הודעה נאמר שבדומיינים חדשים שמצטרפים מ-15 בספטמבר 2026, Training ו-Agent ייחסמו בעמודים שמציגים פרסומות, ו-Search יהיה מותר.
תיעוד המדיניות הנוכחי של Cloudflare, שעודכן לאחרונה ב-2 בנובמבר 2026, אומר שבדומיינים חדשים ברירת המחדל היא Allow (do not block) לכל שלוש ההתנהגויות. מכיוון שהעמודים של Cloudflare עצמה תיארו ברירות מחדל שונות בזמנים שונים, אל תסתמכו על אף אחד מהם עבור האזור שלכם: פתחו את עמוד המדיניות וקראו מה מוגדר.
למה Cloudflare עדיין חוסם סורקי AI אחרי שהתרתי אותם?
פעולת Allow ב-AI Crawl Control רק מונעת מ-AI Crawl Control לחסום. תכונות אחרות עדיין פועלות על הבקשה. סיבות נפוצות:
- חסימת Training חוסמת גם סורקי חיפוש שעושים את שני הדברים. התיעוד של Cloudflare אומר שפעולות Training חלות על סורקים רב-תכליתיים, וההודעה שלה מיולי 2026 מונה את Googlebot, Applebot ו-bingbot כסורקים שלקוחות שחוסמים Training יחסמו החל מ-15 בספטמבר 2026. Disallow היא הבחירה המצומצמת יותר, כי החסימה שלה ב-edge מדלגת על סורקים רב-תכליתיים.
- Bot Fight Mode פעיל. Cloudflare מציינת שאי אפשר לעקוף או לדלג על Bot Fight Mode באמצעות כללי WAF מותאמים או Page Rules. אם הוא מציב אתגר לסורק, כבו אותו, או במסלול שיש בו, השתמשו ב-Super Bot Fight Mode, שתומך בכללי דילוג.
- כלל WAF מותאם ישן חוסם user agents שמכילים
bot, או שכלל הגבלת קצב עונה להתפרצויות ב-429. הם רצים בלי קשר ל-Action ב-AI Crawl Control. - כלל החסימה נערך ידנית. אם כלל ה-WAF שמאחורי AI Crawl Control שונה לקוד תגובה אחר, לוח הבקרה כבר לא יכול לאכוף את הבחירה שלכם.
- robots.txt עדיין אוסר את הסורק. ה-Allow של Cloudflare לא משנה את ה-robots.txt שלכם, כך שסורק מנומס יתרחק בכל מקרה. במחקר שלנו על 1,000 הדומיינים הפופולריים ביותר, 98 מתוך 155 האתרים שחסמו סורק אימון של AI ב-robots.txt חסמו גם לפחות סורק חיפוש או סורק משתמש אחד של AI.
איך מוודאים מבחוץ אילו סורקי AI ש-Cloudflare מכניסה?
בקשו את אותו עמוד עם user agent של דפדפן ועם ה-user agent של כל סורק, ואז השוו סטטוס וגודל. המחרוזות של OpenAI, Perplexity ו-Google שלמטה הן אלה שהחברות האלה מפרסמות.
URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }
check browser "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" שורת סורק עם 403, 429 או 503, או גודל קטן בהרבה משורת הדפדפן, פירושה שמשהו שלפני שרת המקור ענה אחרת. במסלול החינמי, AI Crawl Control מזהה סורקים לפי user agent, כך שהבדיקה הזאת היא בדיקה סבירה של החסימות שלו. כללים שמבוססים על סטטוס של בוט מאומת או על ציוני בוט עשויים להתייחס לבקשה שלכם אחרת מאשר לסורק האמיתי, כי היא מגיעה מכתובת ה-IP שלכם ולא מהטווחים שהמפעיל מפרסם. אחרי הבדיקה, חפשו את הבקשות שלכם ב-Security Analytics כדי לראות איזה כלל התאים.
איך AISeeWhy בודק מה Cloudflare שולחת לסורקי AI?
הבדיקה החינמית של AISeeWhy מבקשת את העמוד שלכם בתור 16 סורקי AI וחיפוש לצד דפדפן אמיתי, מחילה את ה-robots.txt שלכם על כל סורק ומזהה עמודי אתגר של חומות אש, כך שאפשר לראות אם התוצאה בלוח הבקרה של Cloudflare תואמת את מה שסורקים מקבלים בפועל.
תיקונים לבעיה הזו
הצעדים הבאים
הסורקים במאמר הזה
שאלות נפוצות
האם Cloudflare AI Crawl Control חינמי?
כן. Cloudflare מציינת ש-AI Crawl Control זמין בכל המסלולים. המסלול החינמי מזהה סורקים לפי user agent בלבד ומציג ב-Metrics את 24 השעות האחרונות; נתוני הפניות ותגובות חסימה מותאמות דורשים מסלול בתשלום.
מה קרה ל-Cloudflare AI Audit?
השם שלו שונה. התיעוד של Cloudflare מתאר את AI Crawl Control כמי שנקרא בעבר AI Audit, עם אותה מטרה: לראות אילו סורקי AI מבקרים ולהגדיר פעולה לכל אחד.
האם חסימת סורק ב-AI Crawl Control משנה את ה-robots.txt שלי?
לא. פעולת Block יוצרת או מעדכנת כלל WAF מותאם. robots.txt משתנה רק אם משתמשים באפשרות Disallow של Training עם Bot Preference Sync, שמוסיפה את הכללים המנוהלים של Cloudflare בראש הקובץ שלכם.
מה נחשב הפרה של robots.txt ב-Cloudflare?
בקשה של סורק AI לנתיב שה-robots.txt שלכם אוסר. Cloudflare משווה בקשות עבר לכללים הנוכחיים שלכם, כך שכלל חדש יכול לסמן בקשות ישנות שהיו מותרות באותו זמן.
מה זה pay per crawl?
פעולת Charge שמבקשת מסורקי AI לשלם לפי בקשה, ואחרת עונה ב-HTTP 402 עם מחיר. Cloudflare מתארת אותה כבטא סגורה, וחסימות של WAF או Bot Management קודמות לה.
מקורות
- Cloudflare: AI Crawl Control
- Cloudflare: Get started with AI Crawl Control
- Cloudflare: Manage AI crawlers
- Cloudflare: Analyze AI traffic
- Cloudflare: Track robots.txt
- Cloudflare: What is pay per crawl
- Cloudflare: AI Crawler and Agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Verified bots
- Cloudflare changelog: New options to manage AI traffic
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare blog: Content Independence Day: no AI crawl without compensation
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers
- AISeeWhy: דוח גישת סורקי AI, 2026-11