איך לקרוא את דוח AI Crawl Control של Cloudflare ולראות אילו סורקי AI נכנסים

פורסם

תשובה קצרה

פתחו את AI Crawl Control בלוח הבקרה של Cloudflare: רשימת הסורקים מציגה כל סורק AI ש-Cloudflare ראתה בדומיין שלכם, את הבקשות שלו, את ההפרות שלו של robots.txt ואם הפעולה שלו היא Allow או Block. כדי להישאר בחיפוש AI ולסרב לאימון, התירו סורקי חיפוש וסוכנים, וחסמו או אסרו ב-robots.txt סורקי אימון, שם או תחת AI Crawler and Agent access policies. אחר כך ודאו מבחוץ עם curl, כי תכונות אחרות של Cloudflare עדיין יכולות לחסום סורק שהתרתם.

ב-Cloudflare יש היום שני מקומות שקובעים מה סורקי AI מקבלים: AI Crawl Control, הדוח ולוח המתגים לפי סורק שנקרא בעבר AI Audit, ו-AI Crawler and Agent access policies ברמת האזור כולו, תחת הגדרות האבטחה. שניהם זמינים במסלול החינמי, שניהם השתנו במהלך 2026, ואף אחד מהם לא מספר לכם על כל שאר התכונות שעדיין יכולות לענות לסורק ב-403. המדריך הזה עובר על הדוח עמודה אחר עמודה, מראה איפה מגדירים התרה וחסימה, ומסתיים בבדיקה שאפשר להריץ מהמחשב שלכם.

בעמוד זה
  1. איפה נמצא דוח סורקי ה-AI ב-Cloudflare?
  2. מה המשמעות של כל עמודה ומדד בדוח AI Crawl Control?
  3. איך מתירים סורקי חיפוש של AI וחוסמים סורקי אימון ב-Cloudflare?
  4. מה השתנה בברירות המחדל של Cloudflare לסורקי AI?
  5. למה Cloudflare עדיין חוסם סורקי AI אחרי שהתרתי אותם?
  6. איך מוודאים מבחוץ אילו סורקי AI ש-Cloudflare מכניסה?
  7. איך AISeeWhy בודק מה Cloudflare שולחת לסורקי AI?

איפה נמצא דוח סורקי ה-AI ב-Cloudflare?

בלוח הבקרה בחרו את החשבון והדומיין, ואז פתחו את AI Crawl Control. Cloudflare אומרת שהוא עובד בלי הגדרות וזמין בכל המסלולים, כל עוד התנועה של הדומיין עוברת דרך ה-proxy של Cloudflare. יש בו ארבעה אזורים:

שתי מגבלות של מסלולים חשובות כשקוראים את המספרים. במסלול החינמי, AI Crawl Control מזהה סורקים רק לפי מחרוזת ה-user agent, כך שהוא רואה סורקים שמזדהים ותו לא, ולשונית Metrics מכסה את 24 השעות האחרונות. מסלולים בתשלום מוסיפים זיהוי דרך מזהה הזיהוי של Bot Management, ו-Enterprise עם Bot Management מקבל טווחי זמן ניתנים להגדרה.

מה המשמעות של כל עמודה ומדד בדוח AI Crawl Control?

Cloudflare מתעדת את השדות כך. ההגדרות חשובות, כי כמה מספרים סופרים יותר ממה שאולי הייתם מצפים.

קראו את הדוח מתוך הפעולה שבחרתם. סורק שמוגדר Allow אמור להציג בעיקר בקשות מותרות וקודי 2xx. אם הוא מציג הרבה בקשות שלא הצליחו, פתחו את התפלגות קודי הסטטוס מסוננת לסורק הזה, ובדקו ב-Security Analytics כדי למצוא את הכלל שענה.

איך מתירים סורקי חיפוש של AI וחוסמים סורקי אימון ב-Cloudflare?

אפשר לעשות את זה לפי סורק או לפי התנהגות. לפי סורק, פתחו את AI Crawl Control והגדירו את ה-Action בכל שורה. Cloudflare אומרת שחסימה שם יוצרת או מעדכנת כלל WAF מותאם אישית באזור שלכם, שאפשר להרחיב ב-WAF עם חריגים לנתיבים. במסלולים בתשלום אפשר לבחור אם סורקים חסומים יקבלו 403 או 402 ולהגדיר גוף תגובה בטקסט רגיל.

לפי התנהגות, היכנסו ל-Security, ואז ל-Settings, סננו לפי Bot traffic ופתחו את AI Crawler and Agent access policies. Cloudflare ממיינת תנועת AI לשלוש התנהגויות, וכל מדיניות חלה על בוטים מאומתים עם ההתנהגות הזאת ועל בוטים לא מאומתים תואמים:

כל התנהגות אפשר להגדיר כ-Block, Block on pages with ads או Allow (do not block). ל-Training יש גם Disallow, שרק מבקש מסורקים דרך robots.txt. כש-Bot Preference Sync פעיל, Cloudflare מוסיפה בראש ה-robots.txt שלכם כללים מנוהלים שאוסרים את Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, Google-Extended, GPTBot ו-meta-externalagent, מוסיפה שורת Content Signals, וגם חוסמת סורקי אימון של AI ב-edge, מלבד סורקים שמשמשים גם לחיפוש וגם לאימון.

לרוב האתרים שרוצים ציטוטים ב-AI, השילוב הבטוח הוא Search ו-Agent על Allow ו-Training על Disallow, ואז פעולות Block נפרדות ב-AI Crawl Control לסורקי אימון בלבד שאתם רוצים לעצור ב-edge.

מה השתנה בברירות המחדל של Cloudflare לסורקי AI?

ב-1 ביולי 2025 Cloudflare הודיעה שהיא משנה את ברירת המחדל לחסימת סורקי AI, אלא אם הם משלמים ליוצרים. ב-1 ביולי 2026 היא החליפה את המתג היחיד Block AI bots במדיניות הנפרדת של Search, Agent ו-Training שתוארה למעלה, בכל המסלולים כולל החינמי. באותה הודעה נאמר שבדומיינים חדשים שמצטרפים מ-15 בספטמבר 2026, Training ו-Agent ייחסמו בעמודים שמציגים פרסומות, ו-Search יהיה מותר.

תיעוד המדיניות הנוכחי של Cloudflare, שעודכן לאחרונה ב-2 בנובמבר 2026, אומר שבדומיינים חדשים ברירת המחדל היא Allow (do not block) לכל שלוש ההתנהגויות. מכיוון שהעמודים של Cloudflare עצמה תיארו ברירות מחדל שונות בזמנים שונים, אל תסתמכו על אף אחד מהם עבור האזור שלכם: פתחו את עמוד המדיניות וקראו מה מוגדר.

למה Cloudflare עדיין חוסם סורקי AI אחרי שהתרתי אותם?

פעולת Allow ב-AI Crawl Control רק מונעת מ-AI Crawl Control לחסום. תכונות אחרות עדיין פועלות על הבקשה. סיבות נפוצות:

איך מוודאים מבחוץ אילו סורקי AI ש-Cloudflare מכניסה?

בקשו את אותו עמוד עם user agent של דפדפן ועם ה-user agent של כל סורק, ואז השוו סטטוס וגודל. המחרוזות של OpenAI, Perplexity ו-Google שלמטה הן אלה שהחברות האלה מפרסמות.

URL=https://example.com/
check() { printf '%-16s %s\n' "$1" "$(curl -s -o /dev/null -w '%{http_code} %{size_download} bytes' -A "$2" "$URL")"; }

check browser       "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"
check GPTBot        "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot"
check OAI-SearchBot "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"
check PerplexityBot "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"
# Anthropic publishes the token, not a full user agent string
check ClaudeBot     "Mozilla/5.0 (compatible; ClaudeBot)"
check Googlebot     "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

שורת סורק עם 403, 429 או 503, או גודל קטן בהרבה משורת הדפדפן, פירושה שמשהו שלפני שרת המקור ענה אחרת. במסלול החינמי, AI Crawl Control מזהה סורקים לפי user agent, כך שהבדיקה הזאת היא בדיקה סבירה של החסימות שלו. כללים שמבוססים על סטטוס של בוט מאומת או על ציוני בוט עשויים להתייחס לבקשה שלכם אחרת מאשר לסורק האמיתי, כי היא מגיעה מכתובת ה-IP שלכם ולא מהטווחים שהמפעיל מפרסם. אחרי הבדיקה, חפשו את הבקשות שלכם ב-Security Analytics כדי לראות איזה כלל התאים.

איך AISeeWhy בודק מה Cloudflare שולחת לסורקי AI?

הבדיקה החינמית של AISeeWhy מבקשת את העמוד שלכם בתור 16 סורקי AI וחיפוש לצד דפדפן אמיתי, מחילה את ה-robots.txt שלכם על כל סורק ומזהה עמודי אתגר של חומות אש, כך שאפשר לראות אם התוצאה בלוח הבקרה של Cloudflare תואמת את מה שסורקים מקבלים בפועל.

תיקונים לבעיה הזו

כלים חינמיים

הצעדים הבאים

הסורקים במאמר הזה

שאלות נפוצות

האם Cloudflare AI Crawl Control חינמי?

כן. Cloudflare מציינת ש-AI Crawl Control זמין בכל המסלולים. המסלול החינמי מזהה סורקים לפי user agent בלבד ומציג ב-Metrics את 24 השעות האחרונות; נתוני הפניות ותגובות חסימה מותאמות דורשים מסלול בתשלום.

מה קרה ל-Cloudflare AI Audit?

השם שלו שונה. התיעוד של Cloudflare מתאר את AI Crawl Control כמי שנקרא בעבר AI Audit, עם אותה מטרה: לראות אילו סורקי AI מבקרים ולהגדיר פעולה לכל אחד.

האם חסימת סורק ב-AI Crawl Control משנה את ה-robots.txt שלי?

לא. פעולת Block יוצרת או מעדכנת כלל WAF מותאם. robots.txt משתנה רק אם משתמשים באפשרות Disallow של Training עם Bot Preference Sync, שמוסיפה את הכללים המנוהלים של Cloudflare בראש הקובץ שלכם.

מה נחשב הפרה של robots.txt ב-Cloudflare?

בקשה של סורק AI לנתיב שה-robots.txt שלכם אוסר. Cloudflare משווה בקשות עבר לכללים הנוכחיים שלכם, כך שכלל חדש יכול לסמן בקשות ישנות שהיו מותרות באותו זמן.

מה זה pay per crawl?

פעולת Charge שמבקשת מסורקי AI לשלם לפי בקשה, ואחרת עונה ב-HTTP 402 עם מחיר. Cloudflare מתארת אותה כבטא סגורה, וחסימות של WAF או Bot Management קודמות לה.

מקורות

מאמרים נוספים