האם Cloudflare חוסם סורקי AI? איך לגלות ואיך לתקן

פורסם 2026-11-12

תשובה קצרה

Cloudflare וחומות אש אחרות יכולות לענות לסורקי AI בקוד 403, ב-429 או בעמוד האתגר ״Just a moment...״, בזמן שדפדפנים מקבלים את העמוד האמיתי, גם כש-robots.txt מתיר את הסורק. בודקים על ידי בקשת העמוד עם ה-user agent של הסורק, ואז מתירים סורקי חיפוש של AI ב-AI Crawl Control או בכלל דילוג ב-WAF.

ההגנה מבוטים קיימת כדי לעצור גרידה והתעללות, והיא טובה בכך. הבעיה היא שסורקי חיפוש של AI הם גם בוטים. הגדרת אבטחה שהופעלה לפני שנים, הגבלת קצב, או כלל רחב נגד user agents לא מוכרים יכולים להשאיר בשקט בחוץ את הסורקים שמצטטים אתכם, בזמן שהביקורים שלכם נראים תקינים לגמרי.

בעמוד זה

למה חומת אש תחסום סורקי AI?
איך מבחינים בין חסימת חומת אש לחסימת robots.txt?
איך מתירים סורקי חיפוש של AI ב-Cloudflare?
ומה לגבי Bot Fight Mode?
אילו סורקים כדאי להכניס?
איך AISeeWhy מזהה חסימות של חומת אש?

למה חומת אש תחסום סורקי AI?

חומת אש שופטת כל בקשה. סורק לא מריץ אתגרי JavaScript, לא שומר עוגיות כמו דפדפן ולעיתים קרובות מבקש הרבה עמודים ברצף, ולכן הוא יכול להיראות בדיוק כמו התנועה שההגנה מבוטים נועדה לעצור. סיבות נפוצות:

יכולות הגנה מבוטים שמאתגרות תנועה שתואמת דפוסי בוטים מוכרים. למשל, Bot Fight Mode של Cloudflare מנפיק לבוטים אתגרים יקרים חישובית.
כללי WAF מותאמים אישית שחוסמים או מאתגרים user agents שמכילים מילים כמו ״bot״ או ״crawler״, או שמתירים רק רשימה קצרה של מנועי חיפוש.
הגדרות שחוסמות סורקי AI כקטגוריה. Cloudflare מאפשרת להגדיר מדיניות לסורקי Search, Agent ו-Training, והגדרת Block שם חלה על כולם.
הגבלת קצב שעונה ב-429 לרצף מהיר של בקשות מסורק.
חסימות לפי מדינה או ASN שבמקרה מכסות את הרשתות שמהן הסורקים פועלים.

איך מבחינים בין חסימת חומת אש לחסימת robots.txt?

חסימת robots.txt היא בקשה מנומסת: הסורק קורא את הכללים שלכם ולא מביא את העמוד. חסימת חומת אש היא תשובה: הסורק מבקש את העמוד ומקבל משהו אחר. את הסוג השני אפשר לראות ישירות. מבקשים את העמוד פעמיים, פעם עם user agent של דפדפן ופעם עם זה של הסורק, ומשווים.

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

סימנים לחסימת חומת אש: סטטוס 403, 429 או 503 לסורק בלבד; עמוד שכותרתו Just a moment... או Attention Required! | Cloudflare; תוכן שמכיל /cdn-cgi/challenge-platform; או תגובת 200 קצרה בהרבה מזו של הדפדפן. זכרו שהבדיקה יוצאת מכתובת ה-IP שלכם ולא מטווח ה-IP המאומת של הסורק, ולכן היא מראה איך חומת האש מתייחסת ל-user agent ולא כל פרט ביחס לסורק האמיתי.

איך מתירים סורקי חיפוש של AI ב-Cloudflare?

AI Crawl Control של Cloudflare, הזמין בכל התוכניות, מציג את סורקי ה-AI שמבקרים בדומיין שלכם ומאפשר לקבוע פעולה לכל אחד. בלוח הבקרה פותחים את AI Crawl Control, עוברים לרשימת Crawlers ובוחרים Allow או Block בעמודה Action לכל סורק. Cloudflare מציינת שחסימה שם יוצרת או מעדכנת כלל WAF מותאם אישית באזור (zone) שלכם.

אם מי שחוסם את הסורק הוא כלל WAF מותאם אישית, Super Bot Fight Mode או הגבלת קצב, מוסיפים כלל מותאם שמדלג על היכולות האלה עבור בוטים מאומתים ועבור הטוקן של הסורק:

Security → WAF → Custom rules → Create rule
  Expression: (cf.client.bot) or (http.user_agent contains "OAI-SearchBot")
  Action: Skip → All remaining custom rules, Super Bot Fight Mode, Rate limiting
Also: AI Crawl Control → OAI-SearchBot → Allow

מקמו את הכלל ראשון. שימו לב שהתאמה לפי user agent מכניסה גם כל מי שמזייף את ה-user agent הזה. כשאפשר, העדיפו את השדה של בוט מאומת (cf.client.bot) או את טווחי ה-IP שהספק מפרסם.

ומה לגבי Bot Fight Mode?

התיעוד של Cloudflare מציין במפורש שאי אפשר לעקוף או לדלג על Bot Fight Mode עם כללי WAF מותאמים אישית או Page Rules. אם זו היכולת שמאתגרת סורקים, כלל דילוג לא יעזור. האפשרויות: לכבות את Bot Fight Mode, או להשתמש ב-Super Bot Fight Mode בתוכנית שכוללת אותו, שרץ על Ruleset Engine ותומך בכללי דילוג.

אילו סורקים כדאי להכניס?

הפרידו בין סורקים לפי מה שהם עושים. סורקי חיפוש וסורקי הבאה לפי משתמש קובעים אם תשובות AI יכולות למצוא אתכם ולצטט אתכם. סורקי אימון אוספים נתונים למודלים, וחסימה שלהם היא בחירה לגיטימית שלא מוציאה אתכם מחיפוש AI.

חיפוש: OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, bingbot, Applebot.
הבאה לפי משתמש: ChatGPT-User, Claude-User, Perplexity-User.
אימון: GPTBot, ClaudeBot, CCBot, meta-externalagent, Bytespider.

הגדרות המדיניות של Cloudflare עצמה משתמשות באותה חלוקה ל-Search, Agent ו-Training, כך שאפשר להתיר את השניים הראשונים ולהחליט בנפרד על השלישי. אם אתם משתמשים בחומת אש או CDN אחרים, העיקרון זהה: מוסיפים את הטוקן של הסורק לרשימת ההיתרים, מאומת לפי טווחי ה-IP שהספק מפרסם או לפי reverse DNS כשהוא קיים, כדי שיקבל את אותה תגובה שמקבל דפדפן.

איך AISeeWhy מזהה חסימות של חומת אש?

AISeeWhy מבקש את העמוד שלכם בתור 14 סורקים ודפדפן רגיל, משווה סטטוס, גודל והפניות, מזהה עמודי אתגר ומציין בשמה את חומת האש או ה-CDN שענו. כש-robots.txt מתיר סורק והשרת חוסם אותו, הדוח מציג את הסתירה ונותן את כלל Cloudflare או את צעד רשימת ההיתרים לתיקון.

שאלות נפוצות

האם Cloudflare חוסם סורקי AI כברירת מחדל?

זה תלוי בחשבון, בתוכנית ובהגדרות באזור שלכם, ו-Cloudflare שינתה את האפשרויות האלה עם הזמן. בדקו את AI Crawl Control ואת הגדרות הבוטים, ובדקו עם ה-user agent של הסורק במקום להניח.

למה האתר שלי עובד בדפדפן אבל לא לסורקים?

חומת אש שופטת כל בקשה. דפדפן עובר אתגרי JavaScript ושומר עוגיות; סורק לא, ולכן הוא עלול לקבל עמוד אתגר או 403 שאתם לא רואים לעולם.

האם בטוח להתיר סורקי AI דרך ה-WAF?

היתר של סורק בשמו הוא בסיכון נמוך אם מאמתים אותו לפי טווחי ה-IP של הספק או לפי אות הבוט המאומת של Cloudflare. כללים שסומכים על ה-user agent בלבד מכניסים גם כל מי שמעתיק אותו.

האם הסתרת כתובות האימייל של Cloudflare משפיעה על סורקי AI?

היא מחליפה כתובות אימייל בקישור שרק סקריפט מפענח, ולכן סורקים רואים מציין מקום במקום הכתובת. אם רוצים שאימייל יצירת הקשר יהיה קריא, מכבים את Email Address Obfuscation תחת Scrape Shield ומציגים את הכתובת כטקסט רגיל.