למה האתר שלי פתאום חוסם סורקי AI?
אתר שמתחיל לחסום סורקי AI השתנה כמעט תמיד באחד מחמישה מקומות: ה-robots.txt שמוגש בפועל, הגדרת CDN כמו מדיניות סורקי ה-AI של Cloudflare, הגנה מפני בוטים או הגבלת קצב, ברירת מחדל של חברת האחסון, או robots.txt שעונה עכשיו בשגיאה. הביאו את ה-robots.txt של היום ועמוד אחד בתור כל סורק, השוו לדפדפן ולמה שהיה לכם קודם, ובדקו את השכבות האלה בסדר הזה.
אף אחד לא מחליט להיעלם מתשובות AI. זה קורה כתופעת לוואי של עדכון ערכת עיצוב, הגדרת אבטחה, הגירה או ברירת מחדל שהשתנתה אצל ספק. בדפדפן האתר עדיין נראה רגיל, כך שהשינוי יכול לעבור בלי שאיש ישים לב, עד שמישהו שואל את ChatGPT או את Perplexity על המוצר ומקבל מתחרה. כל שכבה משאירה עקבות שאפשר לבדוק מבחוץ או בלוגים.
בעמוד זה
האם ה-robots.txt שהסורקים מקבלים השתנה?
הביאו את https://yourdomain.com/robots.txt והשוו אותו לקובץ במאגר הקוד או בגיבוי. הסתכלו על הקובץ שמוגש, לא על זה שבדיסק, כי כמה שכבות יכולות לשנות אותו בדרך:
- פריסה מעלה robots.txt של סביבת staging עם
Disallow: /, או שהגירה משאירה ברירת מחדל של הפלטפורמה. - הגדרה בבונה האתרים מוסיפה כללים לסורקי AI. ל-Squarespace, למשל, יש אפשרות Block known artificial intelligence crawlers שכותבת 26 שמות של בוטים ל-robots.txt ומציינת שעוד עשויים להתווסף עם הזמן. היא כבויה כברירת מחדל, כך שמישהו צריך להפעיל אותה, אבל הרשימה יכולה לגדול אחר כך.
- עדכון של תוסף SEO או אבטחה כותב כללים חדשים, או מוסיף אפשרות חדשה שמישהו מפעיל.
- Cloudflare מוסיפה את ה-robots.txt המנוהל שלה בראש הקובץ שלכם כש-Bot Preference Sync מופעל ומדיניות AI מוגדרת ל-Block או ל-Disallow. אז הקובץ שמוגש מתחיל ב-
Disallow: /עבורClaudeBot,GPTBotועוד שישה טוקנים של אימון, למרות שהקובץ שלכם לא השתנה. - כלל שנועד לסורק אימון הועתק לסורקים אחרים, כולל סורקי חיפוש כמו
OAI-SearchBot,Claude-SearchBotאוPerplexityBot.
דוח robots.txt ב-Google Search Console מציג את הגרסאות ש-Google הביאה ב-30 הימים האחרונים, עם רשומה חדשה בכל פעם שהקובץ או תוצאת ההבאה השתנו. הוא מכסה רק את מה ש-Google ראתה, אבל אם השרת שלכם לא משנה את robots.txt לפי user agent, גם סורקי ה-AI קיבלו את אותו קובץ.
האם מדיניות סורקי ה-AI של Cloudflare ב-2026 שינתה את מה שהאתר שלי מתיר?
Cloudflare שינתה את בקרות סורקי ה-AI שלה כמה פעמים, וחלק מהשינויים משנים את מה ש-zone עושה בלי שמישהו ערך אותו. ב-1 ביולי 2025 היא התחילה לשאול דומיינים חדשים בהרשמה אם להתיר סורקי AI, כשחסימה היא מצב ההתחלה. ב-1 ביולי 2026 היא החליפה את המתג היחיד Block AI bots במדיניות נפרדת של Search, Agent ו-Training, בכל המסלולים כולל Free.
הפרט שתופס את רוב האתרים הוא סורקים דו-תכליתיים. התיעוד של Cloudflare אומר שפעולות Training חלות גם על סורקים שמשמשים גם לחיפוש וגם לאימון. ההודעה שלה מיולי 2026 אמרה שמ-15 בספטמבר 2026 סורקים רב-תכליתיים כמו Googlebot, Applebot ו-BingBot ייחסמו אצל לקוחות שבחרו לחסום Training, בין דרך האפשרויות החדשות ובין דרך ההגדרה הישנה Block AI bots. כך שסירוב לאימון שהוגדר לפני שנה יכול עכשיו להגיע גם לסורקי חיפוש.
ברירות המחדל לדומיינים חדשים תוארו באופן שונה לאורך הזמן. אותה הודעה אמרה שלדומיינים חדשים יהיו Training ו-Agent חסומים בעמודים שמציגים פרסומות החל מ-15 בספטמבר 2026, בעוד שתיעוד המדיניות שעודכן ב-2 בנובמבר 2026 אומר שדומיינים חדשים מתחילים עם שלושתם על Allow. פתחו Security, אחר כך Settings, סננו לפי Bot traffic וקראו את AI Crawler and Agent access policies של ה-zone שלכם. המדריך שלנו ל-AI Crawl Control של Cloudflare מסביר כל הגדרה.
האם הגנה מפני בוטים או הגבלת קצב תופסות את הסורקים?
הגנה מפני בוטים שופטת כל בקשה, וסורקים מביאים הרבה עמודים מהר ממרכזי נתונים, וזה בדיוק מה שבוטים עושים. סורק שעבר בחודש שעבר יכול להתחיל לקבל עמודי אתגר אחרי שהמפעיל שלו שינה טווחי IP או קצב סריקה, או אחרי שכללי ההגנה עודכנו. Bot Fight Mode של Cloudflare הוא סיבה נפוצה, ו-Cloudflare אומרת שאי אפשר לעקוף או לדלג עליו עם WAF custom rules או Page Rules, כך שכלל התרה שנוסף אחר כך לא יעזור כל עוד הוא פעיל. הגבלת קצב חדשה שעונה על פרצי בקשות ב-429 משפיעה באותו אופן על סורק עמוס.
בדקו מבחוץ: בקשו עמוד בתור דפדפן ובתור שני סורקי חיפוש AI, ואז בקשו את robots.txt בתור סורק.
URL=https://example.com/page
for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
"Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)"; do
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" "$URL"
done
# robots.txt itself, as a crawler
curl -s -o /dev/null -w "%{http_code} %{content_type}\n" \
-A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
https://example.com/robots.txt 403, 429 או 503 רק לסורק, עמוד שכותרתו Just a moment..., או גוף תגובה קטן בהרבה משל הדפדפן פירושם שהסורק מקבל יחס שונה. הבדיקה יוצאת מה-IP שלכם, לא מזה של היצרן, כך שכללים שמבוססים על סטטוס של בוט מאומת עדיין יכולים להתייחס לסורק האמיתי אחרת. יומן האירועים של חומת האש מראה איזה כלל ענה.
האם חברת האחסון שינתה את ברירות המחדל שלה?
חלק מחברות האחסון מסננות תנועת AI ברמת השרת, לפני שהכללים שלכם רצים. SiteGround, למשל, כתבה באוגוסט 2025 שהיא חוסמת כברירת מחדל סורקי AI שנועדו לאסוף נתוני אימון, ומתירה סורקים שמבקרים כשאדם שואל עוזר AI על עמוד. כללים כאלה לא מופיעים ב-robots.txt שלכם, והם יכולים להשתנות כשחברת האחסון מעדכנת את רשימות הבוטים שלה.
אם חסימה מופיעה בבת אחת בכמה אתרים אצל אותה חברת אחסון, או בתגובות שאף פעם לא מגיעות ללוגים של האפליקציה, שאלו את חברת האחסון אילו כללי בוטים חלים על החשבון שלכם ואם אפשר להחריג את הסורקים שאתם רוצים לשמור.
האם robots.txt עונה בשגיאה?
robots.txt שנכשל יכול לחסום יותר מכל שורת Disallow. לפי RFC 9309, תגובת 4xx אומרת שסורק רשאי להביא הכול, אבל שגיאת שרת (5xx) או היעדר תגובה אומרים שעליו להניח שכל האתר חסום. Google מפסיקה לסרוק ב-12 השעות הראשונות של שגיאות כאלה, ואז משתמשת בעותק התקין האחרון שלה עד 30 יום.
כך עומס פתאומי, כלל בחומת האש שמציג אתגר ל-/robots.txt, או הגבלת קצב שכוללת אותו, יכולים להשאיר בחוץ סורקים מנומסים בלי שאף כלל השתנה. הפקודה האחרונה בבדיקה למעלה צריכה להחזיר 200 ו-text/plain. 5xx, פסק זמן או עמוד אתגר שם הם הדבר הראשון לתקן.
איך מגלים מתי זה התחיל?
תאריך הופך תעלומה להשוואה. בלוגי הגישה סננו בקשות מ-user agents של סורקי AI וחפשו את היום שבו קודי הסטטוס שלהם עברו מ-200 ל-403, 429 או 503, או את היום שבו הם הפסיקו לבקש עמודים אחרי שקראו את robots.txt; במדריך שלנו לבדיקת לוגי השרת לסורקי AI יש את הפקודות. בקשות שה-CDN חסם לא מגיעות לשרת המקור, אז בדקו גם את ה-CDN. ב-Cloudflare, AI Crawl Control מציג את התפלגות קודי הסטטוס לאורך זמן, עם סינון לפי סורק.
אחר כך הצליבו את התאריך עם פריסות, עדכוני תוספים וערכות עיצוב, שינויים בהגדרות ה-CDN והודעות של ספקים. לפני שאתם פועלים, ודאו שכתובות ה-IP של המקור שייכות ליצרן, כדי שתסתכלו על הסורק האמיתי ולא על מתחזה שמשתמש בשם שלו.
איך לתפוס את זה מוקדם יותר בפעם הבאה?
בדקו את הגישה אחרי כל פריסה, שינוי ב-CDN ועדכון תוסף, לא רק כשהתנועה יורדת. הבדיקה החינמית של AISeeWhy מושכת עמוד בתור 16 סורקי AI וחיפוש לצד דפדפן אמיתי, מחילה את robots.txt על כל סורק ומזהה עמודי אתגר של חומות אש. בודק ה-robots.txt החינמי מראה, לכל סורק, אם מותר להביא עמוד לפי הקובץ שפעיל היום.
הצעדים הבאים
הסורקים במאמר הזה
שאלות נפוצות
למה ChatGPT הפסיק להציג את האתר שלי?
פעמים רבות כי OAI-SearchBot, הסורק שמאחורי החיפוש של ChatGPT, נחסם בגלל שינוי ב-robots.txt, מדיניות CDN או הגנה מפני בוטים. OpenAI אומרת שאתרים שחוסמים אותו לא יופיעו בתשובות החיפוש של ChatGPT. בדקו כל שכבה עבור הסורק הזה, ותנו בערך 24 שעות אחרי תיקון ב-robots.txt, הזמן ש-OpenAI אומרת שלוקח למערכות שלה להתעדכן.
האם Cloudflare התחילה לחסום את Googlebot באתר שלי?
זה יכול לקרות. Cloudflare אמרה שמ-15 בספטמבר 2026 לקוחות שחוסמים Training חוסמים גם סורקים רב-תכליתיים כמו Googlebot, Applebot ו-BingBot. התיעוד שלה אומר שהאפשרות Training Disallow חוסמת סורקי אימון בקצה אבל משאירה בחוץ סורקים לשימוש מעורב, אז בדקו באיזו אפשרות ה-zone שלכם משתמש.
האם בונה אתרים או תוסף יכולים לשנות את robots.txt בשבילי?
כן. בוני אתרים ותוספי SEO או אבטחה יכולים לכתוב ל-robots.txt כללים לסורקי AI, וחלקם מרחיבים את רשימות הבוטים שלהם עם הזמן. אחרי כל עדכון, הביאו את הקובץ החי וקראו את הקבוצות שחלות על סורקי החיפוש שחשובים לכם.
למה ה-robots.txt החי שלי שונה מהקובץ שבשרת?
משהו שעומד לפני השרת שלכם משנה אותו. ה-robots.txt המנוהל של Cloudflare, למשל, מוסיף את הכללים ואת אותות התוכן שלו בראש הקובץ שלכם באותה תגובה. מערכת ניהול תוכן שמייצרת robots.txt בכל בקשה, או הגדרה ברמת חברת האחסון, יכולות גם הן להחליף או להרחיב אותו.
כמה זמן עד שסורקי AI חוזרים אחרי התיקון?
RFC 9309 אומר שסורקים לא צריכים להשתמש ב-robots.txt שמור במטמון יותר מ-24 שעות, OpenAI אומרת בערך 24 שעות ו-Perplexity עד 24 שעות. שינויים בחומת האש חלים ברגע שהספק פורס אותם, אבל הסורקים חוזרים לפי לוח הזמנים שלהם.
מקורות
- RFC 9309: Robots Exclusion Protocol
- Google: How Google interprets the robots.txt specification
- Google Search Console Help: robots.txt report
- Cloudflare press release: Cloudflare just changed how AI crawlers scrape the internet-at-large
- Cloudflare blog: Your site, your rules: new AI traffic options for all customers
- Cloudflare changelog: AI traffic options (2026-07-01)
- Cloudflare: AI crawler and agent access policies
- Cloudflare: Managed robots.txt
- Cloudflare: Bot Fight Mode
- Cloudflare: Analyze AI traffic (AI Crawl Control)
- Squarespace Help: Request that AI models exclude your site
- SiteGround blog: The pros and cons of AI bot crawling
- OpenAI: Overview of OpenAI crawlers
- Perplexity: Perplexity crawlers