איך להאט סורקי AI בלי לחסום אותם

פורסם

תשובה קצרה

הגבילו קצב במקום לחסום. ענו לבקשות עודפות של סורקים ב-429 או ב-503 עם כותרת Retry-After, תנו לכל סורק תקציב משלו, השאירו את /robots.txt מחוץ לכל מגבלה, והגישו לסורקים מהמטמון. Crawl-delay ב-robots.txt עוזר רק איפה שהמפעיל מתעד אותו: Anthropic ו-Bing מתעדות, Google אומרת שהיא לא תומכת בו, ו-OpenAI ו-Perplexity לא מזכירות אותו. השאירו את סורקי החיפוש של ה-AI מותרים, אחרת תצאו גם מהתשובות שהם מזינים.

כשסורק שולח אלפי בקשות בשעה, הפתרון המהיר הוא Disallow: / או חסימה בחומת האש. עבור סורק אימון זו יכולה להיות בחירה סבירה. עבור OAI-SearchBot, Claude-SearchBot או PerplexityBot היא מוציאה את העמודים שלכם מתשובות ה-AI שבהן אתם רוצים להופיע. ברוב המקרים אפשר להפחית את העומס בלי לוותר על זה, עם אותות שסורקים כבר מבינים: קודי סטטוס, מטמון, ואצל חלק מהמפעילים Crawl-delay.

בעמוד זה
  1. איזה סורק באמת יוצר את העומס?
  2. האם Crawl-delay עובד עם סורקי AI?
  3. איך תגובות 429 ו-503 מאטות סורקים?
  4. איך מגדירים הגבלת קצב לסורקי AI?
  5. האם מטמון יכול להפחית את עומס הסורקים?
  6. ממה להימנע כשמאטים סורקים?
  7. איך לבדוק שהסורקים עדיין עוברים?

איזה סורק באמת יוצר את העומס?

הסתכלו לפני שאתם משנים משהו. ספרו בלוגי הגישה בקשות לפי user agent ולפי שעה, ובדקו את כתובות ה-IP של המקור מול הטווחים שכל יצרן מפרסם; במדריך שלנו לבדיקת לוגי השרת לסורקי AI יש את הפקודות. שני ממצאים חוזרים לעיתים קרובות:

מיינו את הסורקים גם לפי תפקיד. סורקי אימון כמו GPTBot ו-ClaudeBot הם לא אלה שהופכים אתכם לניתנים לציטוט בחיפוש AI, אז אם אחד מהם הוא הבעיה, חסימה שלו היא אפשרות סבירה. שאר המדריך מיועד לסורקים שאתם רוצים לשמור.

האם Crawl-delay עובד עם סורקי AI?

Crawl-delay אינו חלק מ-RFC 9309, ולכן כל מפעיל מחליט אם לקרוא אותו. זה מה שהתיעוד אומר נכון לנובמבר 2026:

User-agent: ClaudeBot
Crawl-delay: 5
Disallow: /search/
Disallow: /cart/

User-agent: *
Disallow: /search/
Disallow: /cart/

שימו לב להיגיון הקבוצות. סורק שמוצא קבוצה בשמו מתעלם לגמרי מהקבוצה User-agent: *, כך שקבוצת ClaudeBot שמכילה רק Crawl-delay תבטל כל Disallow שהגדרתם לכל השאר. חזרו עליהם, כמו למעלה. Bing מתארת את Crawl-delay כחריג שהיא קוראת מכל אחת מהקבוצות, אבל אל תניחו זאת לגבי סורקים אחרים.

איך תגובות 429 ו-503 מאטות סורקים?

בשיאי עומס, קוד הסטטוס הוא האות שסורקים בנויים לכבד. 429 Too Many Requests, שמוגדר ב-RFC 6585, אומר שהלקוח שלח יותר מדי בקשות בזמן נתון, ויכול לשאת כותרת Retry-After שאומרת כמה זמן לחכות. 503 Service Unavailable אומר שהשרת לא עומד בעומס כרגע.

Google מתעדת זאת כדרך להוריד מהר את קצב הסריקה של Googlebot: להחזיר 500, 503 או 429 במקום 200 לחלק מבקשות הסריקה. היא אומרת שזה מוריד את קצב הסריקה לכל שם המארח, ושב-Retry-After אפשר לשים מספר שניות או תאריך.

HTTP/1.1 429 Too Many Requests
Retry-After: 120
Content-Type: text/plain

Too many requests, please retry later.

שמרו על זה קצר. Google ממליצה לא לעשות זאת יותר מיום או יומיים, כי כתובת שמחזירה את הקודים האלה כמה ימים עלולה לצאת מהאינדקס שלה. להפחתה מתמשכת, Google מציעה במקום זאת בקשה מיוחדת דרך Search Console.

OpenAI, Anthropic ו-Perplexity לא מתעדות איך הסורקים שלהן מגיבים ל-429, ל-503 או ל-Retry-After. הקודים הם הדרך התקנית לבקש פחות, אבל כמה מהר כל סורק AI נסוג זה לא משהו שאפשר לבדוק בתיעוד.

איך מגדירים הגבלת קצב לסורקי AI?

תנו לכל סורק תקציב משלו במקום מגבלה אחת לכל התנועה, וענו לבקשות שחורגות ממנו ב-429. ב-nginx המודול limit_req עושה את זה. בקשות עם מפתח ריק לא נספרות, כך ש-map שמחזיר מפתח רק ל-user agents של סורקים לא נוגע במבקרים אנושיים. כאן כל סורק מקבל 60 בקשות לדקה עם פרץ של 20:

# In the http block
map $http_user_agent $ai_crawler {
    default            "";
    ~*GPTBot           gptbot;
    ~*OAI-SearchBot    oai-searchbot;
    ~*ClaudeBot        claudebot;
    ~*Claude-SearchBot claude-searchbot;
    ~*PerplexityBot    perplexitybot;
}
limit_req_zone $ai_crawler zone=ai_crawlers:10m rate=60r/m;

# In the server block
location = /robots.txt {
    # serve robots.txt as before, without limit_req
}
location / {
    limit_req zone=ai_crawlers burst=20 nodelay;
    limit_req_status 429;
    # ... your existing configuration
}

המפתח כאן הוא ה-user agent, כך שכל מי שמעתיק שם של סורק חולק את התקציב שלו. להגבלת קצב זה מקובל. לכלל התרה, בדקו גם את טווחי ה-IP שהיצרן מפרסם.

ב-Cloudflare, כללי rate limiting עושים את אותה עבודה בקצה. במסלול Free מקבלים כלל אחד, שנספר לפי IP על פני 10 שניות, וביטוי הכלל יכול להשתמש בנתיב ובשדה Verified Bot. ספירה לפי IP גסה מדי לסורקים שמפזרים בקשות על כתובות רבות, ומסלולים גבוהים יותר מוסיפים אפשרויות ספירה. תגובת ברירת המחדל היא 429, ואפשר להגדיר קוד 4xx אחר וגוף תגובה מותאם. AI Crawl Control מציע לכל סורק Allow, Block ו-Charge (בבטא פרטית), אבל לא הגדרת קצב.

בכל כלי שתבחרו, השאירו את /robots.txt מחוץ למגבלה. RFC 9309 אומר ששגיאת שרת עבור robots.txt מחייבת את הסורק להניח שכל האתר חסום, ו-Google מוציאה את 429 מקודי ה-4xx שהיא מתייחסת אליהם כקובץ חסר.

האם מטמון יכול להפחית את עומס הסורקים?

פעמים רבות יותר מהגבלת קצב. סורקים מבקשים בעיקר עמודים ציבוריים שזהים לכל מבקר, כך שהגשה שלהם מ-CDN או ממטמון עמודים הופכת רינדורים יקרים לפגיעות זולות במטמון. ודאו שהמטמון שלכם לא שומר גרסה נפרדת, שלא נשמרת במטמון, ל-user agents של סורקים.

גם בקשות מותנות עוזרות. Google אומרת שהסורקים שלה תומכים במטמון HTTP עם ETag ו-If-None-Match, וגם עם Last-Modified ו-If-Modified-Since, ומשתמשים ב-ETag כששניהם קיימים. דפי הסורקים של OpenAI, Anthropic ו-Perplexity לא אומרים אם הסורקים שלהן שולחים בקשות מותנות, אז תסמכו על החיסכון הזה רק אצל Google.

ממה להימנע כשמאטים סורקים?

איך לבדוק שהסורקים עדיין עוברים?

קל להגדיר הגבלת קצב הדוקה מדי. הבדיקה החינמית של AISeeWhy מושכת עמוד בתור 16 סורקי AI וחיפוש לצד דפדפן אמיתי, מחילה את robots.txt על כל סורק ומזהה עמודי אתגר של חומות אש, כך שכלל שעונה לסורקים אחרת מאשר לדפדפנים בולט מיד. בקשה אחת לכל סורק לא תפעיל מגבלה סבירה, וזו בדיוק הכוונה: הריצו אותה אחרי שינוי כללים כדי לוודא שבקשות רגילות עדיין עוברות. בדיקת ה-IP החינמית לסורקי AI אומרת לכם אם כתובת IP מהלוגים באמת שייכת ל-GPTBot או לסורק אחר.

כלים חינמיים

הצעדים הבאים

הסורקים במאמר הזה

שאלות נפוצות

האם Google תומכת ב-Crawl-delay?

לא. תיעוד ה-robots.txt של Google מונה את crawl-delay בין השדות שהיא לא תומכת בהם. כדי להאט את Googlebot לזמן קצר, החזירו 503, 500 או 429 לחלק מהבקשות; להפחתה ארוכה יותר, Google מציעה בקשה מיוחדת דרך Search Console.

האם ClaudeBot מכבד את Crawl-delay?

Anthropic אומרת שהיא תומכת בהרחבה הלא-תקנית Crawl-delay. שימו אותה בקבוצת ClaudeBot וחזרו שם על כל כללי ה-Disallow מהקבוצה User-agent: *.

האם GPTBot ו-PerplexityBot תומכים ב-Crawl-delay?

דפי הסורקים של OpenAI ושל Perplexity לא מזכירים את Crawl-delay, כך שההשפעה שלו לא מתועדת. השתמשו במגבלה בצד השרת שעונה לבקשות עודפות ב-429.

האם תגובת 429 תפגע בדירוג שלי?

לא לתקופה קצרה. Google מתעדת את 429 ואת 503 כדרך להפחית סריקה באופן זמני, אבל מזהירה שכתובות שמחזירות אותם כמה ימים עלולות לצאת מהאינדקס שלה.

האם לחסום את GPTBot כדי להפחית עומס?

אפשר. OpenAI אומרת ש-GPTBot סורק תוכן שעשוי לשמש לאימון ושכל הגדרה ב-robots.txt עצמאית, כך שחסימתו לא מוציאה אתכם מהחיפוש של ChatGPT, שמשתמש ב-OAI-SearchBot. בדקו קודם בלוגים שהעומס אכן מגיע מהכתובות של OpenAI.

מקורות

מאמרים נוספים