איך לבדוק אם אתר חוסם סורקי AI
הדביקו כל כתובת ובדקו אם היא חוסמת את GPTBot, ClaudeBot, PerplexityBot ואת שאר סורקי ה-AI: ב-robots.txt, בחומת האש או בשניהם.
חינם · בלי הרשמה · תוצאות תוך 30 שניות
אילו סורקים חסומים
סורקי אימון, חיפוש ומשתמשים מוצגים בנפרד, כי חסימת GPTBot לא חוסמת את OAI-SearchBot, וחסימת ClaudeBot לא חוסמת את Claude-SearchBot.
השורה שמכריעה
לכל סורק קוראים את robots.txt לפי כללי RFC 9309: הקבוצה ששמה אותו, או User-agent: * כברירת מחדל, והכלל שגובר.
סירובים של חומת האש
העמוד מתבקש בתור 14 סורקים ובתור דפדפן רגיל. חסימות ועמודי אתגר מסומנים, ושם חומת האש שענתה מצוין.
תיקון לכל ממצא
כל ממצא מגיע עם השינוי שצריך לבצע. הבדיקה החינמית מציגה את הציון שלכם ואת הממצא הראשון; הדוח המלא עולה $29, תשלום חד-פעמי.
אתר יכול לחסום סורקי AI בשני מקומות: ב-robots.txt, שמבקש מהסורקים להתרחק, ובשרת או בחומת האש, שדוחים אותם בפועל. חפשו ב-robots.txt את הטוקן של כל סורק, ואם אין, את הקבוצה User-agent: *, ואז הביאו את העמוד בתור הסורק והשוו למה שמקבל דפדפן. תוסף דפדפן עושה את חלק ה-robots.txt עבור 16 סורקי AI בלחיצה אחת.
בדיקה ידנית ב-3 שלבים
- בחרו את הסורק
כל חברת AI מפעילה כמה סורקים נפרדים. אימון:
GPTBot,ClaudeBot. חיפוש:OAI-SearchBot,Claude-SearchBot,PerplexityBot. לפי בקשת אדם:ChatGPT-User,Claude-User,Perplexity-User. - קראו את robots.txt עבורו
פתחו את
https://example.com/robots.txtומצאו את הקבוצה ששמה את הסורק. אם אין קבוצה כזו, חלה הקבוצהUser-agent: *; אם אין אף אחת מהן, הכול מותר. - הביאו את העמוד בתור הסורק
בקשו את העמוד עם ה-user agent של הסורק והשוו סטטוס וגודל לאלה של דפדפן. קוד 403, עמוד אתגר או 200 קטן בהרבה אומרים שחומת האש מסרבת לו.
שאלות נפוצות
האם אתר בלי robots.txt פתוח לסורקי AI?
כן, מבחינת robots.txt. קוד 404 עבור robots.txt פירושו שאין כללים, כך שכל סורק רשאי להביא כל עמוד. חומת אש עדיין יכולה לחסום סורקים.
האם התוסף מציג חסימות של חומת אש?
לא. הוא קורא את robots.txt מהדפדפן שלכם, וזה מראה מה האתר מבקש מהסורקים. כדי לראות חסימות של חומת אש ושל הגנה מפני בוטים צריך בקשה שנשלחת בתור הסורק, ואת זה עושה הבדיקה המלאה ב-aiseewhy.com.
אפשר לבדוק אתר שאינו שלי?
כן. robots.txt הוא ציבורי, והתוסף קורא רק את קובצי robots.txt ו-llms.txt שהאתר מפרסם, אותם קבצים שכל סורק קורא.
קראו את המדריך המלא
בין שאתם בודקים את האתר שלכם אחרי שינוי ובין שאתם בוחנים אתר של מישהו אחר לפני שתסמכו עליו, לשאלה ״האם האתר הזה חוסם סורקי AI?״ יש תשובה מדויקת. היא תלויה בסורק שאתם מתכוונים אליו, כי חברות AI מפעילות סורקים נפרדים לאימון, לחיפוש ולביקורים בזמן אמת, ואתר יכול להתייחס לכל אחד מהם אחרת. המדריך הזה מציג שלוש בדיקות, מהמהירה ביותר עד המלאה ביותר.
איפה אתר יכול לחסום סורקי AI?
יש שלוש שכבות, וסורק צריך לעבור את כולן כדי להשתמש בעמוד.
- robots.txt: קובץ כללים ציבורי שסורקים הגונים קוראים לפני שהם מביאים משהו. זו בקשה, לא מנעול.
- השרת, ה-CDN או חומת האש: הם מחליטים מה נשלח בפועל. כלל של הגנה מפני בוטים יכול לענות לסורק בקוד 403, 429 או בעמוד אתגר גם כש-robots.txt מתיר לו.
- העמוד עצמו: אם הטקסט הראשי מופיע רק אחרי ש-JavaScript רץ, סורק שקורא את ה-HTML הראשוני מקבל עמוד כמעט ריק, אף שדבר לא חסם אותו.
רוב הבדיקות המהירות בוחנות רק את השכבה הראשונה. זו התחלה טובה, כל עוד זוכרים את שתי האחרות.
איך קוראים את robots.txt עבור סורק AI אחד?
פתחו את https://example.com/robots.txt בדפדפן ומצאו את הקבוצה שחלה על הסורק. קבוצה מתחילה בשורת User-agent אחת או יותר. הסורק משתמש בקבוצה שמציינת את הטוקן שלו בשמו, כמו GPTBot; ההתאמה אינה תלויה ברישיות. אם אף קבוצה לא מציינת אותו, הוא משתמש בקבוצה User-agent: *. אם אין אף אחת מהן, הכול מותר.
בתוך הקבוצה גובר הכלל עם הנתיב התואם הארוך ביותר, וכאשר Allow ו-Disallow באותו אורך, Allow גובר. לכן הקובץ שלמטה חוסם את GPTBot בכל האתר אבל מכניס את כל שאר הסורקים:
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: / בדקו גם איך הקובץ עונה. לפי RFC 9309, קוד 404 פירושו שאין כללים, כלומר הכול מותר. שגיאת שרת (5xx) או היעדר תשובה פירושם שהסורק חייב להתייחס לכל האתר כאסור. כתובת robots.txt שמחזירה עמוד HTML היא טעות נפוצה: הסורקים לא מוצאים בה כללים תקינים.
איך בודקים את כל סורקי ה-AI בבת אחת?
קריאה ידנית של הקובץ נעשית איטית ברגע שחשוב לכם יותר מסורק אחד. כל חברת AI מפעילה כמה סורקים, עם תפקידים שונים:
- סורקי אימון אוספים תוכן לאימון מודלים:
GPTBot,ClaudeBot,CCBot,Bytespider,meta-externalagent, וגם הטוקניםGoogle-Extendedו-Applebot-Extended, שמופיעים רק ב-robots.txt. - סורקי חיפוש מוסיפים עמודים לאינדקס כדי שתשובות AI יוכלו לצטט אותם:
OAI-SearchBot,Claude-SearchBot,PerplexityBot. - סורקי משתמש מביאים עמוד כשאדם מבקש זאת מהעוזר:
ChatGPT-User,Claude-User,Perplexity-User.
התוסף החינמי ״בודק סורקי AI״ ל-Chrome עושה את זה בלחיצה אחת. פתחו עמוד כלשהו ולחצו על הסמל, והתוסף יקרא את קובץ ה-robots.txt של האתר ויציג, עבור כל אחד מ-16 הסורקים, אם העמוד מותר ואיזו שורה קובעת זאת. הוא מציג גם העדפות Content-Signal, אם יש לאתר llms.txt, ואת מפות האתר שרשומות ב-robots.txt. הוא פועל בדפדפן שלכם, לא דורש חשבון וקורא רק את האתר שעליו לחצתם.
בלי Chrome, בודק ה-robots.txt החינמי ב-aiseewhy.com נותן את אותה תשובה עבור כתובת URL שתדביקו.
איך בודקים אם חומת האש מעבירה אותם?
robots.txt מראה מה האתר מבקש. כדי לראות מה סורק מקבל בפועל, בקשו את העמוד פעמיים, פעם כדפדפן ופעם עם ה-user agent של הסורק, והשוו את קוד הסטטוס ואת גודל התגובה:
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/page אם הדפדפן מקבל 200 והסורק מקבל 403, 429 או 503, או עמוד קטן בהרבה, חומת אש או הגנה מפני בוטים מתייחסות לסורק אחרת. לכל בדיקה חיצונית יש מגבלה אחת: הבקשה יוצאת מהרשת שלכם, לא מהרשת של חברת ה-AI. חומת אש שסומכת על סורקים לפי כתובות ה-IP שפורסמו עבורם יכולה להתייחס לסורק האמיתי אחרת, ולכן המילה האחרונה היא של יומני השרת שלכם.
הבדיקה המלאה ב-aiseewhy.com מביאה את העמוד בתור כל 16 הסורקים לצד דפדפן אמיתי, מציינת את חומת האש או הכלל שחוסמים סורק ומשווה את הטקסט שכל אחד קיבל.
לאיזו תוצאה כדאי לשאוף?
זה תלוי במה שאתם רוצים. אם אתם רוצים שיצטטו אתכם בחיפוש של ChatGPT, ב-Claude וב-Perplexity, סורקי החיפוש והמשתמש חייבים להיות מותרים ב-robots.txt ולקבל מהשרת את העמוד האמיתי. אם אינכם רוצים שהתוכן שלכם ישמש לאימון, חסמו רק את טוקני האימון. אלה החלטות נפרדות: חסימת GPTBot לא חוסמת את OAI-SearchBot, וחסימת ClaudeBot לא חוסמת את Claude-SearchBot.
אתרים רבים מבלבלים ביניהן. בדוח שלנו מנובמבר 2026 על 1,000 הדומיינים הפופולריים ביותר, 63% מהאתרים שחוסמים סורק אימון חוסמים גם לפחות סורק חיפוש או סורק משתמש אחד של AI, וכך העמודים שלהם נשארים מחוץ לתשובות ה-AI האלה.
הצעדים הבאים
הסורקים במאמר הזה
מקורות
- RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity crawlers
- Google: Common crawlers, including Google-Extended
- AISeeWhy: דוח גישת סורקי AI, 2026-11