בודק robots.txt לסורקי AI

הזינו כתובת של עמוד: נקרא את ה-robots.txt של האתר ונראה, לכל סורק AI וחיפוש, אם מותר לו למשוך את העמוד. או הדביקו robots.txt כדי לבדוק אותו לפני הפרסום.

robots.txt הוא רק בקשה. חומת אש או הגנה מבוטים עדיין יכולות לחסום סורק ש-robots.txt מתיר; הבדיקה המלאה בודקת זאת. הריצו את הבדיקה המלאה →

איך סורקי AI קוראים את robots.txt

כל סורק פועל לפי הקבוצה שמציינת את הטוקן שלו (למשל GPTBot או PerplexityBot); רק אם אף קבוצה לא מציינת אותו, הוא פועל לפי User-agent: *. בתוך קבוצה גובר הכלל התואם הארוך ביותר, ובמקרה של תיקו גובר Allow. חסימת סורקי אימון כמו GPTBot, ClaudeBot או Google-Extended משאירה את התוכן שלכם מחוץ לאימון מודלים; חסימת סורקי חיפוש ומשתמשים כמו OAI-SearchBot, ChatGPT-User או PerplexityBot משאירה את העמודים שלכם מחוץ לתשובות AI.