מחולל robots.txt לסורקי AI

בחרו אילו סורקי AI רשאים לקרוא את האתר שלכם והעתיקו את ה-robots.txt שנוצר. בחירה נפוצה היא לחסום סורקי אימון כמו GPTBot ו-ClaudeBot אבל להתיר סורקי חיפוש AI כמו OAI-SearchBot ו-PerplexityBot, כדי שהעמודים שלכם ימשיכו להופיע ולהיות מצוטטים בתשובות AI.

לחסימת סורקים שפועלים לבקשת משתמש יש השפעה מוגבלת: חלק מהספקים אומרים שהסוכנים האלה אולי לא יפעלו לפי robots.txt, כי אדם ביקש את העמוד. בדקו את התוצאה בבודק robots.txt לפני הפרסום. בודק robots.txt לסורקי AI →

איך משתמשים בו

הציבו את הקובץ בשורש הדומיין שלכם (https://example.com/robots.txt). אם כבר יש לכם כללים לסורקים אחרים, השאירו אותם והוסיפו רק את קבוצות ה-AI. שינויים נכנסים לתוקף בפעם הבאה שכל סורק קורא את הקובץ, בדרך כלל תוך יום.

הריצו את הבדיקה המלאה →