GPTBot
GPTBot הוא הסורק של OpenAI לתוכן שעשוי לשמש לאימון מודלי היסוד של ה-AI היוצר שלה. חסימה שלו ב-robots.txt מודיעה ל-OpenAI שלא להשתמש בתוכן שלכם לאימון. חסימה שלו לא מסירה אתכם מתשובות החיפוש של ChatGPT, שתלויות ב-OAI-SearchBot.
מה הוא עושה
OpenAI מציינת ש-GPTBot משמש כדי להפוך את מודלי היסוד של ה-AI היוצר שלה למועילים ובטוחים יותר. הוא סורק תוכן שעשוי לשמש לאימון המודלים האלה, וחסימה של GPTBot מציינת שאין להשתמש בתוכן האתר לאימון.
ההחלטה אם לאפשר אותו היא החלטת מדיניות, לא החלטה על חשיפה. חיפוש ChatGPT משתמש בסורק נפרד, OAI-SearchBot, ו-OpenAI מתעדת את שתי ההגדרות כבלתי תלויות זו בזו. כששניהם מותרים, OpenAI מציינת שהיא עשויה להשתמש בתוצאות של סריקה אחת לשתי המטרות כדי לא לסרוק פעמיים.
במחקר שלנו מ2026-11, 21.4% מהאתרים הפופולריים שיש להם robots.txt חסמו אותו. →
אסימון robots.txt
GPTBot
מחרוזת user agent
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotאיך לאפשר אותו
User-agent: GPTBot
Allow: /איך לחסום אותו
User-agent: GPTBot
Disallow: /איך לאמת ביקורים אמיתיים
OpenAI מפרסמת את טווחי ה-IP שבהם הסוכן הזה משתמש כקובץ JSON. השוו את כתובת ה-IP של מקור הבקשה לטווחים האלה; בקשה שמציגה את עצמה כ-GPTBot אך מגיעה מכתובת אחרת אינה מ-OpenAI. OpenAI מציינת שמספר הגרסה ב-user agent עשוי להשתנות, לכן התאימו את האסימון GPTBot ולא את המחרוזת המלאה.