הסורקים של OpenAI: GPTBot, OAI-SearchBot ו-ChatGPT-User
OpenAI משתמשת ב-GPTBot כדי לאסוף תוכן שעשוי לשמש לאימון המודלים שלה, ב-OAI-SearchBot כדי לאנדקס עמודים לחיפוש של ChatGPT, וב-ChatGPT-User לביקורים שאדם מבקש. חסימת GPTBot מוציאה אתכם מהאימון בלבד. חסימת OAI-SearchBot מוציאה אתכם מתשובות החיפוש של ChatGPT. ייתכן ש-robots.txt לא חל על ChatGPT-User.
שלושה user agents שונים מחברה אחת, לכל אחד טוקן משלו ב-robots.txt, יוצרים הרבה בלבול. אתרים רבים חסמו את GPTBot כשהופיע, וחלקם גילו אחר כך שחסמו גם את הסורק שקובע אם ChatGPT יכול לצטט אותם, לרוב בגלל כלל רחב בחומת האש. המאמר עובר על כל סוכן לפי התיעוד של OpenAI עצמה.
בעמוד זה
מה עושה GPTBot?
GPTBot סורק תוכן שעשוי לשמש לאימון מודלי היסוד של OpenAI לבינה מלאכותית יוצרת. לפי התיעוד של OpenAI, חסימת GPTBot מציינת שאין להשתמש בתוכן האתר לאימון המודלים האלה.
ה-user agent שלו מכיל את הטוקן GPTBot, למשל Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot. OpenAI מציינת שמספר הגרסה עשוי להשתנות, ולכן כדאי להתאים לפי הטוקן ולא לפי המחרוזת המלאה. OpenAI מפרסמת את טווחי ה-IP שלה ב-openai.com/gptbot.json.
אם להתיר אותו או לא היא החלטת מדיניות. יש מפרסמים שרוצים את התוכן שלהם בנתוני האימון, ואחרים לא. חסימה שלו לא משפיעה על חיפוש ChatGPT, כי זה סורק אחר. אם תשנו את דעתכם בהמשך, מספיק להסיר את שורת ה-Disallow; אין שום דבר לרשום או לבקש.
מה עושה OAI-SearchBot?
OAI-SearchBot הוא סורק החיפוש של OpenAI. הוא מציג אתרים ביכולות החיפוש של ChatGPT. OpenAI קובעת במפורש שאתרים שביטלו את ההשתתפות שלהם ב-OAI-SearchBot לא יוצגו בתשובות חיפוש של ChatGPT.
אם רוצים ש-ChatGPT יצטט את העמודים שלכם, זה הסורק שצריך להתיר, גם ב-robots.txt וגם בחומת האש. טווחי ה-IP שלו מפורסמים ב-openai.com/searchbot.json, וכך חומת אש יכולה לוודא שבקשה אכן מגיעה מ-OpenAI.
מה עושה ChatGPT-User?
ChatGPT-User אינו סורק במובן הרגיל. הוא מביא עמוד כשמשתמש ב-ChatGPT או GPT מותאם אישית מבקש זאת, למשל כשמישהו מדביק את הכתובת שלכם בשיחה ומבקש סיכום. OpenAI אומרת שהוא לא משמש לסריקה אוטומטית של הרשת.
שני פרטים מהתיעוד של OpenAI חשובים כאן. הראשון: מכיוון שהפעולות האלה מתחילות ביוזמת משתמש, כללי robots.txt אולי לא חלים. השני: ChatGPT-User לא משמש לקבוע אם תוכן יכול להופיע בחיפוש. לחיפוש, ההגדרה שקובעת היא OAI-SearchBot.
מה קורה כשחוסמים כל אחד מהם?
- חסימת
GPTBot: התוכן שלכם מסומן כאסור לשימוש באימון. חיפוש ChatGPT עדיין יכול להציג ולצטט אתכם אםOAI-SearchBotמותר. - חסימת
OAI-SearchBot: העמודים שלכם לא יוצגו בתשובות חיפוש של ChatGPT. האימון נשלט בנפרד על ידיGPTBot. - חסימת
ChatGPT-Userב-robots.txt: OpenAI אומרת ש-robots.txt אולי לא חל על הביקורים האלה, ולכן ההשפעה אינה מובטחת. חסימה בחומת האש עוצרת את ההבאה, ומשתמשים שמדביקים את הקישור שלכם מקבלים שגיאה במקום התוכן. - חסימת שלושתם בחומת האש: ChatGPT לא יכול לאנדקס ולא להביא את העמודים שלכם, ולכן אין לו ממה לצטט.
- היתר של שלושתם: אפשר לאנדקס את העמודים לחיפוש, להביא אותם לפי בקשה, ודרך
GPTBotלהשתמש בהם לאימון.
OpenAI מציינת גם שכש-GPTBot ו-OAI-SearchBot שניהם מותרים, היא עשויה להשתמש בתוצאות של סריקה אחת לשתי המטרות כדי לא לסרוק פעמיים.
איזה robots.txt כדאי להשתמש בו עבור הסורקים של OpenAI?
לרוב האתרים שרוצים להופיע בתשובות של ChatGPT: מתירים את סורק החיפוש ומחליטים בנפרד לגבי אימון. הקובץ הזה מתיר חיפוש ויוצא מהאימון:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Disallow: /admin/שימו לב לפרט ב-RFC 9309: סורק פועל לפי הקבוצה שמציינת אותו בשמו ומתעלם מהקבוצה *. בדוגמה למעלה, OAI-SearchBot יורשה להיכנס ל-/admin/ כי בקבוצה שלו אין שורת Disallow: /admin/. חזרו על כל נתיב שברצונכם לשמור פרטי בכל קבוצה בשם. OpenAI אומרת ששינויי חיפוש יכולים לקחת כ-24 שעות להיכנס לתוקף.
איך מוודאים שחומת האש מכניסה אותם?
robots.txt רק מצהיר על המדיניות שלכם. חומת האש או ה-CDN מחליטים מה כל בקשה מקבלת בפועל. בקשו עמוד עם ה-user agent של כל סורק והשוו את קוד הסטטוס וגודל התוכן לבקשה מדפדפן. אם הסורק מקבל 403, 429 או עמוד אתגר בעוד הדפדפן מקבל עמוד רגיל, חומת האש עוקפת את ה-robots.txt שלכם.
AISeeWhy מריץ את ההשוואה הזאת לשלושת הסוכנים של OpenAI בבת אחת, מסמן חסימות של OAI-SearchBot ושל ChatGPT-User כ-P1 כי הן עולות בציטוטים, ומציג חסימה של GPTBot כ-P3, כלומר בחירת מדיניות ולא שגיאה.
שאלות נפוצות
האם GPTBot הוא אותו דבר כמו ChatGPT?
לא. GPTBot הוא סורק לנתוני אימון. חיפוש ChatGPT משתמש ב-OAI-SearchBot, וביקורים חיים שמשתמשים מבקשים מגיעים מ-ChatGPT-User.
אפשר להתיר חיפוש ChatGPT ולחסום אימון?
כן. מתירים את OAI-SearchBot וחוסמים את GPTBot ב-robots.txt. OpenAI מתעדת את שתי ההגדרות כעצמאיות.
האם כדאי לחסום את OpenAI לפי כתובת IP?
חסימה לפי IP מונעת מהסורק לקרוא את robots.txt ומקשה על שינוי המדיניות. בדרך כלל עדיף להצהיר על המדיניות ב-robots.txt ולהשתמש בטווחי ה-IP שפורסמו כדי לאמת את הסורקים של OpenAI ולא כדי לחסום אותם.
למה להתאים לפי הטוקן ולא לפי ה-user agent המלא?
OpenAI אומרת שמספר הגרסה ב-user agents שלה עשוי להשתנות, ושמחרוזות הדוגמה שהיא מפרסמת שונות בין הסורקים. כללים שמתאימים ל-GPTBot או ל-OAI-SearchBot ממשיכים לעבוד אחרי עדכון; כללים שמתאימים למחרוזת המדויקת עלולים להפסיק להתאים בלי שתשימו לב.