האם ChatGPT רואה את האתר שלכם? איך לבדוק
ChatGPT יכול לצטט את העמוד שלכם רק אם סורק החיפוש של OpenAI, OAI-SearchBot, רשאי להביא אותו ומקבל את אותו HTML שמקבל דפדפן. כדאי לבדוק שלושה דברים: ש-robots.txt לא חוסם את OAI-SearchBot, שחומת האש או ה-CDN לא עונים לו בקוד 403 או בעמוד אתגר, ושהטקסט הראשי נמצא ב-HTML הראשוני.
הרבה בעלי אתרים שואלים את ChatGPT על המוצר שלהם, רואים במקומם מתחרה מצוטט, ותוהים אם ChatGPT בכלל מגיע לאתר. יש לשאלה הזאת תשובה קונקרטית שאפשר לבדוק. OpenAI מפרסמת את שמות הסורקים שלה ואת תפקידו של כל אחד, כך שאפשר לבדוק כל חוליה בשרשרת: כללי robots.txt, התגובה שהשרת שלכם שולח, והתוכן שבתגובה הזאת.
בעמוד זה
אילו סורקים של OpenAI חשובים לתשובות של ChatGPT?
OpenAI מתעדת שלושה סוכנים שבעלי אתרים פוגשים בדרך כלל. לכל אחד תפקיד אחר, וחסימה של אחד לא חוסמת את האחרים. OpenAI מציינת שכל הגדרה ב-robots.txt עצמאית.
OAI-SearchBotמאתר ומאנדקס עמודים עבור יכולות החיפוש של ChatGPT. לפי OpenAI, אתרים שביטלו את ההשתתפות שלהם בו לא יוצגו בתשובות חיפוש של ChatGPT. זה הסורק שקובע אם אפשר לצטט אתכם.GPTBotאוסף תוכן שעשוי לשמש לאימון מודלי היסוד של OpenAI. חסימה שלו אומרת שאין להשתמש בתוכן שלכם לאימון. היא לא מוציאה אתכם מתשובות החיפוש.ChatGPT-Userמבקר בעמוד כשאדם מבקש זאת מ-ChatGPT, למשל בהדבקת קישור. OpenAI אומרת שכללי robots.txt אולי לא חלים על ביקורים כאלה, שמתחילים ביוזמת משתמש, ושהסוכן הזה לא משמש להחלטה אם תוכן יופיע בחיפוש.
בקיצור: OAI-SearchBot שולט בציטוטים, GPTBot שולט באימון, ו-ChatGPT-User מטפל בביקורים חיים לפי בקשת משתמש.
איך בודקים את robots.txt עבור ChatGPT?
פתחו את https://yourdomain.com/robots.txt בדפדפן וחפשו קבוצה שמציינת את OAI-SearchBot. אם אין כזאת, הסורק פועל לפי הקבוצה User-agent: *. שורת Disallow: / בכל קבוצה שחלה עליו חוסמת את כל האתר.
בדקו גם שהקובץ בכלל מגיב. לפי RFC 9309, אם robots.txt מחזיר שגיאת שרת (5xx) או שאי אפשר להגיע אליו, סורק חייב להניח שכל האתר אסור לסריקה. קוד 404 תקין: משמעותו שאין כללים. טעות נפוצה היא כתובת robots.txt שמחזירה עמוד HTML עם סטטוס 200, כי אז הסורקים לא מוצאים בו כללים תקפים.
הגדרה ששומרת על חיפוש ChatGPT ומוציאה אתכם מהאימון נראית כך:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /OpenAI אומרת ששינויים שנוגעים לחיפוש יכולים לקחת כ-24 שעות להיכנס לתוקף אחרי עדכון robots.txt.
האם חומת אש יכולה לחסום את ChatGPT גם כש-robots.txt מתיר זאת?
כן, וזו סיבה נפוצה. robots.txt הוא בקשה לסורקים מנומסים ולא בקרת גישה. חומת האש, ה-CDN או ההגנה מבוטים הם שמחליטים מה באמת נשלח בחזרה. אם הם רואים בסורק AI בוט לא רצוי, הסורק יקבל 403, 429 או עמוד אתגר כמו מסך ״Just a moment...״ של Cloudflare, בזמן שאנשים בדפדפן רואים את העמוד כרגיל.
מבחוץ זה נראה כמו אתר פתוח לכולם. רק בקשה שמזדהה כסורק חושפת את ההבדל. במצב כזה robots.txt אומר כן, השרת אומר לא, והשרת מנצח.
איך בודקים מה OAI-SearchBot מקבל?
שלחו שתי בקשות לאותה כתובת, אחת עם user agent של דפדפן ואחת עם ה-user agent של הסורק, והשוו את קוד הסטטוס והגודל. OpenAI מפרסמת דוגמה ל-user agent של כל סורק; מספר הגרסה שבה עשוי להשתנות.
# As a browser
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
https://example.com/page
# As OAI-SearchBot
curl -s -o /dev/null -w "%{http_code} %{size_download}\n" \
-A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \
https://example.com/pageאם הדפדפן מקבל 200 עם תוכן גדול והסורק מקבל 403, 429, 503 או תוכן קטן בהרבה, חומת האש מתייחסת לסורק אחרת. יש מגבלה אחת: הבדיקה יוצאת מכתובת ה-IP שלכם ולא מכתובות של OpenAI. חומות אש שמאמתות סורקים מול טווחי ה-IP שפורסמו (OpenAI מפרסמת אותם ב-openai.com/searchbot.json) עשויות להכניס את הסורק האמיתי ולחסום את הבדיקה שלכם. חסימה בבדיקה הזאת עדיין מראה איך חומת האש מתייחסת ל-user agent, וכדאי לתקן את זה.
מה אם העמוד נטען אבל ChatGPT עדיין לא אומר שום דבר מועיל?
גישה היא רק הצעד הראשון. אם ה-HTML שמגיע הוא מעטפת ריקה ש-JavaScript ממלאת אחר כך, ייתכן שהסורק יקבל כמעט בלי טקסט. הסתכלו על ה-HTML הגולמי עם curl או עם view-source בדפדפן: אם הטקסט הראשי לא שם, כנראה שגם הסורק לא רואה אותו.
אחרי זה באים אותות התוכן: תשובה קצרה וברורה בראש העמוד, כותרות שתואמות שאלות שאנשים שואלים, מפרסם ומחבר בשם, ותאריכים גלויים. הם לא מבטיחים ציטוט, אבל הם מקלים לצטט את העמוד נכון.
איך AISeeWhy בודק את זה?
AISeeWhy מביא את העמוד שלכם בתור OAI-SearchBot, GPTBot, ChatGPT-User ועוד 11 סורקים, לצד דפדפן רגיל, קורא את robots.txt לפי כללי RFC 9309 ומציין בשמה את חומת האש כשהיא עונה בחסימה או באתגר. לכל ממצא מצורף תיקון להדבקה, והבדיקה החינמית מציגה את הציון והממצא הראשון.
שאלות נפוצות
האם חסימת GPTBot מסירה את האתר שלי מחיפוש ChatGPT?
לא. OpenAI מתייחסת להגדרה של כל סורק כעצמאית. GPTBot קשור לאימון, ואילו OAI-SearchBot קובע אם עמודים יכולים להופיע בתשובות חיפוש של ChatGPT. אפשר לחסום אחד ולהתיר את השני.
האם ChatGPT-User מציית ל-robots.txt?
OpenAI אומרת שמכיוון שהביקורים האלה מתחילים ביוזמת משתמש, כללי robots.txt אולי לא חלים. אם רוצים לעצור את הביקורים האלה, כלל ב-robots.txt אינו בקרה אמינה.
כמה זמן לוקח לשינוי ב-robots.txt להגיע ל-ChatGPT?
OpenAI אומרת שייתכן שיידרשו כ-24 שעות מעדכון robots.txt עד שהמערכות שלה יסתגלו לגבי חיפוש.
האם מספיק שהאתר נגיש כדי שיצוטט?
לא. גישה הופכת ציטוט לאפשרי אבל לא מבטיחה אותו. מה שהעמוד אומר, ובאיזו בהירות, עדיין קובע אם ישתמשו בו בתשובה.
מקורות
- OpenAI: סקירת הסורקים של OpenAI
- RFC 9309: פרוטוקול Robots Exclusion
- Cloudflare: ניהול סורקי AI (AI Crawl Control)