הסורקים של Perplexity: PerplexityBot ו-Perplexity-User
Perplexity משתמשת ב-PerplexityBot כדי להציג אתרים ולקשר אליהם בתוצאות החיפוש שלה, וב-Perplexity-User כדי לבקר בעמודים כששאלה של משתמש צריכה אותם. Perplexity אומרת ש-PerplexityBot מציית ל-robots.txt ואינו משמש לאימון מודלי יסוד, ואילו Perplexity-User מתעלם בדרך כלל מ-robots.txt כי משתמש ביקש את ההבאה.
Perplexity בנויה סביב ציטוטים: התשובות מגיעות עם קישורים ממוספרים לעמודים שעליהם הן נשענות. התיעוד של הסורקים שלה קצר, והוא מציין בבירור איזה סוכן מציית ל-robots.txt ואיזה לא. ההבדל הזה קובע באיזה כלי להשתמש אם רוצים לשלוט באחד מהם.
בעמוד זה
מה עושה PerplexityBot?
PerplexityBot נועד להציג אתרים ולקשר אליהם בתוצאות החיפוש של Perplexity. Perplexity אומרת שהוא אינו משמש לסריקת תוכן עבור מודלי יסוד של AI. כדי להופיע בתוצאות החיפוש של Perplexity, היא ממליצה להתיר את PerplexityBot ב-robots.txt.
Perplexity מתעדת את ה-user agent הזה:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)מספר הגרסה עשוי להשתנות, ולכן כללי חומת האש צריכים להתאים לטוקן PerplexityBot. Perplexity מפרסמת את טווחי ה-IP ב-perplexity.ai/perplexitybot.json.
מה עושה Perplexity-User?
Perplexity-User תומך בפעולות משתמש. כשמישהו שואל את Perplexity שאלה, היא עשויה לבקר בעמוד רשת כדי לתת תשובה מדויקת ולכלול קישור אליו. Perplexity אומרת שהוא אינו משמש לסריקת הרשת או לאיסוף נתוני אימון.
ה-user agent המתועד שלו הוא Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), וטווחי ה-IP שלו מפורסמים ב-perplexity.ai/perplexity-user.json.
מה robots.txt שולט בו, ומה לא?
זו הנקודה המרכזית. Perplexity קובעת שמכיוון שמשתמש ביקש את ההבאה, Perplexity-User מתעלם בדרך כלל מכללי robots.txt. קבוצת robots.txt עבור PerplexityBot משפיעה על אינדוקס לחיפוש; היא לא עוצרת באופן אמין הבאות חיות מטעם משתמש.
- חסימת
PerplexityBotב-robots.txt: העמודים שלכם לא נסרקים עבור אינדקס החיפוש של Perplexity, ולכן סביר פחות שיוצגו ויקושרו. - חסימת
Perplexity-Userב-robots.txt: לפי התיעוד של Perplexity, מביא העמודים מתעלם מכך בדרך כלל, ולכן זו אינה בקרה שאפשר לסמוך עליה. - חסימת
Perplexity-Userבחומת האש: ההבאה נכשלת, ומשתמשים ששואלים על העמוד שלכם מקבלים תשובה בלעדיו. - היתר של שניהם: Perplexity יכולה לאנדקס את העמודים שלכם ולקרוא אותם בזמן אמת כשמשתמש שואל.
Perplexity אומרת שכל הגדרה ב-robots.txt פועלת באופן עצמאי, ושייתכן שיידרשו עד 24 שעות עד שהשינויים ישתקפו.
במה Perplexity שונה מ-ChatGPT ומ-Claude?
שלושת הספקים מפרידים בין סורק חיפוש לבין מביא לפי בקשת משתמש. שני פרטים מייחדים את Perplexity. ראשית, היא לא מפעילה סורק אימון נפרד: היא אומרת ש-PerplexityBot אינו משמש לסריקת תוכן עבור מודלי יסוד של AI, ולכן אין טוקן אימון שצריך להחליט לגביו. שנית, היא מפורשת בכך שמביא העמודים שלה מתעלם בדרך כלל מ-robots.txt, בעוד OpenAI אומרת ש-robots.txt אולי לא חל על ChatGPT-User, ו-Anthropic אומרת שהבוטים שלה, כולל Claude-User, מכבדים robots.txt.
בפועל זה אומר החלטה אחת לגבי סורק החיפוש של Perplexity ב-robots.txt, והחלטה בחומת האש אם תרצו אי פעם לעצור הבאות לפי בקשת משתמש.
איזה robots.txt כדאי להשתמש בו עבור Perplexity?
אם רוצים להיות מצוטטים, התירו את סורק החיפוש במפורש. זכרו שקבוצה בשם לא יורשת כללים מ-*, ולכן חזרו על נתיבים פרטיים:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/מכיוון ש-PerplexityBot אינו סורק אימון, חסימה שלו כדי לצאת מאימון מודלים תעלה לכם בנראות בחיפוש בלי לשרת את המטרה הזאת.
אם אתם מפרטים מפת אתר ב-robots.txt, השאירו את שורת ה-Sitemap: מחוץ לכל קבוצה או בסוף הקובץ; היא חלה על כל הסורקים. וודאו גם שחומת האש לא חוסמת את מפת האתר עצמה, כי סורק שלא יכול להביא אותה לא יכול להשתמש בה כדי למצוא עמודים חדשים או שהשתנו.
איך מוודאים שחומת האש לא חוסמת את Perplexity?
הגנה מבוטים מתייחסת לעיתים קרובות לכל בקשה שאינה מדפדפן כחשודה. בקשו את העמוד עם כל user agent של Perplexity והשוו את התגובה לבקשה מדפדפן. אם הסורק מקבל 403, 429 או עמוד אתגר, הוסיפו כלל היתר שמתאים לטוקן, ועדיף גם לטווחי ה-IP שפורסמו, כך שרק תנועה אמיתית של Perplexity תיכנס. ב-Cloudflare, AI Crawl Control מציג סורקי AI עם פעולת Allow או Block לכל אחד.
אמתו ולא רק סמכו על ה-user agent. כל אחד יכול לשלוח בקשה שאומרת PerplexityBot, ולכן כלל היתר שמבוסס רק על ה-user agent מכניס גם מחקים, וחסימה שמבוססת עליו אפשר לעקוף. בדיקת כתובת ה-IP של המקור מול הרשימות שפורסמו על ידי Perplexity הופכת את שני סוגי הכללים לאמינים.
AISeeWhy בודק את PerplexityBot ואת Perplexity-User לצד 12 סורקים נוספים. מכיוון ששניהם קובעים אם Perplexity יכולה להשתמש בעמוד שלכם בתשובה, חסימה של כל אחד מהם מדווחת כ-P1, עם הכלל לתיקון.
שאלות נפוצות
האם Perplexity משתמשת בתוכן שלי לאימון מודלי AI?
Perplexity אומרת שלא PerplexityBot ולא Perplexity-User משמשים לאיסוף תוכן לאימון מודלי יסוד של AI.
למה Perplexity-User מתעלם מ-robots.txt?
ההנמקה של Perplexity היא שמשתמש ביקש את העמוד, ולכן ההבאה פועלת מטעם אותו משתמש ולא כסריקה אוטומטית. התיעוד שלה אומר שמביא העמודים מתעלם בדרך כלל מ-robots.txt מהסיבה הזאת.
איך אפשר לחסום את Perplexity-User אם צריך?
משתמשים בחומת האש או ב-CDN, ומתאימים לטוקן ה-user agent ולטווחי ה-IP ש-Perplexity מפרסמת. robots.txt אינו בקרה אמינה לסוכן הזה.
כמה זמן לוקח לשינוי ב-robots.txt להיכנס לתוקף?
Perplexity אומרת שייתכן שיידרשו עד 24 שעות עד שהמערכות שלה ישקפו שינויים.
האם חסימת PerplexityBot תמנע מ-Perplexity להשתמש בתוכן שלי לגמרי?
לא. היא משאירה את העמודים שלכם מחוץ לסריקה עבור אינדקס החיפוש של Perplexity, אבל Perplexity-User עדיין יכול להביא עמוד כשמשתמש שואל עליו, כי מביא העמודים הזה מתעלם בדרך כלל מ-robots.txt.
מקורות
- Perplexity: הסורקים של Perplexity
- RFC 9309: פרוטוקול Robots Exclusion
- Cloudflare: ניהול סורקי AI (AI Crawl Control)