AISeeWhy
HE
התחלת ניסיון חינם

למה האתר שלי לא מופיע ב-Perplexity?

פורסם

תשובה קצרה

Perplexity יכולה להציג ולקשר רק עמודים ש-PerplexityBot רשאי לסרוק ושהוא באמת מקבל. הסיבות הרגילות הן כלל ב-robots.txt שחוסם את PerplexityBot, חומת אש או CDN שעונים לו בקוד 403 או בעמוד אתגר, וטקסט שמופיע רק אחרי שרצים סקריפטים של JavaScript. בדקו את שלושתם, ואז אשרו את טווחי ה-IP ש-Perplexity מפרסמת.

אתם שואלים את Perplexity על המוצר שלכם, והיא מצטטת מתחרה, אתר ביקורות או שרשור בפורום, אבל אף פעם לא את העמודים שלכם. לפעמים זו שאלה של רלוונטיות. לעיתים קרובות זו חסימה טכנית שאפשר לאתר תוך דקות. Perplexity מתעדת באילו סוכנים היא משתמשת, מה תפקידו של כל אחד ומאיפה מגיעה התעבורה שלו, ולכן אפשר לבדוק כל חוליה בשרשרת: robots.txt, התגובה שהשרת שלכם שולח, והתוכן שבתגובה.

בעמוד זה
  1. איך Perplexity מוצאת וקוראת עמודים?
  2. האם ה-robots.txt שלכם חוסם את PerplexityBot?
  3. האם חומת האש או ה-CDN חוסמים את Perplexity?
  4. איך מאשרים את Perplexity לפי טווחי ה-IP שהיא מפרסמת?
  5. האם רינדור JavaScript יכול למנוע מ-Perplexity לקרוא עמוד?
  6. ומה אם הכול פתוח והאתר עדיין לא מופיע?

איך Perplexity מוצאת וקוראת עמודים?

Perplexity מתעדת שני סוכנים. לכל אחד תפקיד אחר, ובעיה באחד מהם יכולה להשאיר את העמוד שלכם מחוץ לתשובה.

בפועל, PerplexityBot קובע אם Perplexity מכירה את העמודים שלכם עוד לפני ששואלים, ו-Perplexity-User קובע אם היא יכולה לפתוח עמוד בזמן אמת כששאלה דורשת זאת. אם אתם רוצים להיות מצוטטים, שניהם צריכים לקבל את אותו עמוד שמקבל דפדפן.

האם ה-robots.txt שלכם חוסם את PerplexityBot?

פתחו את https://yourdomain.com/robots.txt וחפשו קבוצה שמציינת את PerplexityBot. אם אין כזאת, הסורק פועל לפי הקבוצה User-agent: *. לפי RFC 9309 ההתאמה אינה תלויה ברישיות, וקבוצה בשם מסוים מחליפה את קבוצת ה-* לגמרי ולא מתווספת אליה.

החסימה הזאת נפוצה. במחקר שלנו על קובצי robots.txt של 1,000 הדומיינים הפופולריים ביותר, 86 מתוך 518 אתרים שהגישו robots.txt (16.6%) חסמו את דף הבית עבור PerplexityBot. זה השיעור הגבוה ביותר מבין כל סורקי החיפוש של AI שבדקנו; את OAI-SearchBot חסמו 58 אתרים (11.2%). ייתכן שחלק מהאתרים האלה התכוונו לעצור אימון של AI, אבל Perplexity אומרת ש-PerplexityBot אינו סורק אימון, ולכן חסימה שלו עולה בנראות בחיפוש בלי לשרת את המטרה הזאת.

הגדרה שמאפשרת ל-Perplexity להיכנס ושומרת אזור פרטי סגור נראית כך:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

בדקו גם שהקובץ עצמו מגיב כראוי. אם robots.txt מחזיר שגיאת שרת, RFC 9309 קובע שסורק חייב להניח שכל האתר אסור לסריקה. כתובת robots.txt שמחזירה עמוד HTML עם סטטוס 200 אינה מכילה כללים תקפים. Perplexity אומרת ששינויים יכולים לקחת עד 24 שעות עד שהם באים לידי ביטוי.

האם חומת האש או ה-CDN חוסמים את Perplexity?

robots.txt הוא בקשה ולא בקרת גישה. חומת האש, ה-CDN או ההגנה מבוטים הם שמחליטים מה באמת נשלח בחזרה, והם יכולים לענות ל-Perplexity בקוד 403, 429 או בעמוד אתגר, בזמן שהביקורים שלכם מהדפדפן נראים תקינים. התיעוד של Perplexity אומר שאתרים שמאחורי חומת אש ליישומי רשת (WAF) עשויים להצטרך לאשר את הבוטים שלה במפורש.

בדקו זאת בבקשה לאותה כתובת בתור דפדפן ובתור כל אחד מהסוכנים של Perplexity, והשוו את הסטטוס והגודל:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

קוד 403, 429 או 503 רק לסוכנים של Perplexity, עמוד בשם Just a moment..., או תגובת 200 קטנה בהרבה מזו של הדפדפן, כל אלה מצביעים על חומת האש. הבדיקה הזאת יוצאת מכתובת ה-IP שלכם ולא של Perplexity, ולכן היא מראה איך הכללים שלכם מתייחסים ל-user agent; כללים מבוססי IP עדיין עשויים להתנהג אחרת מול הסורק האמיתי.

אם אתם משתמשים ב-Cloudflare, שימו לב לשני דברים. התיעוד של Perplexity חוזר על הצהרה של Cloudflare עצמה ש-Bot Fight Mode אי אפשר לעקוף בכללים מותאמים של WAF, ולכן אם התכונה הזאת מציבה אתגר ל-Perplexity, כלל אישור לא יעזור. ובאוגוסט 2025 Cloudflare אמרה שהסירה את Perplexity מרשימת הבוטים המאומתים שלה אחרי שצפתה במה שתיארה כסריקה לא מוצהרת; Perplexity חלקה על התיאור הזה. כללים שמעבירים רק בוטים מאומתים עשויים לכן לא לכסות את Perplexity. בדקו את המצב הנוכחי בלוח הבקרה במקום להניח.

איך מאשרים את Perplexity לפי טווחי ה-IP שהיא מפרסמת?

כל אחד יכול לשלוח בקשה שטוענת שהיא PerplexityBot, ולכן כלל אישור שמתאים רק ל-user agent מכניס גם מתחזים. Perplexity מפרסמת את טווחי הכתובות של שני הסוכנים וממליצה להתאים גם את ה-user agent וגם את כתובת ה-IP יחד:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

Perplexity אומרת שהרשימות האלה מתעדכנות באופן קבוע, ומציעה להפוך את עדכון כללי ה-WAF לאוטומטי. הציבו את כלל האישור מעל כל כלל שחוסם בקשות או מציב להן אתגר: ראשון בכללים המותאמים של Cloudflare, או עם מספר עדיפות נמוך יותר ב-AWS WAF. אחר כך עקבו אחרי הלוגים, כי שינויים בחומת האש יכולים לקחת זמן עד שהם מתפשטים.

האם רינדור JavaScript יכול למנוע מ-Perplexity לקרוא עמוד?

כן. התיעוד של Perplexity על הסורקים שלה לא אומר אם הסוכנים מריצים JavaScript, ולכן ההנחה הבטוחה היא שהטקסט שסורק צריך נמצא ב-HTML שהשרת שולח. עמודים שנבנים כולם בדפדפן, כמו אפליקציות עמוד יחיד בלי רינדור בצד השרת, עשויים להגיע כמעטפת ריקה עם גלגל טעינה.

בדיקה מהירה היא להביא את העמוד עם curl ולחפש בפלט משפט מהתוכן הראשי. אם הוא לא שם, הטקסט נוסף על ידי סקריפטים. רינדור בצד השרת, יצירה סטטית או רינדור מראש לסורקים פותרים זאת לכל סורקי ה-AI בבת אחת, לא רק עבור Perplexity.

ומה אם הכול פתוח והאתר עדיין לא מופיע?

היכולת להיקרא היא תנאי מוקדם ולא ערובה. Perplexity לא מפרסמת איך היא בוחרת את המקורות שהיא מצטטת, ולכן עמוד שכל הסוכנים יכולים לקרוא עשוי עדיין להפסיד לעמודים שעונים על השאלה ישירות יותר. מה שבשליטתכם הוא לוודא שאין מכשול טכני בדרך: כותרת עמוד ברורה, התשובה מוצגת מוקדם בטקסט, ועובדות מדויקות שתואמות את מה שאתם אומרים במקומות אחרים.

זכרו גם מה robots.txt לא מכסה. Perplexity אומרת ש-Perplexity-User בדרך כלל מתעלם מ-robots.txt כי משתמש ביקש את ההבאה. כלל עבור Perplexity-User הוא לכן לא דרך אמינה לחסום ביקורים חיים, ו-robots.txt שמתיר אותו אינו הוכחה שהוא עובר את חומת האש.

AISeeWhy מבקש את העמוד שלכם בתור PerplexityBot, Perplexity-User ו-12 סורקים נוספים לצד דפדפן, מחיל את כללי ה-robots.txt שלכם עבור כל אחד, מזהה עמודי אתגר ומראה כמה מהטקסט מגיע בלי JavaScript, כך שאפשר לראות איזו חוליה בשרשרת נכשלת.

שאלות נפוצות

האם Perplexity מאמנת את המודלים שלה על התוכן שלי?

Perplexity אומרת ש-PerplexityBot אינו משמש לסריקת תוכן עבור מודלי יסוד של AI, וש-Perplexity-User אינו אוסף תוכן לאימון. לכן חסימה של PerplexityBot אינה משמשת כהסכמה לצאת מאימון; היא רק מצמצמת את הנראות שלכם בתוצאות החיפוש של Perplexity.

כמה זמן אחרי תיקון robots.txt Perplexity תבחין בכך?

Perplexity אומרת שעשוי לקחת עד 24 שעות עד שהמערכות שלה משקפות שינויים ב-robots.txt. שינויים בחומת האש נכנסים לתוקף כשהספק שלכם מחיל אותם, אבל תנו לסורק זמן לחזור לפני שאתם שופטים את התוצאה.

האם אפשר לחסום את Perplexity-User עם robots.txt?

לא באופן אמין. Perplexity אומרת שמנגנון ההבאה בדרך כלל מתעלם מ-robots.txt כי משתמש ביקש את ההבאה. אם צריך לעצור אותו, כלל בחומת האש שמותאם לטווחי ה-IP שהיא מפרסמת הוא הבקרה הנאמנה.

האם בדיקת user agent מספיקה לזיהוי תעבורה של Perplexity?

לא. קל להעתיק user agent. השוו את כתובת ה-IP של המקור לטווחים ש-Perplexity מפרסמת ב-perplexitybot.json וב-perplexity-user.json, והתאימו גם את ה-user agent וגם את ה-IP בכללי חומת האש.

מקורות

מאמרים נוספים