Miért nem jelenik meg az oldalam a Perplexityben?

Megjelent

Rövid válasz

A Perplexity csak azokat az oldalakat jelenítheti meg és linkelheti, amelyeket a PerplexityBot crawlolhat, és amelyeket valóban megkap. A szokásos okok: egy robots.txt-szabály, amely tiltja a PerplexityBot-ot, egy tűzfal vagy CDN, amely 403-mal vagy kihívásoldallal válaszol neki, és olyan szöveg, amely csak a JavaScript lefutása után jelenik meg. Ellenőrizze mindhármat, majd engedélyezze a Perplexity közzétett IP-tartományait.

Rákérdez a Perplexityn a termékére, ő pedig egy versenytársat, egy értékelőoldalt vagy egy fórumszálat idéz, de az Ön oldalait soha. Néha ez relevanciakérdés. Gyakran viszont technikai akadály áll mögötte, amelyet pár perc alatt megtalálhat. A Perplexity dokumentálja, mely ügynököket használja, melyik mit csinál, és honnan érkezik a forgalmuk, így a lánc minden szeme ellenőrizhető: a robots.txt, a szerver válasza és a válasz tartalma.

Ezen az oldalon
  1. Hogyan találja meg és olvassa az oldalakat a Perplexity?
  2. A robots.txt blokkolja a PerplexityBot-ot?
  3. A tűzfal vagy a CDN blokkolja a Perplexityt?
  4. Hogyan engedélyezhetem a Perplexityt a közzétett IP-tartományai alapján?
  5. A JavaScript-renderelés megakadályozhatja, hogy a Perplexity elolvasson egy oldalt?
  6. Mi van, ha minden nyitva áll, és az oldalam mégsem jelenik meg?

Hogyan találja meg és olvassa az oldalakat a Perplexity?

A Perplexity két ügynököt dokumentál. Más a feladatuk, és bármelyikkel adódó probléma kiszoríthatja az oldalát a válaszokból.

A gyakorlatban a PerplexityBot dönti el, hogy a Perplexity tud-e az oldalairól még azelőtt, hogy bárki kérdezne, a Perplexity-User pedig azt, hogy élőben megnyithat-e egy oldalt, ha egy kérdés ezt igényli. Ha idézni szeretnék Önt, mindkettőnek ugyanazt az oldalt kell kapnia, amelyet a böngésző is kap.

A robots.txt blokkolja a PerplexityBot-ot?

Nyissa meg a https://yourdomain.com/robots.txt címet, és keressen egy csoportot, amely a PerplexityBot-ot nevezi meg. Ha nincs ilyen, a crawler a User-agent: * csoportot követi. Az RFC 9309 szerint az egyezés kis- és nagybetűre nem érzékeny, a megnevezett csoport pedig teljesen felváltja a * csoportot, nem egészíti ki.

Ez a tiltás gyakori. Az 1000 legnépszerűbb domain robots.txt fájljait vizsgáló tanulmányunkban a robots.txt-t kiszolgáló 518 webhely közül 86 (16,6%) tiltotta a kezdőlapot a PerplexityBot számára. Ez volt a legmagasabb arány az általunk tesztelt AI-keresőcrawlerek között; az OAI-SearchBot 58 webhelyen (11,2%) volt blokkolva. Ezek közül néhány webhely talán az AI-tanítást akarta megállítani, de a Perplexity szerint a PerplexityBot nem tanítási crawler, így a blokkolása keresési láthatóságba kerül, miközben ezt a célt nem szolgálja.

Egy olyan beállítás, amely beengedi a Perplexityt, de zárva tart egy privát területet, így néz ki:

User-agent: PerplexityBot
Allow: /
Disallow: /account/

User-agent: *
Allow: /
Disallow: /account/

Sitemap: https://example.com/sitemap.xml

Azt is ellenőrizze, hogy maga a fájl helyesen válaszol-e. Ha a robots.txt szerverhibát ad, az RFC 9309 szerint a crawlernek úgy kell tekintenie, hogy az egész webhely tiltott. Az a robots.txt cím, amely 200-as státuszú HTML-oldalt ad vissza, nem tartalmaz érvényes szabályokat. A Perplexity szerint a változások akár 24 órát is igénybe vehetnek, mire megjelennek.

A tűzfal vagy a CDN blokkolja a Perplexityt?

A robots.txt kérés, nem hozzáférés-szabályozás. Hogy mi megy vissza valójában, azt a tűzfal, a CDN vagy a botvédelem dönti el, és 403-mal, 429-cel vagy kihívásoldallal válaszolhat a Perplexitynek, miközben az Ön saját böngészős látogatásai normálisan működnek. A Perplexity dokumentációja szerint a webalkalmazási tűzfal mögötti webhelyeknek előfordulhat, hogy kifejezetten engedélyezniük kell a botjait.

Tesztelje úgy, hogy ugyanazt az URL-t lekéri böngészőként és a Perplexity mindkét ügynökeként is, majd összehasonlítja a státuszt és a méretet:

for UA in "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36" \
          "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \
          "Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user)"; do
  curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "$UA" https://example.com/page
done

Ha csak a Perplexity-ügynökök kapnak 403-at, 429-et vagy 503-at, ha megjelenik egy Just a moment... című oldal, vagy ha a 200-as válasz jóval kisebb, mint a böngészőé, azok mind a tűzfalra utalnak. Ez a teszt az Ön IP-címéről indul, nem a Perplexityéről, ezért azt mutatja meg, hogyan kezelik a szabályai a user agentet; az IP-alapú szabályok a valódi crawlernél még eltérhetnek.

Ha Cloudflare-t használ, két dologra figyeljen. A Perplexity dokumentációja megismétli a Cloudflare saját kijelentését, hogy a Bot Fight Mode nem hagyható ki WAF egyéni szabályokkal, így ha ez a funkció kihívás elé állítja a Perplexityt, egy engedélyező szabály nem segít. 2025 augusztusában pedig a Cloudflare közölte, hogy eltávolította a Perplexityt az ellenőrzött botok listájáról, miután megfigyelése szerint nem deklarált crawlolást észlelt; a Perplexity vitatta ezt a leírást. Az a szabály, amely csak az ellenőrzött botokat engedi át, ezért lehet, hogy nem terjed ki a Perplexityre. Ne feltételezzen, a jelenlegi állapotot nézze meg az irányítópultján.

Hogyan engedélyezhetem a Perplexityt a közzétett IP-tartományai alapján?

Bárki küldhet olyan kérést, amely a PerplexityBot-nak adja ki magát, ezért az az engedélyező szabály, amely csak a user agentre illeszkedik, az utánzókat is beengedi. A Perplexity közzéteszi mindkét ügynök címtartományait, és azt javasolja, hogy a user agentet és az IP-címet együtt vesse össze:

curl -s https://www.perplexity.ai/perplexitybot.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'
curl -s https://www.perplexity.ai/perplexity-user.json | jq -r '.prefixes[] | .ipv4Prefix // .ipv6Prefix'

A Perplexity szerint ezeket a listákat rendszeresen frissítik, és azt javasolja, hogy automatizálja a WAF-szabályok frissítését. Az engedélyező szabályt minden olyan szabály fölé helyezze, amely blokkolja vagy kihívás elé állítja a kéréseket: a Cloudflare egyéni szabályai között az első helyre, az AWS WAF-ban pedig alacsonyabb prioritásszámmal. Ezután figyelje a naplókat, mert a tűzfalmódosítások érvénybe lépése időt vehet igénybe.

A JavaScript-renderelés megakadályozhatja, hogy a Perplexity elolvasson egy oldalt?

Megakadályozhatja. A Perplexity crawlerdokumentációja nem mondja meg, hogy az ügynökei futtatnak-e JavaScriptet, ezért a biztonságos feltevés az, hogy a crawlernek szükséges szövegnek benne kell lennie a szerver által küldött HTML-ben. Azok az oldalak, amelyek teljes egészében a böngészőben épülnek fel, például a szerveroldali renderelés nélküli single-page appok, üres vázként érkezhetnek, egy betöltésjelzővel.

Gyors ellenőrzés: kérje le az oldalt curl-lel, és keressen a kimenetben egy mondatot a fő tartalmából. Ha nincs benne, a szöveget szkriptek adják hozzá. A szerveroldali renderelés, a statikus generálás vagy a crawlereknek szánt előrenderelés ezt minden AI-crawlernél egyszerre megoldja, nem csak a Perplexitynél.

Mi van, ha minden nyitva áll, és az oldalam mégsem jelenik meg?

Az olvashatóság előfeltétel, nem garancia. A Perplexity nem teszi közzé, hogyan választja ki az idézendő forrásokat, így előfordulhat, hogy egy olyan oldal, amelyet minden ügynök el tud olvasni, mégis alulmarad azokkal szemben, amelyek közvetlenebbül válaszolnak a kérdésre. Amit Ön befolyásolhat, az az, hogy semmilyen technikai akadály ne álljon az útban: egyértelmű oldalcím, a válasz szövegben korai megfogalmazása, és pontos tények, amelyek egyeznek azzal, amit máshol állít.

Azt is vegye figyelembe, mire nem terjed ki a robots.txt. A Perplexity szerint a Perplexity-User általában figyelmen kívül hagyja a robots.txt-t, mert a lekérést egy felhasználó kérte. A Perplexity-User-re vonatkozó szabály ezért nem megbízható módja az élő látogatások blokkolásának, és az a robots.txt, amely engedi, nem bizonyítja, hogy átjut a tűzfalán.

Az AISeeWhy böngészőként, valamint PerplexityBot-ként, Perplexity-User-ként és 12 másik crawlerként is lekéri az oldalát, mindegyikre alkalmazza a robots.txt szabályait, felismeri a kihívásoldalakat, és megmutatja, mennyi szöveg érkezik meg JavaScript nélkül, így látni fogja, a lánc melyik szeme szakad el.

Gyakran ismételt kérdések

A Perplexity tanítja a modelljeit a tartalmamon?

A Perplexity szerint a PerplexityBot-ot nem használják tartalom crawlolására AI-alapmodellekhez, a Perplexity-User pedig nem gyűjt tartalmat tanításhoz. A PerplexityBot tiltása ezért nem szolgál tanítási opt-outként; csak csökkenti a láthatóságát a Perplexity keresési találataiban.

Mennyi idő múlva veszi észre a Perplexity, hogy javítottam a robots.txt-t?

A Perplexity szerint akár 24 órát is igénybe vehet, mire a rendszerei tükrözik a robots.txt változásait. A tűzfalváltoztatások akkor lépnek érvénybe, amikor a szolgáltatója alkalmazza őket, de az eredmény megítélése előtt hagyjon időt a crawlernek, hogy visszatérjen.

Blokkolhatom a Perplexity-User-t a robots.txt-vel?

Megbízhatóan nem. A Perplexity szerint a lekérő általában figyelmen kívül hagyja a robots.txt-t, mert a lekérést egy felhasználó kérte. Ha meg kell állítania, megbízható eszköz a közzétett IP-tartományaira illesztett tűzfalszabály.

Elég a user agent ellenőrzése a Perplexity-forgalom azonosításához?

Nem. A user agentet könnyű lemásolni. Hasonlítsa össze a forrás-IP-t a Perplexity által a perplexitybot.json és a perplexity-user.json fájlban közzétett tartományokkal, és a tűzfalszabályokban a user agentet és az IP-t együtt illessze.

Források

További cikkek