A Perplexity crawlerei: PerplexityBot és Perplexity-User
A Perplexity a PerplexityBot-ot használja arra, hogy webhelyeket jelenítsen meg és linkeljen a keresési találataiban, a Perplexity-User-t pedig oldalak meglátogatására, amikor egy felhasználó kérdéséhez szükség van rájuk. A Perplexity szerint a PerplexityBot követi a robots.txt-et, és nem használják alapmodellek tanítására, a Perplexity-User viszont általában figyelmen kívül hagyja, mert a lekérést felhasználó kérte.
A Perplexity az idézésekre épül: a válaszokhoz számozott linkek tartoznak azokhoz az oldalakhoz, amelyekből dolgoznak. A crawlerdokumentációja rövid, és világosan megmondja, melyik ügynök követi a robots.txt-et, és melyik nem. Ez a különbség dönti el, melyik eszközzel szabályozhatja az egyiket vagy a másikat.
Ezen az oldalon
Mit csinál a PerplexityBot?
A PerplexityBot arra készült, hogy webhelyeket jelenítsen meg és linkeljen a Perplexity keresési találataiban. A Perplexity szerint nem használják tartalom bejárására AI-alapmodellekhez. Hogy megjelenjen a Perplexity keresési találataiban, a Perplexity azt ajánlja, hogy engedélyezze a PerplexityBot-ot a robots.txt-ben.
A Perplexity ezt a user agentet dokumentálja:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)A verziószám változhat, ezért a tűzfalszabályoknak a PerplexityBot tokenre kell illeszkedniük. A Perplexity az IP-tartományokat a perplexity.ai/perplexitybot.json címen teszi közzé.
Mit csinál a Perplexity-User?
A Perplexity-User a felhasználói műveleteket támogatja. Amikor valaki kérdést tesz fel a Perplexitynek, az meglátogathat egy weboldalt, hogy pontos választ adjon, és linket helyezhet el hozzá. A Perplexity szerint nem használják a web bejárására vagy tanítóadatok gyűjtésére.
A dokumentált user agentje Mozilla/5.0 (compatible; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user), az IP-tartományait pedig a perplexity.ai/perplexity-user.json címen teszik közzé.
Mit szabályoz a robots.txt, és mit nem?
Ez a lényeg. A Perplexity kijelenti, hogy mivel a lekérést felhasználó kérte, a Perplexity-User általában figyelmen kívül hagyja a robots.txt szabályait. A PerplexityBot-ra vonatkozó robots.txt-csoport a keresési indexelést érinti; a felhasználó nevében végzett élő lekéréseket nem állítja meg megbízhatóan.
- A
PerplexityBottiltása a robots.txt-ben: az oldalait nem járják be a Perplexity keresési indexéhez, így kisebb eséllyel jelennek meg és kapnak linket. - A
Perplexity-Usertiltása a robots.txt-ben: a Perplexity dokumentációja szerint a lekérő ezt általában figyelmen kívül hagyja, ezért nem megbízható szabályozás. - A
Perplexity-Userblokkolása a tűzfalon: a lekérés meghiúsul, és azok a felhasználók, akik az oldaláról kérdeznek, az oldal nélküli választ kapnak. - Mindkettő engedélyezése: a Perplexity indexelheti az oldalait, és élőben elolvashatja őket, amikor egy felhasználó kéri.
A Perplexity szerint minden robots.txt-beállítás függetlenül működik, és a változások érvénybe lépése akár 24 órát is igénybe vehet.
Miben más a Perplexity, mint a ChatGPT és a Claude?
Mindhárom szolgáltató külön választja a keresőcrawlert és a felhasználó kérte lekérőt. Két részlet különbözteti meg a Perplexityt. Egyrészt nem működtet külön tanító crawlert: azt mondja, hogy a PerplexityBot-ot nem használják tartalom bejárására AI-alapmodellekhez, így nincs olyan tanítótoken, amelyről dönthetne. Másrészt kifejezetten kimondja, hogy a felhasználói lekérője általában figyelmen kívül hagyja a robots.txt-et, míg az OpenAI szerint a robots.txt a ChatGPT-User-re nem feltétlenül vonatkozik, az Anthropic szerint pedig a botjai, köztük a Claude-User is, betartják a robots.txt-et.
A gyakorlatban ez egyetlen döntést jelent a Perplexity keresőcrawleréről a robots.txt-ben, és tűzfaldöntést, ha valaha meg akarja állítani a felhasználó kérte lekéréseket.
Milyen robots.txt-et használjak a Perplexityhez?
Ha idézni szeretnék, engedélyezze kifejezetten a keresőcrawlert. Ne feledje, hogy a megnevezett csoport nem örököl szabályokat a * csoporttól, ezért ismételje meg a privát útvonalakat:
User-agent: PerplexityBot
Allow: /
Disallow: /account/
User-agent: *
Allow: /
Disallow: /account/Mivel a PerplexityBot nem tanító crawler, ha a modelltanításból való kilépés érdekében blokkolná, keresési láthatóságába kerülne anélkül, hogy ezt a célt szolgálná.
Ha sitemapet ad meg a robots.txt-ben, a Sitemap: sort tartsa csoporton kívül vagy a fájl végén; minden crawlerre vonatkozik. Arról is gondoskodjon, hogy maga a sitemap ne legyen blokkolva a tűzfala által, mert az a crawler, amely nem tudja lekérni, nem tudja felhasználni új vagy módosult oldalak megtalálására.
Hogyan érem el, hogy a tűzfal ne blokkolja a Perplexityt?
A botvédelem gyakran gyanúsnak tekint minden nem böngészőből érkező kérést. Kérje le az oldalát a Perplexity egyes user agentjeivel, és hasonlítsa össze a választ egy böngészős kéréssel. Ha a crawler 403-at, 429-et vagy kihívásoldalt kap, vegyen fel olyan engedélyező szabályt, amely a tokenre és lehetőleg a közzétett IP-tartományokra illeszkedik, hogy csak a valódi Perplexity-forgalom jusson át. A Cloudflare-ben az AI Crawl Control felsorolja az AI-crawlereket, mindegyikhez Allow vagy Block művelettel.
Ellenőrizzen, ne bízzon a user agentben. Bárki küldhet olyan kérést, amely PerplexityBot-nak mondja magát, így a kizárólag a user agenten alapuló engedélyező szabály az utánzókat is beengedi, az arra épülő blokkolás pedig kijátszható. A forrás IP-cím ellenőrzése a Perplexity közzétett listáival mindkét típusú szabályt megbízhatóvá teszi.
Az AISeeWhy a PerplexityBot-ot és a Perplexity-User-t 12 másik crawler mellett teszteli. Mivel mindkettő eldönti, hogy a Perplexity felhasználhatja-e az oldalát egy válaszban, bármelyikük blokkolását P1-ként jelzi, a javító szabállyal együtt.
Gyakran ismételt kérdések
Használja a Perplexity a tartalmamat AI-modellek tanítására?
A Perplexity szerint sem a PerplexityBot-ot, sem a Perplexity-User-t nem használják tartalom gyűjtésére AI-alapmodellek tanításához.
Miért hagyja figyelmen kívül a Perplexity-User a robots.txt-et?
A Perplexity indoklása szerint egy felhasználó kérte az oldalt, így a lekérés az adott felhasználó nevében történik, nem automatizált bejárásként. A dokumentációja szerint a lekérő emiatt általában figyelmen kívül hagyja a robots.txt-et.
Hogyan blokkolhatom a Perplexity-User-t, ha kell?
Használja a tűzfalát vagy a CDN-jét, a user agent tokenre és a Perplexity közzétett IP-tartományaira illesztve. A robots.txt nem megbízható szabályozás ennél az ügynöknél.
Mennyi idő alatt lép érvénybe egy robots.txt-változtatás?
A Perplexity szerint akár 24 óráig is eltarthat, mire a rendszerei tükrözik a változásokat.
A PerplexityBot blokkolása megakadályozza egyáltalán, hogy a Perplexity felhasználja a tartalmamat?
Nem. Kimarad az oldalai a Perplexity keresési indexéhez végzett bejárásból, de a Perplexity-User továbbra is lekérhet egy oldalt, amikor egy felhasználó rákérdez, mert ez a lekérő általában figyelmen kívül hagyja a robots.txt-et.
Források
- Perplexity: Perplexity crawlers
- RFC 9309: Robots Exclusion Protocol
- Cloudflare: Manage AI crawlers (AI Crawl Control)